Script sha256sum criando .txt em subdiretorios

13. Re: Script sha256sum criando .txt em subdiretorios

Marcelo Oliver
msoliver

(usa Debian)

Enviado em 22/10/2021 - 17:47h

jrbusca escreveu:

Obrigado pela ajuda!

M1-Em cada um desses 09 diretórios,
você executa:

cd diretório;
cd subdir; #para cada subdir, do diretório.....
E executa o comando abaixo:
find . -type f -print0 | xargs -0 -L1 -i sha256sum {} > A7.txt;


cd /Volume/WD/A/a1/a2/a3/a4/a5/a6/a7

Resposta: Sim por isto preciso de ajuda para automatizar a operacao, tem dir com muito arquivo, ja me perdi n vezes.

para chegar no ultimo tenho que passar por eles e saber se tem mais profundo ou nao

cd A

ls

cd a1

ls

cd a2

ls

cd a3



M2-Comando tree

Resposta terminal ficou GIGANTESCO, tive que dar ctrl+C para parar.

descrevi como sao os diretorios e os sub na primeira postagens, nomes genericos para eu me achar. Sempre fundos....


M3-um so arquivo??
se der problema(uma falha no hd), nao terei como descobrir nada, mas vamos tentar, obrigado...


M3:
E posteriormente dividido.....
--------------------------------------------------------------------------------------------------------------------------------
Segue:
#Gera os sha256sum de todos arquivos:
sudo find /Diretório/ -type f -print0|xargs -0 sha256sum > Shasum_Geral.txt

#Altera o separador em: Shasum_Geral.txt
sed -ri 's/ +/;/;s|(/)([[:alnum:]._ -]+)$|\1;\2|' Shasum_Geral.txt

#Cada um no seu diretório, com o nome: shasum_dd-mm-aaaa.txt
awk -v data=$(date +%d-%m-%Y) -F";" '{print $1,$NF > $2"shasum_"data".txt"}' Shasum_Geral.txt

Testado e Aprovado :)


______________________________________________________________________
Importante:
lynx --dump https://www.vivaolinux.com.br/termos-de-uso/|sed -nr '/^[ ]+Se/,/dou.$/p'
______________________________________________________________________
Nota de esclarecimento:
O comando: ACIMA, faz parte da minha assinatura.
Att.: Marcelo Oliver
______________________________________________________________________



  


14. Re: Script sha256sum criando .txt em subdiretorios

joao romeo
jrbusca

(usa Lubuntu)

Enviado em 22/10/2021 - 20:02h

Feliz em ver solucao assim que chegar do trabalho testo, posto a resposta e perguntas

obrigado pela ajuda, ACABOU nao....



15. Re: Script sha256sum criando .txt em subdiretorios

joao romeo
jrbusca

(usa Lubuntu)

Enviado em 22/10/2021 - 23:30h

Bonissima noite!

zacapaca, obrigado por ajudar

"/Volume/WD/A" e o diretório mais alto assim como no outro disco "/Volume/seagate/A".

z1- sha1sum é 160 bits legal, otima dica!

z2 - como meço a velocidade para rodar o comando para compara lo?

z3 - NAO sei usar o find sei que a opcao f file faz so nos arquivos, como usa o nulo

z4 - para fazer no diretório mais alto acho mais inseguro pois tentei

find -type f -exec sha1sum '{}' + >cpfDosArquivos.chk

ele salva no A

depois para checar eu fiz

sha1sum -c cpfDosArquivos.chk

mas nao e isto que procuro.

Procuro deixar dentro de cada diretorio Ex:"/Volume/WD/A/0 MultiMedia/Audio/Canto/Coral/coral 2021 o arquivo cpfDosArquivosCoral2021.chk

ai sua sugestao do Diff se der problema no geral e excelente!!!!

diff /Volume/WD/A/0 MultiMedia/Audio/Canto/Coral/coral 2021/cpfDosArquivosCoral2021.chk /Volume/seagate/A/0 MultiMedia/Audio/Canto/Coral/coral 2021/cpfDosArquivosCoral2021.chk

Recheck e copio o certo (que abrir) por cima, obrigado!

z5- espaços em branco nos nomes dos arquivos, obrigado por entender-me.

awk '{for(i=3;i<=NF;++i)print $i}'

i=3 e o terceiro campo?

pode explicar me i<=NF;++i?

z6 - o grep -v -f ic1.chk ic.chk | awk '{print $3}' so mostrou diferenca no nome do arquivo mas estou preocupado com conteudo

z7-Como voce faz para ficar mais seguro? evitando PERDA, corrompido etc.. de arquivo

Muito obrigado!







16. Re: Script sha256sum criando .txt em subdiretorios

joao romeo
jrbusca

(usa Lubuntu)

Enviado em 22/10/2021 - 23:41h

Obrigado marcelo

testei no pendrive com 100 arquivos

vamos la

M10 - sudo find /Diretório/ -type f -print0|xargs -0 sha256sum > Shasum_Geral.txt

funcionou

M11 - sed -ri 's/ +/;/;s|(/)([[:alnum:]._ -]+)$|\1;\2|' Shasum_Geral.txt

nao entendi pode explicar?

M12 - NAO funcionou ele criou
11 itens

-shasum_23-10-2021.txt

01shasum_23-10-2021.txt

Bracket.pdfshasum_23-10-2021.txt

DAMshasum_23-10-2021.txt

Forshasum_23-10-2021.txt

ofshasum_23-10-2021.txt

Schiavishasum_23-10-2021.txt

shasum_23-10-2021.txt

Shasum_Geral.txt

terminology.pngshasum_23-10-2021.txt

toshasum_23-10-2021.txt

M15- O nome dos diretorios no pendrive01

astronomia

font

BackUp

Coral 2021

Ppelao

Office

Photo

Rede

Script

a fazer

Copia

transferencia para casa 01

Nao levei

para o trabalho

Audio

Obrigadfo!





17. Re: Script sha256sum criando .txt em subdiretorios

Marcelo Oliver
msoliver

(usa Debian)

Enviado em 23/10/2021 - 00:26h


jrbusca escreveu:

Obrigado marcelo
testei no pendrive com 100 arquivos

vamos la

M10 - sudo find /Diretório/ -type f -print0|xargs -0 sha256sum > Shasum_Geral.txt

funcionou

M11 - sed -ri 's/ +/;/;s|(/)([[:alnum:]._ -]+)$|\1;\2|' Shasum_Geral.txt
nao entendi pode explicar?

M12 - NAO funcionou ele criou
11 itens

-shasum_23-10-2021.txt

01shasum_23-10-2021.txt

Bracket.pdfshasum_23-10-2021.txt

DAMshasum_23-10-2021.txt

Forshasum_23-10-2021.txt

ofshasum_23-10-2021.txt

Schiavishasum_23-10-2021.txt

shasum_23-10-2021.txt

Shasum_Geral.txt

terminology.pngshasum_23-10-2021.txt

toshasum_23-10-2021.txt

M15- O nome dos diretorios no pendrive01


Testei ontem com mais de 10.000 arquivos e funcionou.
Reveja o comando "awk", parece que não "pegou" o separador de campo......
Tinha postado errado, alterei no meu script, e na postagem ficou sem alteração..... :)
O correto:
awk -v data=$(date +%d-%m-%Y) -F";" '{print $1,$NF > $2"shasum_"data".txt"}' Shasum_Geral.txt 


M11 - sed -ri 's/ +/;/;s|(/)([[:alnum:]._ -]+)$|\1;\2|' Shasum_Geral.txt
É alterado o separador de campos, para evitar problemas com "espaços no nome de arquivos".
O básico do sed:
sed 's/isto/aquilo/' arquivo => troca isto por aquilo.
O que "complica", é a regex, e os retrovisores. \1 \2.

______________________________________________________________________
Importante:
lynx --dump https://www.vivaolinux.com.br/termos-de-uso/|sed -nr '/^[ ]+Se/,/dou.$/p'
______________________________________________________________________
Nota de esclarecimento:
O comando: ACIMA, faz parte da minha assinatura.
Att.: Marcelo Oliver
______________________________________________________________________



18. Re: Script sha256sum criando .txt em subdiretorios

joao romeo
jrbusca

(usa Lubuntu)

Enviado em 23/10/2021 - 12:39h

Marcelo, obrigado

Tentei executar linha a linha no terminal, nao funcionou

O que fiz:

m15 - fui ao diretorio

cd /media/Sony/Pen Drive de transferencia/0 MultiMedia/Coral

Depois executei o FethearPad e copiei as 3 linhas

sudo find /media/Sony/Pen Drive de transferencia/0 MultiMedia/Coral -type f -print0|xargs -0 sha256sum > Shasum_Geral.txt

sed -ri 's/ +/;/;s|(/)([[:alnum:]._ -]+)$|\1;\2|' Shasum_Geral.txt

awk -v data=$(date +%d-%m-%Y) -F";" '{print $1,$NF > $2"shasum_"data".txt"}' Shasum_Geral.txt


e salvei em /media/Sony/Pen Drive de transferencia/0 MultiMedia/Coral .

O que esta acontecendo e que ele esta DEIXANDO de fazer em alguns arquivos em 4 diretorios (aleatorio)

/media/Sony/Pen Drive de transferencia/0 MultiMedia/Coral/coral 2018/Abril/Semana 2/Musicas/Letras do encontro de Joao

sao .pdf e .txt tem 6 arquivos ele fez 3

/media/Sony/Pen Drive de transferencia/0 MultiMedia/Coral/coral 2018/Abril/Semana 2/Musicas/mp3

sao 4 .mp3 esqueceu 1

/media/Sony/Pen Drive de transferencia/0 MultiMedia/Coral/coral 2018/Abril/Semana 2/Musicas/wave

fez todas! obrigado

/media/Sony/Pen Drive de transferencia/0 MultiMedia/Coral/coral 2018/Abril/Semana 2/Fotos/ Fotos do EVENTO

fez todas! obrigado

/media/Sony/Pen Drive de transferencia/0 MultiMedia/Coral/coral 2018/Abril/Semana 2/Fotos/Fotos do GRUPO

sao 23 .jpg esqueceu 1

/media/Sony/Pen Drive de transferencia/0 MultiMedia/Coral/coral 2018/Abril/Semana 2/Video/Cidade/Auditorio

sao 10 .jpg esqueceu 1

/media/Sony/Pen Drive de transferencia/0 MultiMedia/Coral/coral 2018/Abril/Semana 2/VIdeo/Cidade/Passeio/Museu

sao 2 .mov faltou1


M16 Por favor e possivel consertar isto? colocando um tempinho para ele pensar sei la..... Foi bem rapido gostei, obrigado!


M17 Nao gostaria de ABRIR o arquivo BackupVivaLinux.sh e ter que COPIAR o nome do diretorio superior toda hora, algo do tipo, abro o terminal, possivel?

bash BackupVivaLinux.sh arrasto o diretorio


M18 e possivel trocar a acrescentar o shasum pelo nome do diretorio

shasum_23-10-2021.txt

exemplo para o diretorio

/media/Sony/Pen Drive de transferencia/0 MultiMedia/Coral/coral 2018/Abril/Semana 2/Video/Cidade/Auditorio

ficar sendo

Auditorio_23-10-2021.txt

marcelo, obrigado pela atencao !



19. Re: Script sha256sum criando .txt em subdiretorios

Marcelo Oliver
msoliver

(usa Debian)

Enviado em 23/10/2021 - 17:26h

Boa tarde.
1º ponto:
O gawk está instalado?

Poste o nome dos arquivos ("com a tag code") que não deu certo, devem ter alguma "particularidade".
Verifique se os arquivos que "falhou" estão em Shasum_Geral.txt.

O que esta acontecendo e que ele esta DEIXANDO de fazer em alguns arquivos em 4 diretórios (aleatório).
Falta de padrão nos nomes de arquivos e diretórios.
--------------------------------------------------------------------------------------------------------------
m15 - fui ao diretório....
Nos testes, sempre executo pela linha de comando a partir do meu $HOME.
--------------------------------------------------------------------------------------------------------------
M16 Por favor e possivel consertar isto?
colocando um "tempinho" para ele pensar sei la..... Foi bem rapido gostei, obrigado!

1º temos que identificar, o motivo do "erro",
Aqui roda perfeito.
O Ideal, é tirar os espaços dos nomes de arquivos e diretórios.
o comando "rename", faz isso, de forma bem prática.
Os "erros" causados não são decorrentes da velocidade de processamento.
--------------------------------------------------------------------------------------------------------------
M17 - altere seu script .
passe o dir como argumento, pela linha de comando.
Melhor ainda:
Para evitar erro de digitação no nome do diretório,
use o select , criando um menu com os diretórios.
Bem simples.
--------------------------------------------------------------------------------------------------------------
M18 e possivel trocar a acrescentar o shasum pelo nome do diretorio?
Complicado, veja bem,
Você está no dir:
/media/Sony/Pen Drive de transferencia/0 MultiMedia/Coral/
E quer salvar o arquivo em:
/Auditorio/
Entre Coral e Auditorio, tem:
/media/Sony/Pen Drive de transferencia/0 MultiMedia/Coral/coral 2018/Abril/Semana 2/Video/Cidade/Auditorio
É necessário "pegar" o caminho completo,
Isso é, do campo 2 ao penúltimo, com referencia a linha do arquivo Shasum_Geral.txt
--------------------------------------------------------------------------------------------------------------

______________________________________________________________________
Importante:
lynx --dump https://www.vivaolinux.com.br/termos-de-uso/|sed -nr '/^[ ]+Se/,/dou.$/p'
______________________________________________________________________
Nota de esclarecimento:
O comando: ACIMA, faz parte da minha assinatura.
Att.: Marcelo Oliver
______________________________________________________________________



20. Re: Script sha256sum criando .txt em subdiretorios

joao romeo
jrbusca

(usa Lubuntu)

Enviado em 24/10/2021 - 05:35h


Bom dia!

m15 relatei o procedimento realizado para nao haver duvidas

m16 rename nao sei usar e nesta massa toda de arquivo e se der zebra fico sem backup.Por favor ensine-me e testarei no pen drive de transporte

M17 - altere seu script passe o dir como argumento,

isto eu nao sei fazer conforme escrevi, aonde tem tututorial de argumento e caracteres especiais? simples por favor

m18 - compreendi a dificuldade, obrigado

m19 O gawk está instalado?

Nao desconheço

- Verifique se os arquivos que "falhou" estão em Shasum_Geral.txt

entao, foi la que olhei e eles NAO constam. Arquivos abrindo sem erros

- Falta de padrão nos nomes de arquivos e diretórios.

Sim mas meus arquivos sao utilizados desta forma, nao e um sistema nem desejo um programa. Apenas um sript para evitar erros, automatizar tarefas em muitos arquivos, desculpe-me, por isto peço ajuda de quem pode auxiliar conforme 1 post.




21. Re: Script sha256sum criando .txt em subdiretorios

Marcelo Oliver
msoliver

(usa Debian)

Enviado em 24/10/2021 - 17:29h


jrbusca escreveu:
Bom dia!

m15 relatei o procedimento realizado para nao haver duvidas

m16 rename nao sei usar e nesta massa toda de arquivo e se der zebra fico sem backup.
Por favor ensine-me e testarei no pen drive de transporte

M17 - altere seu script passe o dir como argumento,
isto eu nao sei fazer conforme escrevi, aonde tem tututorial de argumento e caracteres especiais? simples por favor

m18 - compreendi a dificuldade, obrigado

m19 O gawk está instalado?
Nao desconheço

- Verifique se os arquivos que "falhou" estão em Shasum_Geral.txt

entao, foi la que olhei e eles NAO constam.
Arquivos abrindo sem erros

M20 - Falta de padrão nos nomes de arquivos e diretórios.
Sim mas meus arquivos sao utilizados desta forma,
nao e um sistema nem desejo um programa.
Apenas um sript para evitar erros, automatizar tarefas em muitos arquivos,
desculpe-me, por isto peço ajuda de quem pode auxiliar conforme 1 post.


Boa tarde!
M15 -
Já relatou inúmeras vezes!

M16 - Não sei usar.... nei sei qtas x li essa frase...... rsrsrs
Só aprender....

M17 - Não é necessário "percorrer" os diretórios,
O comando inicial, "find" não está limitando a "profundidade", portanto, "pega tudo".
O que não falta na internet é tutorial sobre comandos Linux!

Exemplificando:
find /Volume/WD/A/a1/a2/a3/a4/a5/a6/a7/ -type f -print0 | xargs -0 sha256sum {} > A7.txt
find /Volume/WD/A/a1/a2/a3/a4/a5/a6/ -type f -print0 | xargs -0 sha256sum {} > A6.txt
"Pega" os arqs de a6 e a7
find /Volume/WD/A/a1/a2/a3/a4/a5/ -type f -print0 | xargs -0 sha256sum {} > A5.txt
"Pega" os arqs de a5, a6 e a7
......

M18 -Sim é possível!
Eliminando o 1º e o ultimo campo, tenho o diretório "alvo".
Testei ontem, ok, pega os nomes, mesmo tendo espaços...

M19 - Realmente, é difícil te ajudar!
type gawk
which gawk
whereis gawk

M20 - Resolvido, alterando o IFS

Resumindo, concluindo e finalizando!:
Difícil "ajudar" quem não se ajuda,.
Muito exigente para um "pedinte de ajuda", e, ao meu ver, um tanto quanto ríspido, nas respostas,
adepto da "lei do minimo esforço"
E por essa e por outras, que encerro a tentativa de ajuda!
Tentei, se não me engano está é a 9ª postagem!
Boa sorte!

______________________________________________________________________
Att.: Marcelo Oliver
______________________________________________________________________



22. Re: Script sha256sum criando .txt em subdiretorios

joao romeo
jrbusca

(usa Lubuntu)

Enviado em 25/10/2021 - 14:01h


Obrigado, Marcelo.



01 02



Patrocínio

Site hospedado pelo provedor RedeHost.
Linux banner

Destaques

Artigos

Dicas

Tópicos

Top 10 do mês

Scripts