Limitando quantidade de arquivos na hora de copiar [RESOLVIDO]

viniciuspdutra
(usa Debian)

Enviado em 27/09/2013 - 12:27h

Olá pessoal, tudo certo?
Estou com a seguinte dúvida, em minha pasta /ftp possuo mais 2 milhões de arquivos (aumentando a cada dia).
Preciso copiar estes arquivos para uma outra pasta (/converter) e trata-los, porem para não travar o servidor eu só posso tratar 100 arquivos por vez.

Como faço um script para copiar apenas 100 arquivos por vez e colocar na pasta? Vou colocar este script em cron para rodar a cada 1h.

Obrigado pela ajuda.

lcavalheiro
(usa Slackware)

Enviado em 27/09/2013 - 12:32h

Faz por rsync limitando banda.

viniciuspdutra
(usa Debian)

Enviado em 27/09/2013 - 16:08h

Não deu certo, pois o bwlimit do rsync limita a banda utilizada.
Eu preciso limitar a quantidade de arquivos, não posso utilizar o max-size, pois possuo arquivos de diversos tamanhos.

phoemur
(usa Debian)

Enviado em 27/09/2013 - 17:14h

Não daria pra deixar copiando com uma prioridade bem baixa?

tipo:

nice -n 19 xargs -L1 -i -P1 cp -n {} /home/destino < lista_arquivos.txt

 

ou então dar um sync após cada arquivo copiado?
assim:

exec 3< lista_arquivos.txt; while read arq <&3; do cp -n "$arq" /home/destino; sync; done; exec 3<&-

 

Ou então, seguindo a idéia anterior, copiar um arquivo por segundo:

exec 3< lista_arquivos.txt; while read arq <&3; do cp -n "$arq" /home/destino; sync; sleep 1; done; exec 3<&-

 

Testa aí pra ver se alguma dessas idéias funciona pra sua necessidade

Se você não tiver uma lista de arquivos.txt, você pode embutir um find no comando, por exemplo:

exec 3< <(find /diretorio/dos_arquivos -type f); while read arq <&3; do cp -n "$arq" /home/destino; sync; sleep 1; done; exec 3<&-

 

viniciuspdutra
(usa Debian)

Enviado em 01/10/2013 - 14:46h

Muito obrigado pessoal, com a ajuda de vocês consegui resolver meu problema.

Segue o script que utilizei:

find /ftp -type f -name *.mp3 | head 100 | while read arq; do mv "$arq" /converter; done