Script usando comando Wget com lista .txt [RESOLVIDO]

1. Script usando comando Wget com lista .txt [RESOLVIDO]

José Frederico de Souza Silva
fredroo

(usa Ubuntu)

Enviado em 04/10/2013 - 16:40h

preciso criar um shell script que faça a leitura de url concatenando com uma lista de url para usar o comando wget

exemplo:

wget http:/www.site.com/+url da lista vinda do arquivo lista.txt

e após efetuar esse comando espere 30 segundos e passe para a proxima url da lista
e assim por diante

minha principal dúvida e mais a se o arquivo inteiro será carregado na memória ou ele fara a leitura da linha em questão na ordem conforme o uso


  


2. MELHOR RESPOSTA

Fernando
phoemur

(usa Debian)

Enviado em 04/10/2013 - 18:30h

Depende da forma que você fizer ele fica inteiro na memória ou não...

Não precisaria de script, basta um comando:

wget --base=http://www.site.com/ --input-file=lista.txt --wait=30


Nada que 30 segundos lendo as manpages não resolvesse

man wget


Agora se quiser um script poderia ser assim:

exec 3< lista.txt; while read url <&3; do wget -c "http://www.site.com/$url"; sleep 30; done; exec 3<&-



3. Re: Script usando comando Wget com lista .txt [RESOLVIDO]

José Frederico de Souza Silva
fredroo

(usa Ubuntu)

Enviado em 04/10/2013 - 18:46h

phoemur escreveu:

Depende da forma que você fizer ele fica inteiro na memória ou não...

Não precisaria de script, basta um comando:

wget --base=http://www.site.com/ --input-file=lista.txt --wait=30


Nada que 30 segundos lendo as manpages não resolvesse

man wget


Agora se quiser um script poderia ser assim:

exec 3< lista.txt; while read url <&3; do wget -c "http://www.site.com/$url"; sleep 30; done; exec 3<&-



Phoemur sensacional era isso vou fazer uns testes para ver qual atende o que preciso mais você entendeu bem o que queria obrigado


4. Re: Script usando comando Wget com lista .txt [RESOLVIDO]

Alexandre Gonçalves Monteiro da Silva
alexandregms

(usa Ubuntu)

Enviado em 07/10/2013 - 10:02h

Marque o tópico como resolvido se a sua dúvida foi atendida! :-)


5. Re: Script usando comando Wget com lista .txt [RESOLVIDO]

Luís Fernando C. Cavalheiro
lcavalheiro

(usa Slackware)

Enviado em 07/10/2013 - 10:16h

Se for um endereço por linha no .txt, funciona também
 $ for i in `cat arquivo.txt` ; do wget opções "$i" ; done 



6. Re: Script usando comando Wget com lista .txt [RESOLVIDO]

Fernando
phoemur

(usa Debian)

Enviado em 07/10/2013 - 17:45h

Um link por linha:


xargs -L1 -i wget {} < lista.txt


Linux é legal por isso, mil jeitos de fazer a mesma coisa... Pra todos os níveis de conhecimento...






Patrocínio

Site hospedado pelo provedor RedeHost.
Linux banner

Destaques

Artigos

Dicas

Tópicos

Top 10 do mês

Scripts