Acelere o seu Squid com squid-prefetch - baixe as páginas antes dos seus usuários!
Este é um artigo que versa sobre a perfumaria de uma rede rodando 100% e você não sabe mais o que fazer para melhorá-la. Squid-prefetch pode ser uma ótima idéia.
[ Hits: 71.177 ]
Por: julio henrique maschio em 28/11/2005
Conclusões e comentários by mim mesmo
Esta é mais uma ferramenta que, em alguns papos de botecos, chamaram de
"brinquedinhos de sysadm". Ou seja, pode ser muito útil em alguns cenários, mas é completamente dispensável. Mas na minha rede acelerou um tanto a performance e hoje é indispensável.
Comentários sobre perguntas frequentes que não mais serão feitas:
C1 - Antes que me perguntem, ele não equivale a um "wget -r <site>". Especialmente porque o wget -r busca TODO o site, enquanto o squid-prefetch busca apenas as páginas (apenas o texto) que estão linkadas a uma primeira página acessada, mas ele não busca recursivamente nas páginas que ele busca os links para outras páginas. Equivale a dizer que o nível de recursividade dele é igual a 1.
C2 - Sim, isso usa mais a internet, especialmente porque ele obtém todo o conteúdo de texto linkado da página acessada. Por isso recomendo cuidado com crossfetch. Note que aqui o que se busca é performance para o usuário final e não economia de dados, estaremos usando o intervalo entre uma leitura e outra para acessar os dados para que eles estejam disponíveis antes da próxima clicada. Notei que o aumento não costuma ser imenso, ou seja, compensa na relação custo-benefício.
C3 - Se imagens fossem baixadas também além do texto, seria inusável. Mesmo que houvesse a opção de habilitar fetch de imagens, eu a desligaria para economizar banda de rede.
C4 - Não sei onde está o source deste pacote no formato tgz, virei o Google no avesso e não encontrei nenhuma página de projeto. Só achei para Debian e como eu só uso Debian tanto em casa como nos servidores que monto, fiquei sossegado. Se alguém encontrar disponível para outras distros, coloque o link nos comentários, please (se bem que é apenas um script em perl com os readme, changelog e copyright).
C5 - Se você quer experimentar o pacote, baixe-o para Debian e use o alien para transformá-lo no pacote para sua distro.
C6 - Sim, eu estou usando no trabalho e em casa e não penso em tirá-lo de lá tão cedo... Adorei este esquema de pré-fetcherismo e recomendo.
[ ]s, e espero que tenham gostado do artigo.
Henry
Comentários sobre perguntas frequentes que não mais serão feitas:
C1 - Antes que me perguntem, ele não equivale a um "wget -r <site>". Especialmente porque o wget -r busca TODO o site, enquanto o squid-prefetch busca apenas as páginas (apenas o texto) que estão linkadas a uma primeira página acessada, mas ele não busca recursivamente nas páginas que ele busca os links para outras páginas. Equivale a dizer que o nível de recursividade dele é igual a 1.
C2 - Sim, isso usa mais a internet, especialmente porque ele obtém todo o conteúdo de texto linkado da página acessada. Por isso recomendo cuidado com crossfetch. Note que aqui o que se busca é performance para o usuário final e não economia de dados, estaremos usando o intervalo entre uma leitura e outra para acessar os dados para que eles estejam disponíveis antes da próxima clicada. Notei que o aumento não costuma ser imenso, ou seja, compensa na relação custo-benefício.
C3 - Se imagens fossem baixadas também além do texto, seria inusável. Mesmo que houvesse a opção de habilitar fetch de imagens, eu a desligaria para economizar banda de rede.
C4 - Não sei onde está o source deste pacote no formato tgz, virei o Google no avesso e não encontrei nenhuma página de projeto. Só achei para Debian e como eu só uso Debian tanto em casa como nos servidores que monto, fiquei sossegado. Se alguém encontrar disponível para outras distros, coloque o link nos comentários, please (se bem que é apenas um script em perl com os readme, changelog e copyright).
C5 - Se você quer experimentar o pacote, baixe-o para Debian e use o alien para transformá-lo no pacote para sua distro.
C6 - Sim, eu estou usando no trabalho e em casa e não penso em tirá-lo de lá tão cedo... Adorei este esquema de pré-fetcherismo e recomendo.
[ ]s, e espero que tenham gostado do artigo.
Henry
Páginas do artigo
1. O que é2. Como funciona
3. Instalação e configuração
4. Conclusões e comentários by mim mesmo
Outros artigos deste autor
Bloqueio de repetidas tentativas de login ao seu Linux
Leitura recomendada
Quando seria mais conveniente usar wvdial no terminal para conexões 3G ou EDGE?
Internet lenta? Reclame é um direito seu, mas antes leia isto.
Instalando placa PcChips e modem PcTel
Instalando o AxyFTP , o WSFTP do linux
Usando 3G da Vivo no Slackware 13.1
Comentários
[1] Comentário enviado por reimassupilami em 28/11/2005 - 14:54h
cara, que boa dica hein... não conhecia esse esquema, achei muito interessante... mas meu servidor é mandrake, e não encontrei pacotes pra ele, dae não sei como proceder, a principio...
de qualquer forma vou procurar melhor, derepente tem algum esquema...
nao tem source pra compilar, ou algo assim?
cara, que boa dica hein... não conhecia esse esquema, achei muito interessante... mas meu servidor é mandrake, e não encontrei pacotes pra ele, dae não sei como proceder, a principio...
de qualquer forma vou procurar melhor, derepente tem algum esquema...
nao tem source pra compilar, ou algo assim?
[2] Comentário enviado por dupotter em 28/11/2005 - 15:15h
Bom, o pacote pra debian ta ai no link abaixo, ta hospedado no rapidshare, o esquema lá eh vc clicar em free (canto inferior esquerdo), carregará outra página, ai vc espera um pouco e clica em Download: squid-prefetch_1.0-1_all.deb (parte inferior central da página). Se você é como eu e não utiliza debian, converta o pacote utilizando o alien:
http://rapidshare.de/files/8290217/squid-prefetch_1.0-1_all.deb.html
Bom, o pacote pra debian ta ai no link abaixo, ta hospedado no rapidshare, o esquema lá eh vc clicar em free (canto inferior esquerdo), carregará outra página, ai vc espera um pouco e clica em Download: squid-prefetch_1.0-1_all.deb (parte inferior central da página). Se você é como eu e não utiliza debian, converta o pacote utilizando o alien:
http://rapidshare.de/files/8290217/squid-prefetch_1.0-1_all.deb.html
[3] Comentário enviado por marcio.itpro em 28/11/2005 - 18:20h
legal pela contribuição, mas sinceramente...
legal pela contribuição, mas sinceramente...
[4] Comentário enviado por jmhenrique em 28/11/2005 - 18:31h
Complete o comentário, Sr. Márcio. Estou curioso para saber o resto! rs
[ ]s, Henry
Complete o comentário, Sr. Márcio. Estou curioso para saber o resto! rs
[ ]s, Henry
[5] Comentário enviado por paulinholinux em 28/11/2005 - 21:39h
Ai cara blzzzz
curti o artigo, agora me fala uma coisa, estou com squid funcionando e ele nao ta fazendo cache do winupdade ... vc ja testou esse seu sistema com as atualizações do winupdade??
porqe ja tentei de tdo pra tentar resolver o problema de nao estar fazendo cache do winupdade e de atualizações de NAV2005 e AVG e demias páginas e programas a cache é realizada perfeitamente....
mas vc ja testou com winupdade?? funcionou certinho.....??
Abraço e parabéns pelo artigo
PaulinhoLinux
<<-_->>
Ai cara blzzzz
curti o artigo, agora me fala uma coisa, estou com squid funcionando e ele nao ta fazendo cache do winupdade ... vc ja testou esse seu sistema com as atualizações do winupdade??
porqe ja tentei de tdo pra tentar resolver o problema de nao estar fazendo cache do winupdade e de atualizações de NAV2005 e AVG e demias páginas e programas a cache é realizada perfeitamente....
mas vc ja testou com winupdade?? funcionou certinho.....??
Abraço e parabéns pelo artigo
PaulinhoLinux
<<-_->>
[6] Comentário enviado por jmhenrique em 28/11/2005 - 22:20h
Prezado, essa dica é apenas para o pre-cache de arquivos texto, esse é o propósito. Para cache de arquivos binários e de updates, vai depender da sua configuração do squid mesmo.
[ ]s, Henry
Prezado, essa dica é apenas para o pre-cache de arquivos texto, esse é o propósito. Para cache de arquivos binários e de updates, vai depender da sua configuração do squid mesmo.
[ ]s, Henry
[7] Comentário enviado por ndalinux em 28/11/2005 - 22:55h
Link para pacote tar.gz
http://ftp.debian.org/debian/pool/main/s/squid-prefetch/squid-prefetch_1.0-1.tar.gz
Link para pacote tar.gz
http://ftp.debian.org/debian/pool/main/s/squid-prefetch/squid-prefetch_1.0-1.tar.gz
[8] Comentário enviado por reimassupilami em 29/11/2005 - 08:16h
yabadabadooo, o meu tb nao fazia cache do windows update, dae percebi que o problema era o tamanho maximo dos arquivos armazenados... verifique isso, pois geralmente os arquivos são bem grandes...
yabadabadooo, o meu tb nao fazia cache do windows update, dae percebi que o problema era o tamanho maximo dos arquivos armazenados... verifique isso, pois geralmente os arquivos são bem grandes...
[9] Comentário enviado por mzoel em 29/11/2005 - 14:18h
Olá Henrique, fiz alguns testes. O meu squid utiliza autenticação via LDAP e o squid-prefetch acusou o seguinte warning quando analisei pelo strace: fetch "http://www.ibm.com/br/: 407 (Proxy Authentication Required)" e simplesmente não está fazendo prefetch de site algum. Pelo que entendi, o sistema utiliza o próprio squid para popular o cache e por isso não tenho como bypassá-lo. Acredito também que não tenho como informar um usuario/senha para que o squid-prefetch autentique no proxy, estou certo? existe alguma forma de fazê-lo?
Olá Henrique, fiz alguns testes. O meu squid utiliza autenticação via LDAP e o squid-prefetch acusou o seguinte warning quando analisei pelo strace: fetch "http://www.ibm.com/br/: 407 (Proxy Authentication Required)" e simplesmente não está fazendo prefetch de site algum. Pelo que entendi, o sistema utiliza o próprio squid para popular o cache e por isso não tenho como bypassá-lo. Acredito também que não tenho como informar um usuario/senha para que o squid-prefetch autentique no proxy, estou certo? existe alguma forma de fazê-lo?
[11] Comentário enviado por jmhenrique em 30/11/2005 - 07:59h
mzoel, na sua configuração do squid, apenas diga para localhost não ser autenticado.
aqui eu não uso ldap, mas eu fiz assim: dansguardian na porta 3128, squid na porta 1000. Quem não quiser ser autenticado, rode na 3128, mas também esteja sujeito as restrições do dansguardian. Quem se conectar na porta 1000 pede login/senha. Mas ai faz o controle so do squid. Ou seja, requisições vindas de localhost (dansguardian,squid-prefetch) não são autenticadas.
Ou seja, perfeitamente possível de ser implementado no seu cenário.
[ ]s, Henry
mzoel, na sua configuração do squid, apenas diga para localhost não ser autenticado.
aqui eu não uso ldap, mas eu fiz assim: dansguardian na porta 3128, squid na porta 1000. Quem não quiser ser autenticado, rode na 3128, mas também esteja sujeito as restrições do dansguardian. Quem se conectar na porta 1000 pede login/senha. Mas ai faz o controle so do squid. Ou seja, requisições vindas de localhost (dansguardian,squid-prefetch) não são autenticadas.
Ou seja, perfeitamente possível de ser implementado no seu cenário.
[ ]s, Henry
[12] Comentário enviado por mzoel em 30/11/2005 - 14:59h
Henry, show de bola!!!
Segui sua dica e funcionou perfeitamente. Agora vou fazer mais alguns testes para ver se apresenta mais algum problema. Muito Obrigado.
Marcelo
Henry, show de bola!!!
Segui sua dica e funcionou perfeitamente. Agora vou fazer mais alguns testes para ver se apresenta mais algum problema. Muito Obrigado.
Marcelo
[13] Comentário enviado por firefiery em 01/12/2005 - 11:57h
Ae galera, instalei mais sempre aparece essa mensagem:
fetch: http://www.vivaolinux.com.br/:">http://www.vivaolinux.com.br/: 403 (Forbidden)
Server -> squid/2.5.STABLE9
Proxy-Connection -> close
X-Cache-Lookup -> NONE from sky.meudominio.net:3128
X-Squid-Error -> ERR_ACCESS_DENIED 0
Date -> Thu, 01 Dec 2005 11:57:21 GMT
Content-Length -> 1096
Mime-Version -> 1.0
Content-Type -> text/html
X-Cache -> MISS from sky.meudominio.net
Expires -> Thu, 01 Dec 2005 11:57:21 GMT
Warning: fetch returned code 403 (Forbidden) for http://www.vivaolinux.com.br/
É normal ou hpa algum erro?
Obrigado.
Ae galera, instalei mais sempre aparece essa mensagem:
fetch: http://www.vivaolinux.com.br/:">http://www.vivaolinux.com.br/: 403 (Forbidden)
Server -> squid/2.5.STABLE9
Proxy-Connection -> close
X-Cache-Lookup -> NONE from sky.meudominio.net:3128
X-Squid-Error -> ERR_ACCESS_DENIED 0
Date -> Thu, 01 Dec 2005 11:57:21 GMT
Content-Length -> 1096
Mime-Version -> 1.0
Content-Type -> text/html
X-Cache -> MISS from sky.meudominio.net
Expires -> Thu, 01 Dec 2005 11:57:21 GMT
Warning: fetch returned code 403 (Forbidden) for http://www.vivaolinux.com.br/
É normal ou hpa algum erro?
Obrigado.
[14] Comentário enviado por jmhenrique em 01/12/2005 - 13:42h
Provavelmente vc tem uma acl proibindo acessos originados de localhost. Libere localhost para não ser autenticado e poder acessar a net pelo squid.
[ ]s, Henry
Provavelmente vc tem uma acl proibindo acessos originados de localhost. Libere localhost para não ser autenticado e poder acessar a net pelo squid.
[ ]s, Henry
[15] Comentário enviado por luiz humberto em 30/12/2005 - 10:27h
Estou com receio de usar e com isso acabar consumindo toda a banda, o que preciso atentar para que isso não ocorra ? Precisa configuarar algo no squid.conf ?
Estou usando o debian após instalar pelo apt-get, como posso fazer testes para saber que está funcionando corretamente ? Tipo um comando.
Obrigado
Estou com receio de usar e com isso acabar consumindo toda a banda, o que preciso atentar para que isso não ocorra ? Precisa configuarar algo no squid.conf ?
Estou usando o debian após instalar pelo apt-get, como posso fazer testes para saber que está funcionando corretamente ? Tipo um comando.
Obrigado
[16] Comentário enviado por jmhenrique em 30/12/2005 - 11:40h
A idéia não é economia de banda... e sim aproveitamento da banda ociosa para baixar páginas. O que eu noto é que nas primeiras horas do dia se usa 80 a 99% da banda, e no decorrer do dia, cai bastante.
A idéia de consumo de 100% de banda te assusta? que adianta ter um link de 200MBps e só usar 100kbps?
o problema maior que eu vejo é uso de banda com inutilidades.
a menos que vc use o seu link para outras coisas, como vpn.
você pode fazer um pool no squid, e especificar o quanto da banda vc quer usar.
A idéia não é economia de banda... e sim aproveitamento da banda ociosa para baixar páginas. O que eu noto é que nas primeiras horas do dia se usa 80 a 99% da banda, e no decorrer do dia, cai bastante.
A idéia de consumo de 100% de banda te assusta? que adianta ter um link de 200MBps e só usar 100kbps?
o problema maior que eu vejo é uso de banda com inutilidades.
a menos que vc use o seu link para outras coisas, como vpn.
você pode fazer um pool no squid, e especificar o quanto da banda vc quer usar.
[17] Comentário enviado por luiz humberto em 30/12/2005 - 16:08h
Não posso consumir toda a banda, pois tenho um Terminal Server rodando, então precisa configurar algo no squid.conf, e como saber se funcionou corretamente, teria algum comando, ou somente fazendo os testes ?
Não posso consumir toda a banda, pois tenho um Terminal Server rodando, então precisa configurar algo no squid.conf, e como saber se funcionou corretamente, teria algum comando, ou somente fazendo os testes ?
[18] Comentário enviado por jmhenrique em 30/12/2005 - 21:12h
sinto muito lhe informar, mas não existe "comando milagroso" para este caso.
como disse anteriormente, use delays pools no squid para definir a banda de rede utilizada, deve haver tutoriais no vol sobre implementação de delay pools.
se quiser fazer um teste para saber se squid-prefetch esta funcionando, em um horário que ninguem estiver acessando, de uma máquina qualquer da sua rede acesse apenas a página inicial de um determinado site. E veja depois nos logs se localhost baixou outros links mais que a página inicial do site. Uma boa página para se fazer isso, na minha opinião, é o site da Unicamp.
[ ]s,Henry
sinto muito lhe informar, mas não existe "comando milagroso" para este caso.
como disse anteriormente, use delays pools no squid para definir a banda de rede utilizada, deve haver tutoriais no vol sobre implementação de delay pools.
se quiser fazer um teste para saber se squid-prefetch esta funcionando, em um horário que ninguem estiver acessando, de uma máquina qualquer da sua rede acesse apenas a página inicial de um determinado site. E veja depois nos logs se localhost baixou outros links mais que a página inicial do site. Uma boa página para se fazer isso, na minha opinião, é o site da Unicamp.
[ ]s,Henry
[19] Comentário enviado por balani em 20/07/2006 - 14:27h
Cara, gostei do artigo, achei interessante e estou interessado em usar, vc sabe se há algum problema com o dansguardian, pois uso o squid com dansguardian.
Cara, gostei do artigo, achei interessante e estou interessado em usar, vc sabe se há algum problema com o dansguardian, pois uso o squid com dansguardian.
[20] Comentário enviado por gumedina em 20/09/2006 - 11:07h
Cara seguinte..baixei o arquivo .tar.gz, descompaquitei e dou o comando ./squid-preftch ai da esse erro...
Can't locate URI.pm in @INC (@INC contains: /usr/lib/perl5/5.8.7/i486-linux /usr/lib/perl5/5.8.7 /usr/lib/perl5/site_perl/5.8.7/i486-linux /usr/lib/perl5/site_perl/5.8.7 /usr/lib/perl5/site_perl .) at ./squid-prefetch line 11.
BEGIN failed--compilation aborted at ./squid-prefetch line 11.
ai comento a linha 11 e a 12 que sao essas
use:URI;
use Net: :HTTP;
ai roda sem da erro...mas sera q esta funcionando 100%...essa é minha duvida.
agradeço a atençao...meu email é gumedina1@hotmail.com
abraços...
Cara seguinte..baixei o arquivo .tar.gz, descompaquitei e dou o comando ./squid-preftch ai da esse erro...
Can't locate URI.pm in @INC (@INC contains: /usr/lib/perl5/5.8.7/i486-linux /usr/lib/perl5/5.8.7 /usr/lib/perl5/site_perl/5.8.7/i486-linux /usr/lib/perl5/site_perl/5.8.7 /usr/lib/perl5/site_perl .) at ./squid-prefetch line 11.
BEGIN failed--compilation aborted at ./squid-prefetch line 11.
ai comento a linha 11 e a 12 que sao essas
use:URI;
use Net: :HTTP;
ai roda sem da erro...mas sera q esta funcionando 100%...essa é minha duvida.
agradeço a atençao...meu email é gumedina1@hotmail.com
abraços...
[21] Comentário enviado por cytron em 26/11/2006 - 20:14h
Cara! Minha preocupação é o seguinte:
Se eu ativar pra conteúdo dinâmico, que usa ? na url, a questão não é bem o desperdício de banda, mas a decisão antecipada, veja:
O cara entra num site onde ele tem um termo para conteúno inapropriado:
O conteúdo deste site... Declaro que sou de maior - Sou de menor
Daí o squid-prefetch vai abrir ativar os dois links fazendo com que o servidor remoto pense que o usuário clicou na opção, valendo a que chegar primeiro. Daí quando o usuário tentar clicar o sistema vai avisar que ele já fez a escolha dele.
Agora imagina isso em sites de empresas, bancos, concursos, no dia-a-dia de trabalho de pessoas que usam muito a net para preencher formulários e tal.
Vira bagunça mesmo ou o squid-prefetch já prevê esse tipo de coisa?
Cara! Minha preocupação é o seguinte:
Se eu ativar pra conteúdo dinâmico, que usa ? na url, a questão não é bem o desperdício de banda, mas a decisão antecipada, veja:
O cara entra num site onde ele tem um termo para conteúno inapropriado:
O conteúdo deste site... Declaro que sou de maior - Sou de menor
Daí o squid-prefetch vai abrir ativar os dois links fazendo com que o servidor remoto pense que o usuário clicou na opção, valendo a que chegar primeiro. Daí quando o usuário tentar clicar o sistema vai avisar que ele já fez a escolha dele.
Agora imagina isso em sites de empresas, bancos, concursos, no dia-a-dia de trabalho de pessoas que usam muito a net para preencher formulários e tal.
Vira bagunça mesmo ou o squid-prefetch já prevê esse tipo de coisa?
[22] Comentário enviado por jmhenrique em 26/11/2006 - 22:45h
Interessante a sua pergunta, e mais interessante ainda a resposta: Essa "tomada de decisão" é na camada do cliente, e gerenciada por cookies no navegador do cliente final. Ou seja... ele(o squid-prefetch) não pode prever algo que nem está em sua competência gerenciar. Apenas como exemplo de prova, imagine 2 usuários acessando o webmail do yahoo e usando o squid como proxy. Como será que o squid gerencia isso? A resposta é simples: NÂO GERENCIA. Isso quem gerencia é o modelo cliente-servidor da aplicação web. E zilhares de pessoas acessam normalmente seus emais, bancos e etc, usando squid e até mesmo outros proxies, e nunca deu problema... (não por causa do squid, e nem por causa do squid-prefetch).
[ ]s, Henry.
Interessante a sua pergunta, e mais interessante ainda a resposta: Essa "tomada de decisão" é na camada do cliente, e gerenciada por cookies no navegador do cliente final. Ou seja... ele(o squid-prefetch) não pode prever algo que nem está em sua competência gerenciar. Apenas como exemplo de prova, imagine 2 usuários acessando o webmail do yahoo e usando o squid como proxy. Como será que o squid gerencia isso? A resposta é simples: NÂO GERENCIA. Isso quem gerencia é o modelo cliente-servidor da aplicação web. E zilhares de pessoas acessam normalmente seus emais, bancos e etc, usando squid e até mesmo outros proxies, e nunca deu problema... (não por causa do squid, e nem por causa do squid-prefetch).
[ ]s, Henry.
[23] Comentário enviado por cytron em 04/12/2006 - 00:51h
legal, eu não tinha pensado nisso. Estava esperando esta resposta pra implantar esse prefetch.
legal, eu não tinha pensado nisso. Estava esperando esta resposta pra implantar esse prefetch.
[24] Comentário enviado por tntmidia em 07/12/2006 - 20:47h
gostei do artigo, fiz tudinho mas como sei que esta funcionando certo ?
gostei do artigo, fiz tudinho mas como sei que esta funcionando certo ?
[25] Comentário enviado por jmhenrique em 07/12/2006 - 21:51h
abaixo uma linha de log do meu squid. (para ter essa saida monstruosa, eu habilitei "log_mime_hdrs on" no meu squid.conf)
perceba os trechos "User-Agent: Squid-Prefetch" e "TCP_HIT/200" . Se você ver isso, parabéns.
1165535156.244 1 127.0.0.1 TCP_HIT/200 16377 GET http://www.unicamp.br/unicamp/ensino_pesquisa/ensino.html - NONE/- text/html [Connection: close\r\nHost: www.unicamp.br:1000\r\nAccept: text/html\r\nCache-Control: only-if-cached\r\nUser-Agent: Squid-Prefetch\r\n] [HTTP/1.1 200 OK\r\nDate: Thu, 07 Dec 2006 23:45:39 GMT\r\nServer: Apache/2.0.59 (Unix) mod_ssl/2.0.59 OpenSSL/0.9.8d PHP/4.4.4\r\nLast-Modified: Thu, 13 May 2004 12:55:13 GMT\r\nAccept-Ranges: bytes\r\nContent-Length: 15923\r\nKeep-Alive: timeout=15, max=1000\r\nConnection: Keep-Alive\r\nContent-Type: text/html\r\n\r]
abaixo uma linha de log do meu squid. (para ter essa saida monstruosa, eu habilitei "log_mime_hdrs on" no meu squid.conf)
perceba os trechos "User-Agent: Squid-Prefetch" e "TCP_HIT/200" . Se você ver isso, parabéns.
1165535156.244 1 127.0.0.1 TCP_HIT/200 16377 GET http://www.unicamp.br/unicamp/ensino_pesquisa/ensino.html - NONE/- text/html [Connection: close\r\nHost: www.unicamp.br:1000\r\nAccept: text/html\r\nCache-Control: only-if-cached\r\nUser-Agent: Squid-Prefetch\r\n] [HTTP/1.1 200 OK\r\nDate: Thu, 07 Dec 2006 23:45:39 GMT\r\nServer: Apache/2.0.59 (Unix) mod_ssl/2.0.59 OpenSSL/0.9.8d PHP/4.4.4\r\nLast-Modified: Thu, 13 May 2004 12:55:13 GMT\r\nAccept-Ranges: bytes\r\nContent-Length: 15923\r\nKeep-Alive: timeout=15, max=1000\r\nConnection: Keep-Alive\r\nContent-Type: text/html\r\n\r]
[26] Comentário enviado por tntmidia em 08/12/2006 - 02:17h
olha, pode esta faltando alguma coisa na compilaçao ou na configuraçao? Precisa alguma coisa a mais, uso squid transparente...
Nao foi dessa vez o parabens, pra mim... :)
1165540038.848 163 23.0.0.3 TCP_MISS/200 6128 GET http://www.unicamp.br/cgi-bin/unicamp/rot_foto.cgi - DIRECT/143.106.10.30 image/jpeg [Accept: */*\r\nReferer: http://www.unicamp.br/unicamp/ensino_pesquisa/ensino.html\r\nAccept-Language: pt-br\r\nProxy-Connection: Keep-Alive\r\nUser-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)\r\nHost: www.unicamp.br\r\n] [HTTP/1.0 200 OK\r\nDate: Fri, 08 Dec 2006 04:06:31 GMT\r\nServer: Apache/2.0.59 (Unix) mod_ssl/2.0.59 OpenSSL/0.9.8d PHP/4.4.4\r\nExpires: Friday, 30-Sep-94 12:00:00 GMT\r\nContent-Type: image/jpeg\r\nX-Cache: MISS from cp0.squid.com.br\r\nVia: 1.0 cp0.squid.com.br:3128 (squid/2.6.STABLE4)\r\nConnection: close\r\n\r]
olha, pode esta faltando alguma coisa na compilaçao ou na configuraçao? Precisa alguma coisa a mais, uso squid transparente...
Nao foi dessa vez o parabens, pra mim... :)
1165540038.848 163 23.0.0.3 TCP_MISS/200 6128 GET http://www.unicamp.br/cgi-bin/unicamp/rot_foto.cgi - DIRECT/143.106.10.30 image/jpeg [Accept: */*\r\nReferer: http://www.unicamp.br/unicamp/ensino_pesquisa/ensino.html\r\nAccept-Language: pt-br\r\nProxy-Connection: Keep-Alive\r\nUser-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)\r\nHost: www.unicamp.br\r\n] [HTTP/1.0 200 OK\r\nDate: Fri, 08 Dec 2006 04:06:31 GMT\r\nServer: Apache/2.0.59 (Unix) mod_ssl/2.0.59 OpenSSL/0.9.8d PHP/4.4.4\r\nExpires: Friday, 30-Sep-94 12:00:00 GMT\r\nContent-Type: image/jpeg\r\nX-Cache: MISS from cp0.squid.com.br\r\nVia: 1.0 cp0.squid.com.br:3128 (squid/2.6.STABLE4)\r\nConnection: close\r\n\r]
[27] Comentário enviado por tntmidia em 08/12/2006 - 03:31h
consegui...o problema estava aqui (libwww-perl) reinstalei ficou no grau, agora sim, parabens pra mim, valeu...
consegui...o problema estava aqui (libwww-perl) reinstalei ficou no grau, agora sim, parabens pra mim, valeu...
[28] Comentário enviado por wppitp em 26/04/2007 - 22:56h
segui seu .conf, ele roda na boa, mas fica durante uns 30 sec., depois ele cai sozinho, sem explicacao, alguem ja passou por isso??
nao tenho proxu autenticado nem nd..
segui seu .conf, ele roda na boa, mas fica durante uns 30 sec., depois ele cai sozinho, sem explicacao, alguem ja passou por isso??
nao tenho proxu autenticado nem nd..
[29] Comentário enviado por brunosalmito em 25/06/2007 - 17:13h
Amigo, gostei da dica, seguinte gostaria de saber se ele tb armazena as páginas da caixa sem dar problema ?
Amigo, gostei da dica, seguinte gostaria de saber se ele tb armazena as páginas da caixa sem dar problema ?
[30] Comentário enviado por aroldobossoni em 04/07/2007 - 20:07h
Quando a conexão esta momentaneamente saturada o Squid-Prefetch ainda sim continua a fazer pedidos ou ele tem algum tipo de monitoramento que impede isso?
Em casos que ah pouco espaço de armazenamento ou a banda já esta em um nível de utilização alto, você desaconselha o uso do Squid-Prefetch?
Tem mais algum caso que você desaconselha o uso do Squid-Prefetch?
Quando a conexão esta momentaneamente saturada o Squid-Prefetch ainda sim continua a fazer pedidos ou ele tem algum tipo de monitoramento que impede isso?
Em casos que ah pouco espaço de armazenamento ou a banda já esta em um nível de utilização alto, você desaconselha o uso do Squid-Prefetch?
Tem mais algum caso que você desaconselha o uso do Squid-Prefetch?
[31] Comentário enviado por jmhenrique em 05/07/2007 - 10:21h
Aroldobossoni,
para a sua primeira pergunta, vide C2. :D
para a sua segunda pergunta, vide C2 E C3. :D
para a sua terceira pergunta, sim. Desaconselho o uso em caso da sua rede não estar estável, você não ter o pleno controle sobre ela mentalmente e você não souber de cabeça quantos bits passam por segundo por ela, quais os sites que os seus usuários acessam e quanto cada um utiliza, bem como o estilo do site. Squid-prefetch é uma perfumaria. Não uma necessidade. (se bem que estão pensando em colocar prefetcherismo embutido no squid)
[ ] s, Henry.
Aroldobossoni,
para a sua primeira pergunta, vide C2. :D
para a sua segunda pergunta, vide C2 E C3. :D
para a sua terceira pergunta, sim. Desaconselho o uso em caso da sua rede não estar estável, você não ter o pleno controle sobre ela mentalmente e você não souber de cabeça quantos bits passam por segundo por ela, quais os sites que os seus usuários acessam e quanto cada um utiliza, bem como o estilo do site. Squid-prefetch é uma perfumaria. Não uma necessidade. (se bem que estão pensando em colocar prefetcherismo embutido no squid)
[ ] s, Henry.
[32] Comentário enviado por removido em 13/09/2007 - 16:02h
Boa tarde Jmhenrique, achei muito bom este artigo.
Gostaria de saber onde encontrar o pacote fonte ou tgz para Slackware?
Obrigado.
Boa tarde Jmhenrique, achei muito bom este artigo.
Gostaria de saber onde encontrar o pacote fonte ou tgz para Slackware?
Obrigado.
[33] Comentário enviado por cytron em 09/12/2007 - 20:37h
Após muito tempo resolvi pegar novamente no squid-prefetch, mas agora fiz diferente:
Fiz algumas alterações, meu servidor utiliza um link principal para as máquinas navegarem na internet, então coloquei uma ADSL de 8 MB para o squid-prefetch ficar baixando as páginas e alimentando o cache do proxy.
Resultado:
A internet mais ignorante que já ví!!!
Estou rindo para as parendes, coloquei o prefetch para abusar mesmo, pois tem 8 MB só pra ele, claro que o espaço em disco aumenta rapidamente, mas chega uma hora que estabiliza e o prefetch fica apenas atualizando o cache. Pois os usuários tem um perfil de navegação e pouca coisa nova é baixada depois que se baixa tudo que ele já viu e o que ainda vai ver, ehehehehe.
Após muito tempo resolvi pegar novamente no squid-prefetch, mas agora fiz diferente:
Fiz algumas alterações, meu servidor utiliza um link principal para as máquinas navegarem na internet, então coloquei uma ADSL de 8 MB para o squid-prefetch ficar baixando as páginas e alimentando o cache do proxy.
Resultado:
A internet mais ignorante que já ví!!!
Estou rindo para as parendes, coloquei o prefetch para abusar mesmo, pois tem 8 MB só pra ele, claro que o espaço em disco aumenta rapidamente, mas chega uma hora que estabiliza e o prefetch fica apenas atualizando o cache. Pois os usuários tem um perfil de navegação e pouca coisa nova é baixada depois que se baixa tudo que ele já viu e o que ainda vai ver, ehehehehe.
[34] Comentário enviado por jdnva em 21/02/2008 - 19:24h
muito bacana
gostei dessa parada ai
adhuashduahsudhausdhas
esse cara aki di cima dos 8MB eh esperto^^
isso ficaria legal pra akeles cara que tem provedor de internet sem fio
que usa o microtik ^^
que sao 12MB pra 400 usuarios ~^^
^
shalom
muito bacana
gostei dessa parada ai
adhuashduahsudhausdhas
esse cara aki di cima dos 8MB eh esperto^^
isso ficaria legal pra akeles cara que tem provedor de internet sem fio
que usa o microtik ^^
que sao 12MB pra 400 usuarios ~^^
^
shalom
[35] Comentário enviado por minelli em 24/06/2014 - 16:43h
Estranho aqui que aparece isso em 90% dos sites abertos sempre esse mesmo erro, mas no navegador abre normal e pelo lynx também:
perl /usr/sbin/squid-prefetch 2>&1
fetch: http://educacao.uol.com.br/:">http://educacao.uol.com.br/: 504 (Gateway Time-out)
Content-Type -> text/html
Via -> 1.0 lusca-cache:5129 (Lusca)
Content-Length -> 1204
Server -> Lusca
Date -> Tue, 24 Jun 2014 19:40:29 GMT
X-Cache -> MISS from lusca-cache
X-Cache-Lookup -> MISS from lusca-cache:5129
X-Squid-Error -> ERR_ONLY_IF_CACHED_MISS 0
Connection -> close
Warning: fetch returned code 504 (Gateway Time-out) for http://educacao.uol.com.br/
fetch: http://www.globo.com/:">http://www.globo.com/: 504 (Gateway Time-out)
Content-Length -> 1192
Via -> 1.0 lusca-cache:5129 (Lusca)
Content-Type -> text/html
Date -> Tue, 24 Jun 2014 19:40:45 GMT
Server -> Lusca
X-Cache -> MISS from lusca-cache
Connection -> close
X-Squid-Error -> ERR_ONLY_IF_CACHED_MISS 0
X-Cache-Lookup -> MISS from lusca-cache:5129
Warning: fetch returned code 504 (Gateway Time-out) for http://www.globo.com/
Alguma idéia?
Estranho aqui que aparece isso em 90% dos sites abertos sempre esse mesmo erro, mas no navegador abre normal e pelo lynx também:
perl /usr/sbin/squid-prefetch 2>&1
fetch: http://educacao.uol.com.br/:">http://educacao.uol.com.br/: 504 (Gateway Time-out)
Content-Type -> text/html
Via -> 1.0 lusca-cache:5129 (Lusca)
Content-Length -> 1204
Server -> Lusca
Date -> Tue, 24 Jun 2014 19:40:29 GMT
X-Cache -> MISS from lusca-cache
X-Cache-Lookup -> MISS from lusca-cache:5129
X-Squid-Error -> ERR_ONLY_IF_CACHED_MISS 0
Connection -> close
Warning: fetch returned code 504 (Gateway Time-out) for http://educacao.uol.com.br/
fetch: http://www.globo.com/:">http://www.globo.com/: 504 (Gateway Time-out)
Content-Length -> 1192
Via -> 1.0 lusca-cache:5129 (Lusca)
Content-Type -> text/html
Date -> Tue, 24 Jun 2014 19:40:45 GMT
Server -> Lusca
X-Cache -> MISS from lusca-cache
Connection -> close
X-Squid-Error -> ERR_ONLY_IF_CACHED_MISS 0
X-Cache-Lookup -> MISS from lusca-cache:5129
Warning: fetch returned code 504 (Gateway Time-out) for http://www.globo.com/
Alguma idéia?
[36] Comentário enviado por marcoscg72 em 30/06/2015 - 17:45h
Júlio,
Meus parabéns pelo artigo.
Ao tentar executar o service squid-prefetch start ou ao tentar executá-lo diretamente retorna o erro:
squid-prefetch Error: could not read access log /var/log/squid3/access.log squid (No such file or directory)
O que pode ser?
Júlio,
Meus parabéns pelo artigo.
Ao tentar executar o service squid-prefetch start ou ao tentar executá-lo diretamente retorna o erro:
squid-prefetch Error: could not read access log /var/log/squid3/access.log squid (No such file or directory)
O que pode ser?
Patrocínio
Site hospedado pelo provedor RedeHost.
Destaques
Vou voltar moderar conteúdos de Dicas e Artigos (0)
Artigos
Compartilhando a tela do Computador no Celular via Deskreen
Como Configurar um Túnel SSH Reverso para Acessar Sua Máquina Local a Partir de uma Máquina Remota
Configuração para desligamento automatizado de Computadores em um Ambiente Comercial
Dicas
Como renomear arquivos de letras maiúsculas para minúsculas
Imprimindo no formato livreto no Linux
Vim - incrementando números em substituição
Efeito "livro" em arquivos PDF
Como resolver o erro no CUPS: Unable to get list of printer drivers
Tópicos
Vou voltar moderar conteúdos de Dicas e Artigos (0)
Instalação Uefi com o instalador clássico do Mageia (0)
É cada coisa que me aparece! - não é só 3% (2)
Top 10 do mês
-
Xerxes
1° lugar - 66.775 pts -
Fábio Berbert de Paula
2° lugar - 50.840 pts -
Buckminster
3° lugar - 17.557 pts -
Mauricio Ferrari
4° lugar - 15.719 pts -
Alberto Federman Neto.
5° lugar - 14.369 pts -
Diego Mendes Rodrigues
6° lugar - 13.535 pts -
Daniel Lara Souza
7° lugar - 12.814 pts -
edps
8° lugar - 11.175 pts -
Andre (pinduvoz)
9° lugar - 10.978 pts -
Alessandro de Oliveira Faria (A.K.A. CABELO)
10° lugar - 10.910 pts
Scripts
[Python] Automação de scan de vulnerabilidades
[Python] Script para analise de superficie de ataque
[Shell Script] Novo script para redimensionar, rotacionar, converter e espelhar arquivos de imagem
[Shell Script] Iniciador de DOOM (DSDA-DOOM, Doom Retro ou Woof!)
[Shell Script] Script para adicionar bordas às imagens de uma pasta
A maior comunidade GNU/Linux da América Latina! Artigos, dicas, tutoriais, fórum, scripts e muito mais. Ideal para quem busca auto-ajuda.
Site hospedado por:
