Como saber se Squid está mesmo fazendo cache?

ehs171
(usa Ubuntu)

Enviado em 19/02/2010 - 08:18h

Bom dia pessoal eu gostaria de saber se tem alguma amneira de saber se o squid esta realmente fazendo o cache dos arquivos?
Eu dei um tail -f cache.log para verificar, mas não ha movimento neste arquivo??
no meu squid o cache.log esta definido desta maneira:
cache_log /home/squid/logs/cache.log

valew

Diede
(usa Debian)

Enviado em 19/02/2010 - 15:32h

A entrada correta é cache_access_log.
O cache_log só é atualizado em eventos do NETDB, ou ao iniciar o squid.

Para saber se o squid realmente faz cache, baixe uma foto, ou um arquivo grande (por exemplo http://ipac.jpl.nasa.gov/media_images/sirtf/SIRTF_ir_rh_4.jpg) no seu browser e depois no terminal. Ao baixar pelo terminal (wget), não se esqueça de setar o proxy (export http_proxy="127.0.0.1:3128"). Se ele estiver mesmo fazendo cache, o download via wget vai atingir altas velocidades (algo como 200MB/s), acabará instantaneamente e no log do cache_access_log o objeto será marcado como MEM_HIT ou TCP_HIT.

ehs171
(usa Ubuntu)

Enviado em 19/02/2010 - 15:55h

boa tarde amigo acabei de efetuar o teste e acho que nao funcionou. olha a mensagem que deu no meu cache_Accsse_log
TCP_MISS/404 630 GET http://ipac.jpl.nasa.gov/media_images/sirtf/SIRTF_ir_rh_4.jpg) - DIRECT/128.149.224.120 text/html

Diede
(usa Debian)

Enviado em 19/02/2010 - 16:26h

Ok ok... fiquei intrigado quanto ao ao MISS/404, mas é por causa da URL. O ")" não faz parte dela... hehe...
Tente novamente com:
http://ipac.jpl.nasa.gov/media_images/sirtf/SIRTF_ir_rh_4.jpg
ao invés de:
http://ipac.jpl.nasa.gov/media_images/sirtf/SIRTF_ir_rh_4.jpg)

ehs171
(usa Ubuntu)

Enviado em 19/02/2010 - 16:55h

boa tarde amigo refi o teste e olha soh o que deu:


1266609266.797 12982 10.0.0.37 TCP_MISS/200 2292617 GET http://ipac.jpl.nasa.gov/media_images/sirtf/SIRTF_ir_rh_4.jpg - DIRECT/128.149.224.120 image/jpeg

Diede
(usa Debian)

Enviado em 20/02/2010 - 10:56h

Pois é... não tá fazendo cache não...

Coloque no início do seu squid.conf o seguinte:
acl todos src 0.0.0.0/0.0.0.0
cache allow todos

Dê um /etc/init.d/squid restart (ou squid -k reconfigure), e tente novamente baixar a url novamente (tente 2 ou 3 vezes). Se não der certo, poste seu squid.conf aqui...

ehs171
(usa Ubuntu)

Enviado em 22/02/2010 - 08:28h

Bom dia amigo tentei fazer o que voce falou, mas ainda continou dando a mesma mensagem..
aqui esta meu squid.conf

http_port 3128 transparent

dns_nameservers 200.175.5.139

acl todos src 0.0.0.0/0.0.0.0
cache allow todos

##---------------------------------------------------------------------------------------------
# inicio testes cahce
# Configuracoes de cache, dono, logs, errors
# Define o usuario dono do cache do squid
cache_effective_user squid
cache_effective_group squid

# define a quantidade de memoria destinada ao cache
cache_mem 512 MB

cache_swap_low 90
cache_swap_high 95

maximum_object_size_in_memory 1024 KB
maximum_object_size 1000 MB
minimum_object_size 0 KB
# Se o HD for Sata ou SCSI utilizar UFS
#cache_dir ufs /home/squid/cache 10000 32 256
cache_dir diskd /home/squid/cache 10000 32 256 Q1=64 Q2=72
##teste
#cache_dir aufs /home/squid/cache 10000 32 256

##otimisacoes novas
memory_replacement_policy heap GDSF
cache_replacement_policy heap LFUDA
## off para o squid fechar conexoes
half_closed_clients off
##fim otimizacoes novas

# Atualização do cache
#hierarchy_stoplist cgi-bin ?
# ----- Desabilitar o Cache para determinadas paginas
# ---- acl QUERY urlpath_regex cgi-bin \?
acl no_cache url_regex "/home/squid/no_cache"
no_cache deny no_cache
# ------ Fim Desabilita cache
auth_param basic children 5
auth_param basic realm PMJ-BA Proxy
auth_param basic credentialsttl 2 hours
auth_param basic casesensitive off
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320

##################### Cache Videos ####################
refresh_pattern -i .flv$ 10080 90% 999999 ignore-no-cache override-expire ignore-private
acl youtube dstdomain .youtube.com
cache allow youtube
##################### Fim Cache Videos ################

##################### Cache do Windows Update #########

refresh_pattern au.download.windowsupdate.com/.*.(cab|exe|msi) 10080 100% 43200 reload-into-ims

refresh_pattern download.microsoft.com/.*.(cab|exe|msi) 10080 100% 43200 reload-into-ims

refresh_pattern msgruser.dlservice.microsoft.com/.*.(cab|exe|msi) 10080 100% 43200 reload-into-ims

refresh_pattern windowsupdate.com/.*.(cab|exe|msi) 10080 100% 43200 reload-into-ims

refresh_pattern www.microsoft.com/.*.(cab|exe|msi) 10080 100% 43200 reload-into-ims

##################### Fim Cache do Windows Update ################

# fim testes Cache
##-----------------------------------------------------------------------------

# Log de Acesso
# Mostra quem acessou o que, dia e hora
cache_access_log /home/squid/logs/access.log
# access_log /home/squid/logs/access.log

# Log de erro do Squid
cache_log /home/squid/logs/cache.log

# Detalha objeto da web armazenado
#cache_store_log /home/squid/logs/store.log
## Desativando Melhora o Desenpenho do squid, visto que nao faz tantas requisicoes no disco.
cache_store_log none

# Nome do Proxy
visible_hostname Proxy.unimake
##-----------------------------------------------------------------------------
## SQStat == Monitorando o Squid em tempo real;
acl manager proto cache_object
acl webserver src 10.0.0.254/24
http_access allow manager webserver
http_access deny manager

## SQStat == Fim!
##-----------------------------------------------------------------------------

##-----------------------------------------------------------------------------
# INICIO DAS REGRAS DE BLOQUEIO
# http_access = permine ou proibe o acesso
# Lembre: deny = bloqueio | allow = liberar

# IPs liberados
acl ip_liberados src "/home/squid/ip_liberados"
http_access allow ip_liberados

# Regra Sites liberados!
acl url_liberados url_regex -i "/home/squid/url_liberados"
http_access allow url_liberados

# Regra Dominios bloqueados --- Geralmente dominios com virus e malwares
#acl dominios_bloqueados dstdomain "/home/squid/dominios_bloqueados"
#acl dominios_bloqueados dstdom_regex -i "/home/squid/dominios_bloqueados"
#http_access deny dominios_bloqueados

# Sites dentro da blacklist q contem mallware, virus, etc
acl blacklist dstdom_regex -i "/home/squid/blacklist"
http_access deny blacklist

# Regra Dominios bloqueados paginas brasileiras bloqueadas, pornos, etc
acl blacklist_br dstdomain "/home/squid/blacklist_br"
http_access deny blacklist_br

# Regra de URL bloqueadas!
#acl palavras_bloqueadas dstdom_regex "/home/squid/palavras_bloqueadas"
acl palavras_bloqueadas url_regex -i "/home/squid/palavras_bloqueadas"

# Restricao do Horario de Acesso
acl h_manha time MTWHF 07:00-12:00
acl h_tarde time MTWHF 14:00-18:00
acl h_sabado time A 08:00-11:00
#acl h_full time MTWHF 08:00-18:00

# Restringindo o acesso
http_access deny palavras_bloqueadas h_manha
http_access deny palavras_bloqueadas h_tarde
http_access deny palavras_bloqueadas h_sabado
#http_access deny palavras_bloqueadas h_full

# FIM DAS REGRAS DE BLOQUEIO
##-----------------------------------------------------------------------------

# define a sua rede para o squid
#acl rede_interna src 10.0.0.0/24
acl rede_interna src 10.0.0.0/24
acl all src 0.0.0.0/0.0.0.0

# ACL portas
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl to_localhost dst 127.0.0.0/255.255.255.255
acl Safe_ports port 10000 # webmin
acl Safe_ports port 631 # cups
acl Safe_ports port 901 # samba
acl SSL_ports port 443 563 1834 1863 4242 # SSL
acl Safe_ports port 80 8080 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 563 # https, snews
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT

# validacao das redes!
http_access deny all !rede_interna
http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
#http_access allow Safe_ports
http_access deny CONNECT !SSL_ports
http_reply_access deny all !rede_interna
icp_access deny all !rede_interna

# Altera a Menssagen de erro para o portugues!
error_directory /usr/share/squid/errors/Portuguese

Diede
(usa Debian)

Enviado em 23/02/2010 - 20:48h

Veja se assim muda em algo (se começa a fazer HIT):
Dê um /etc/init.d/squid stop, apague seu cache atual (sudo rm -fR /home/squid/cache/*), e re-faça a config:

http_port 3128

dns_nameservers 200.175.5.139

acl todos src 0.0.0.0/0.0.0.0
cache allow todos

cache_effective_user squid
cache_effective_group squid
cache_mem 512 MB
cache_swap_low 90
cache_swap_high 95
#1MB muito para a memória. É mais recomendado guardar a RAM para objetos pequenos
#maximum_object_size_in_memory 1024 KB
maximum_object_size_in_memory 32 KB
maximum_object_size 1000 MB
minimum_object_size 0 KB
cache_dir diskd /home/squid/cache 10000 32 256 Q1=64 Q2=72


#Isso varia pelo o que se costuma acessar, mas recomendo o heap LRU:
#memory_replacement_policy heap GDSF
#cache_replacement_policy heap LFUDA
memory_replacement_policy heap LRU
cache_replacement_policy heap LRU
half_closed_clients off

#Não entendi essa sua ACL...
#acl no_cache url_regex "/home/squid/no_cache"
#no_cache deny no_cache

auth_param basic children 5
auth_param basic realm PMJ-BA Proxy
auth_param basic credentialsttl 2 hours
auth_param basic casesensitive off


#Crie alguns refreshs para fugir do padrão, e otimizar a ação do cache:
refresh_pattern -i \.jpeg$ 129600 100% 5781600 override-expire ignore-reload reload-into-ims

refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
#refresh_pattern . 0 20% 4320
#Mude seu Refresh global para algo assim:
refresh_pattern . 15 20% 2280


refresh_pattern -i .flv$ 10080 90% 999999 ignore-no-cache override-expire ignore-private
acl youtube dstdomain .youtube.com
cache allow youtube

refresh_pattern au.download.windowsupdate.com/.*.(cab|exe|msi) 10080 100% 43200 reload-into-ims
refresh_pattern download.microsoft.com/.*.(cab|exe|msi) 10080 100% 43200 reload-into-ims
refresh_pattern msgruser.dlservice.microsoft.com/.*.(cab|exe|msi) 10080 100% 43200 reload-into-ims
refresh_pattern windowsupdate.com/.*.(cab|exe|msi) 10080 100% 43200 reload-into-ims
refresh_pattern www.microsoft.com/.*.(cab|exe|msi) 10080 100% 43200 reload-into-ims

cache_access_log /home/squid/logs/access.log
cache_log /home/squid/logs/cache.log

cache_store_log none

visible_hostname Proxy.unimake
acl manager proto cache_object
#Se você define a máscara como 255.255.255.0 (/24), o 254 ao final do IP não é válido. Mude para /32
acl webserver src 10.0.0.254/24

http_access allow manager webserver
http_access deny manager


acl ip_liberados src "/home/squid/ip_liberados"
http_access allow ip_liberados

acl url_liberados url_regex -i "/home/squid/url_liberados"
http_access allow url_liberados

acl blacklist dstdom_regex -i "/home/squid/blacklist"
http_access deny blacklist

acl blacklist_br dstdomain "/home/squid/blacklist_br"
http_access deny blacklist_br
acl palavras_bloqueadas url_regex -i "/home/squid/palavras_bloqueadas"

# Restricao do Horario de Acesso
acl h_manha time MTWHF 07:00-12:00
acl h_tarde time MTWHF 14:00-18:00
acl h_sabado time A 08:00-11:00

# Restringindo o acesso
http_access deny palavras_bloqueadas h_manha
http_access deny palavras_bloqueadas h_tarde
http_access deny palavras_bloqueadas h_sabado
#http_access deny palavras_bloqueadas h_full

#Sua rede é /24 (10.0.0.0 com máscara 255.255.255.0 mesmo?)
acl rede_interna src 10.0.0.0/24
acl all src 0.0.0.0/0.0.0.0
#Adicionado só para garantir ^^
cache allow all

# ACL portas
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl to_localhost dst 127.0.0.0/255.255.255.255
acl Safe_ports port 10000 # webmin
acl Safe_ports port 631 # cups
acl Safe_ports port 901 # samba
acl SSL_ports port 443 563 1834 1863 4242 # SSL
acl Safe_ports port 80 8080 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 563 # https, snews
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT

# validacao das redes!
http_access deny all !rede_interna
http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_reply_access deny all !rede_interna
icp_access deny all !rede_interna

# Altera a Menssagen de erro para o portugues!
error_directory /usr/share/squid/errors/Portuguese

ehs171
(usa Ubuntu)

Enviado em 01/03/2010 - 14:13h

Boa tarde amigo, utilizei este seu squid.conf e me gerou o seguinte erro ao tentar navegar.

http://img203.imageshack.us/img203/7280/errox.png


Obrigado.

Diede
(usa Debian)

Enviado em 01/03/2010 - 21:48h

Ok, ok, esse erro ocorre quando você tenta usar um proxy forced como se fosse transparent...
Onde está "http_port 3128" mude para "http_port 3128 transparent"

ehs171
(usa Ubuntu)

Enviado em 02/03/2010 - 08:28h

bom dia amigo, acertei o squid.conf..hehehe como nao vi uma coisa tao boba...
bom o squid esta iniciando agora...
mas quanto ao cache acho que continua nao fazerndo olha o que deu:

1267529079.275 41032 10.0.0.171 TCP_MISS/200 2292617 GET http://ipac.jpl.nasa.gov/media_images/sirtf/SIRTF_ir_rh_4.jpg - DIRECT/128.149.224.120 image/jpeg

Tambem observei que o squid esta constantemente trabalhando com carga em 99%