Servidor proxy (Squid). [RESOLVIDO]

marceloviana
(usa CentOS)

Enviado em 29/08/2012 - 17:15h

Pessoal bem?
Estou com seguinte problema em um servidor proxy squid:
Sempre ao final da tarde, a conexão com à Internet fica muito lenta devido a alguma configuração do proxy, então reinicio o squid e tudo volta a funcionar! A máquina que está rodando o squid é um Intel Core 2 Quad 2.66GHz, com 4GB memória.
Reparei o consumo alto da memória de cache, então coloquei no cron o comando "31 * * * * root sh /usr/local/mysar/bin/mysar_cron.sh" para limpar a cada 31min. Mas não adiantou. Segue o meu squid.conf para uma análise:

################### Proxy ##############
http_port 3128 transparent
visible_hostname 254-proxy
error_directory /usr/share/squid/errors/Portuguese
access_log /var/log/squid/access_infsite.log
##################### para visial studio http:
ignore_expect_100 on

##################### Config Cache: #########

cache_mem 256 MB
cache_swap_low 80
cache_swap_high 85
maximum_object_size 1 MB
minimum_object_size 0 KB
maximum_object_size_in_memory 128 KB
ipcache_size 3072
ipcache_low 90
ipcache_high 93
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern (cgi-bin|\?) 0 0% 0
refresh_pattern . 0 20% 4320

cache_dir ufs /etc/squid/cache/cache1 2048 16 64
cache_dir ufs /etc/squid/cache/cache2 2048 16 64
cache_dir ufs /etc/squid/cache/cache3 2048 16 64
cache_dir ufs /etc/squid/cache/cache4 2048 16 64


##################### Ganho de perfomace ##

pipeline_prefetch on

##################### Safe_ports: #########

acl SSL_ports port 443 563
acl Safe_ports port 21 80 443 587 995 563 70 210 280 488 59 777 8080 389 901 1025-65535
acl purge method PURGE
acl CONNECT method CONNECT
###################### declarações ########

acl all src 0.0.0.0/0.0.0.0
acl rede0 src "/etc/squid/config/rede0"
acl social_clientes src "/etc/squid/config/social_clientes"
acl social_url url_regex -i "/etc/squid/config/social_url"
###################### delay_pools #########

delay_pools 2

delay_class 1 2
delay_parameters 1 3/3 3/3
delay_access 1 allow social_url social_clientes

delay_class 2 2
delay_parameters 2 -1/-1 99999/99999
delay_access 2 allow rede0
###################### liberar ou negar acesso

http_access allow rede0
http_access deny purge
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow social_clientes
http_access deny all











## É o Senhor que mostra os caminhos.

andrecanhadas
(usa Debian)

Enviado em 29/08/2012 - 21:12h

Eu já tive problemas com o delay pools que do nada o squid estourava a memoria e eram erros no delaypools:
http://www.vivaolinux.com.br/artigo/Criando-delay-pools-(Proxy-Squid)?pagina=2

Seu delay pools não esta como deveria de uma pesquisada sobre configurando squid delay pools

marceloviana
(usa CentOS)

Enviado em 30/08/2012 - 10:53h

André, muito obrigado pela dica. Vou dar uma olhada neste artigo e posto o resultado!

marceloviana
(usa CentOS)

Enviado em 30/08/2012 - 11:47h

Dei uma olhada e percebi que no final das contas, a diferença está na quantidade de bits trafegado por segundo. Eu modifiquei como exmplo do artigo, e a diferença que notei foi na taxa de download que reduziu.

Olha só a conf do artigo:
delay_pools 2

delay_class 1 2
delay_parameters 1 -1/-1 500/1000
delay_access 1 allow palavras

delay_class 2 2
delay_parameters 2 -1/-1 15000/25000
delay_access 2 allow interno


O meu:
delay_pools 2

delay_class 1 2
delay_parameters 1 3/3 3/3
delay_access 1 allow social_url social_clientes

delay_class 2 2
delay_parameters 2 -1/-1 99999/99999
delay_access 2 allow rede0


Cheguei até a pensar que era algo com a máquina, mas o "top" apresenta estabilidade.
Por acaso a configuração de memória do meu conf está mesmo correta?
Por exemplo em "cache_mem 256 MB" e "cache_dir ufs /etc/squid/cache/cache1 2048 16 64".
Eu estava usando o "cache_mem" com valor de 75% do total da memória, que ficou assim "cache_mem 3072 MB", o resultado é que ele durava uns 3 dias e voltava a ficar lento novamente.
Ontem coloque um CRON para rodar de 10 em 10min para limpar a o cache (echo 3 > /proc/sys/vm/drop_caches), até então está ok, mas não sei se isso atrapalha o squid.

johnnyb
(usa Fedora)

Enviado em 30/08/2012 - 13:44h

Amigo nao e o cache que esta com problema não as suas dealy pools podem estar confugiradas eradas
e o chache pesquise um pouco mais sobre ele pois 2048 16 64 pode ser uma configuração inadequadra para o tamanho do cache

intao irei lhe passar algumas ai vc tira a regra do crom de apagar o cache, e se a maquina for dedicada ao squid vc pode aumentar o uso d memoria mais nao se esqueça de deixar um folga para sistema e os serviços que vc roda no servidor


bom vamos as regras
nessa regra caso vc nao tenha certeza do calculo de memoria comece com pouco e va aumentando mais sempre deixe uma folga de memoria para caso de sobrecarga de sistema blz
cache_mem 100 MB

regra do cache substitua por essa
cache_dir ufs /var/spool/squid 2048 16 256


acrescente o dns no squid
dns_nameservers 8.8.8.8
dns_nameservers 8.8.4.4

dealy pools

delay_pools 2
delay_class 1 1
delay_class 2 2
delay_parameters 1 512000/512000 # 4Mbps
delay_parameters 2 512000/512000 6250/64000 # 4Mbps de agregado, 50K de banda com rajada de 64K.
acl diretoria src "lista-de-ips-sem-limitacao.txt"
acl downloads_limitados urlpath_regex -i .*\.mp3 .*\.avi .*\.zip .*\.exe
delay_access 1 allow diretoria
delay_access 1 deny dowloads_limitados
delay_access 1 allow all
delay_access 2 allow all

nao limete .php ou html pois esses tipos de arquivos dificilmente congestiona a rede

depois das alterações
apague a pasta de cache do squid e faça outra
e nao se esqueça de dar permissao para o squid grava na pasta
logo apos entre com o comando
squid -z
para criar novamente os diretorios


testa ai e posta o resultado pra nois
"caso isso resolva o seu problema nao se esqueça de marcar o topico como resulvido e marque a melhor resposta pois assim vc tabem ajuda os outros "

marceloviana
(usa CentOS)

Enviado em 30/08/2012 - 14:10h

Ótimo cara, blz.
Vou testar!

cristianovicosa
(usa Debian)

Enviado em 30/08/2012 - 16:58h

Vi o seu comentário la no meu script.

Vou analisar com calma aqui e tento te ajudar amanhã.

cristianovicosa
(usa Debian)

Enviado em 31/08/2012 - 10:06h

Estou mandando meu conf para você testar.
Mude as configurações de acordo com suas necessidades.
Acho que seu "cache_mem" está auto.


http_port 3128 transparent
hierarchy_stoplist cgi-bin ?
visible_hostname OFICINA_DO_COMPUTADOR_31_3891_2871

cache_mem 64 MB
cache_swap_low 90
cache_swap_high 95
maximum_object_size_in_memory 64 KB
maximum_object_size 900 MB
minimum_object_size 5 KB
cache_dir ufs /var/spool/squid3 5000 8 256
cache_replacement_policy lru
memory_replacement_policy lru
acl rede src 192.168.0.0/16 #mude de acordo com sua rede
http_access allow rede
acl manager proto cache_object
acl localhost src 127.0.0.1/32
acl to_localhost dst 127.0.0.0/8
acl SSL_ports port 443
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT
http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access deny all
icp_access deny all
htcp_access deny all

access_log /var/log/squid3/access.log squid
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern (cgi-bin|\?) 0 0% 0
refresh_pattern . 0 20% 4320
icp_port 3130
coredump_dir /var/spool/squid3
error_directory /usr/share/squid3/errors/Portuguese

Se não resolver poste aqui.

marceloviana
(usa CentOS)

Enviado em 31/08/2012 - 12:35h

Realmente o André e o johnnyb(que também está me ajudando) tinham razão!
No meu .conf Tinha um erro no delay_pools, então dei um lida na parte de delay_pool da documentação oficial (http://wiki.squid-cache.org/Features/DelayPools) e fiz novas configurações.
Testei todos os controles, inclusive o limite de determinado host para sites específicos e funcionou beleza. Agora é aguardar para ver o resultado e se não vai ficar lento novamente.

Obs.: ontem tive um problema de espaço em disco 100% cheio. Então tiver que apagar todo cache em disco(demoraa...) e direcionar o cache do squid para uma partição maior. Qual sugestão vocês me dão a respeito de cache em disco do squid(apagar periodicamente, configurar no CRON, etc..)?

Segue minha nova conf e obrigado por estarem me ajudando:

################### Proxy ##############
http_port 3128 transparent
visible_hostname 254-proxy
error_directory /usr/share/squid/errors/Portuguese
access_log /var/log/squid/access_infsite.log

##################### Config Cache: #########

cache_mem 2048 MB
cache_swap_low 80
cache_swap_high 85
maximum_object_size 1 MB
minimum_object_size 0 KB
maximum_object_size_in_memory 128 KB
#ipcache_size 3072
ipcache_low 90
ipcache_high 93
#refresh_pattern ^ftp: 1440 20% 10080
#refresh_pattern ^gopher: 1440 0% 1440
#refresh_pattern (cgi-bin|\?) 0 0% 0
#refresh_pattern . 0 20% 4320

cache_dir ufs /home/cache_squid 2048 16 256

##################### extras #############

pipeline_prefetch on
ignore_expect_100 on

##################### Safe_ports: #########

acl SSL_ports port 443 563
acl Safe_ports port 21 80 443 587 995 563 70 210 280 488 59 777 8080 389 901 1025-65535
acl purge method PURGE
acl CONNECT method CONNECT
###################### declarações ########

acl all src 0.0.0.0/0.0.0.0
acl rede0 src "/etc/squid/config/rede0"
acl rede21 src "/etc/squid/config/rede21"

acl social_clientes src "/etc/squid/config/social_clientes"
acl social_url url_regex -i "/etc/squid/config/social_url"

##################### DNS #################

dns_nameservers 10.26.20.250
dns_nameservers 8.8.8.8

###################### delay_pools #########

delay_pools 3

delay_class 1 1
delay_parameters 1 9/9
delay_access 1 allow social_url social_clientes # lentidão
delay_access 1 deny all

delay_class 2 2
delay_parameters 2 -1/-1 110000/110000 # download até 120k
delay_access 2 allow rede0
delay_access 2 deny all

delay_class 3 2
delay_parameters 3 -1/-1 210000/210000 # download até 220k
delay_access 3 allow rede21
delay_access 3 deny all

###################### liberar ou negar acesso

http_access allow rede0
http_access allow rede21
http_access deny purge
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow social_clientes
http_access deny all











## É o Senhor que mostra os caminhos.

marceloviana
(usa CentOS)

Enviado em 31/08/2012 - 12:45h

[quote]marceloviana escreveu:

Muito obrigado pelo seu conf Cristiano, de verdade mesmo!
fiz uma nova postagem acima dê uma olhada por favor.

johnnyb
(usa Fedora)

Enviado em 31/08/2012 - 14:48h

Amigo adcione essas linhas no seu squid conf

# *** para nao fazer cache de cgi-bin
hierarchy_stoplist cgi-bin ?
acl QUERY urlpath_regex cgi-bin \?
no_cache deny QUERY

# *** administra o cache ou seja quando chega a 95 ele apaga as paginas menos usadas ate voltar ao 90
cache_swap_low 90
cache_swap_high 95

blz qualquer coisa da o grito ai

marceloviana
(usa CentOS)

Enviado em 31/08/2012 - 16:19h

Beleza cara, obrigado! Os parâmetros de cache (cache_swap_low 90
cache_swap_high 95) já tenho na minha conf, só os valores que estão diferentes.
Vou ajustar!