Meu Squid 3

13. Re: Meu Squid 3

tiago1
(usa Ubuntu)

Enviado em 16/08/2012 - 15:24h

amarildosertorio escreveu:

Bem fraquinho heim!!!! Esse lance de montar servidor em maquinas antigas já está bem batida!!! Quantos usuários logam nessa maquina?

Mas ainda é muito comum o uso de máquinas velhas pra se montar servidores, não é? Mas por ser uma maneira de se aproveitar máquinas antigas, no Brasil, como diz o Morimoto num dos livros dele, o "parque de computadores" (não sei se é bem essa palavra que ele usou) é muito grande no país.

Quanto aos usuários:

Dentro do laboratório, são 10 máquinas Positivo Linux Educacional 3.0, sendo apenas 9 que oficialmente fiz passar pelo proxy (a 10ª eu usava pra testar o servidor enquanto as demais estavam sendo usadas normalmente apenas pelo compartilhamento). Mas como teria as máquinas que passariam por fora do proxy, sem restrição, me veio na mente a questão de pelo fato de estarem passando fora do proxy, se isso não consumiria recursos do servidor, os quais "fariam falta" ao micro pra rodar o Squid (É bem provável que fosse isso que fizesse ele travar de vez em quando).
Foi por isso que abri o tópico e pensei na possibilidade de passar todo mundo no proxy, mas sem restringir acessos e levando em consideração o cache de disco no HD, mesmo o PC tendo pouca RAM e sendo uma máquina antiga.

Existe mais alguma coisa que pode ser feita com máquina velha no mundo Linux, além de servidores de modo texto, tipo o Squid?

Abraço!

0 0

Quote

14. Memória ideal para o Squid

tiago1
(usa Ubuntu)

Enviado em 12/09/2012 - 08:37h

amarildosertorio escreveu:

Bem fraquinho heim!!!! Esse lance de montar servidor em maquinas antigas já está bem batida!!! Quantos usuários logam nessa maquina?

Olá novamente Amarildo, tudo bem?
Andei fazendo umas pesquisas e fiquei atônito com o alto consumo de RAM por parte do Squid.
Acho que finalmente entendi porque ele trava ao salvar um novo bloqueio nas listas. =/
Ao fazer reboot na máquina, o consumo de RAM cai bastante, mas depois vai aumentando novamente.
E infelizmente, não tenho como conseguir uma "super máquina" pra usar de servidor, é aquela antiguinha mesmo.
Então, se puder confirmar o raciocínio: quanto mais longas as listas de bloqueio do Squid, mais RAM ele consome?
Se consome, existe algum lugar onde eu possa travar esse aumento de consumo?
O Dansguardian consome tanta RAM quanto o Squid? Tu já me recomendou utilizar ele, mas ainda não testei por receio.

Obrigado mais uma vez.

0 0

Quote

15. Re: Meu Squid 3

removido
(usa Nenhuma)

Enviado em 12/09/2012 - 15:22h

Iaê brother! Beleza?

É isso mesmo. Quanto mais regras de filtro usada pelo squid, mais lento ele vai ficar. Veja que você não está usando ele somente como cache, logo ele vai ter mais oque processar e alocação de memoria. Referente ao dansguardian... ele vai consumir recursos de cpu também, mas ele sim é um filtro de conteúdos de verdade, e executa isso com maestria.

Tente fazer o seguinte... Dá uma olhada na documentação, veja como faz o calculo para reserva de memoria para o squid, correlacionando com o nº total de clientes. Outra ideia é otimizar o kernel ao máximo.

Quando o cpu começar a ficar lento, analise os logs.

# tail -100 /var/log/squid3/cache.log

# tail -100 /var/log/syslog

Veja com o comando dmesg também.

# dmesg

Outro detalhe... O uso de acls com expressão regular dá uma degradada grande. Quanto mais regras com expressão regular, mais lento ele fica. Consome muita cpu!

0 0

Quote

16. Re: Meu Squid 3

removido
(usa Nenhuma)

Enviado em 12/09/2012 - 15:41h

http://www.comfsm.fm/computing/squid/FAQ-8.html#ss8.1

0 0

Quote

17. Re: Meu Squid 3

tiago1
(usa Ubuntu)

Enviado em 12/09/2012 - 15:56h

amarildosertorio escreveu:

Outro detalhe... O uso de acls com expressão regular dá uma degradada grande. Quanto mais regras com expressão regular, mais lento ele fica. Consome muita cpu!

Hum, no caso, expressão regular são as regras acls com as longas listas de domínios e palavras proibidas que degradam bastante?

Pois são muitas expressões pra percorrer. =/

0 0

Quote

18. Re: Meu Squid 3

removido
(usa Nenhuma)

Enviado em 12/09/2012 - 16:08h

Mais um comando que uso para analise.

# squidclient mgr:info

Resultado:

HTTP/1.0 200 OK

Server: squid

Mime-Version: 1.0

Date: Wed, 12 Sep 2012 19:06:41 GMT

Content-Type: text/plain

Expires: Wed, 12 Sep 2012 19:06:41 GMT

Last-Modified: Wed, 12 Sep 2012 19:06:41 GMT

X-Cache: MISS from proxy

X-Cache-Lookup: MISS from proxy:8080

Via: 1.0 proxy (squid)

Connection: close



Squid Object Cache: Version 3.1.19

Start Time:	Tue, 11 Sep 2012 13:32:09 GMT

Current Time:	Wed, 12 Sep 2012 19:06:41 GMT

Connection information for squid:

	Number of clients accessing cache:	38

	Number of HTTP requests received:	1723382

	Number of ICP messages received:	0

	Number of ICP messages sent:	0

	Number of queued ICP replies:	0

	Number of HTCP messages received:	0

	Number of HTCP messages sent:	0

	Request failure ratio:	 0.00

	Average HTTP requests per minute since start:	971.2

	Average ICP messages per minute since start:	0.0

	Select loop called: 541357959 times, 0.197 ms avg

Cache information for squid:

	Hits as % of all requests:	5min: 22.4%, 60min: 27.0%

	Hits as % of bytes sent:	5min: 18.3%, 60min: 24.5%

	Memory hits as % of hit requests:	5min: 38.7%, 60min: 48.8%

	Disk hits as % of hit requests:	5min: 21.9%, 60min: 21.3%

	Storage Swap size:	3832536 KB

	Storage Swap capacity:	 7.9% used, 92.1% free

	Storage Mem size:	1977468 KB

	Storage Mem capacity:	95.2% used,  4.8% free

	Mean Object Size:	22.40 KB

	Requests given to unlinkd:	0

Median Service Times (seconds)  5 min    60 min:

	HTTP Requests (All):   0.00678  0.00463

	Cache Misses:          0.13498  0.08729

	Cache Hits:            0.00000  0.00000

	Near Hits:             0.04047  0.02451

	Not-Modified Replies:  0.00000  0.00000

	DNS Lookups:           0.04237  0.07284

	ICP Queries:           0.00000  0.00000

Resource usage for squid:

	UP Time:	106472.072 seconds

	CPU Time:	1383.102 seconds

	CPU Usage:	1.30%

	CPU Usage, 5 minute avg:	1.49%

	CPU Usage, 60 minute avg:	1.37%

	Process Data Segment Size via sbrk(): 2349248 KB

	Maximum Resident Size: 9441488 KB

	Page faults with physical i/o: 15

Memory usage for squid via mallinfo():

	Total space in arena:  -1844924 KB

	Ordinary blocks:       -1845005 KB     56 blks

	Small blocks:               0 KB      0 blks

	Holding blocks:         38576 KB     11 blks

	Free Small blocks:          0 KB

	Free Ordinary blocks:      81 KB

	Total in use:          -1806429 KB 100%

	Total free:                81 KB -0%

	Total size:            -1806348 KB

Memory accounted for:

	Total accounted:       -1963655 KB 109%

	memPool accounted:     2230649 KB -123%

	memPool unaccounted:   -4036997 KB 0%

	memPoolAlloc calls: 337378824

	memPoolFree calls:  339333838

File descriptor usage for squid:

	Maximum number of file descriptors:   65535

	Largest file desc currently in use:    425

	Number of file desc currently in use:  418

	Files queued for open:                   0

	Available number of file descriptors: 65117

	Reserved number of file descriptors:   100

	Store Disk files open:                   0

Internal Data Structures:

	172236 StoreEntries

	103173 StoreEntries with MemObjects

	103161 Hot Object Cache Items

	171103 on-disk objects

0 0

Quote

19. Re: Meu Squid 3

tiago1
(usa Ubuntu)

Enviado em 12/09/2012 - 16:22h

amarildosertorio escreveu:

Iaê brother! Beleza?

É isso mesmo. Quanto mais regras de filtro usada pelo squid, mais lento ele vai ficar. Veja que você não está usando ele somente como cache, logo ele vai ter mais oque processar e alocação de memoria. Referente ao dansguardian... ele vai consumir recursos de cpu também, mas ele sim é um filtro de conteúdos de verdade, e executa isso com maestria.

Tente fazer o seguinte... Dá uma olhada na documentação, veja como faz o calculo para reserva de memoria para o squid, correlacionando com o nº total de clientes. Outra ideia é otimizar o kernel ao máximo.

Quando o cpu começar a ficar lento, analise os logs.

# tail -100 /var/log/squid3/cache.log

# tail -100 /var/log/syslog

Veja com o comando dmesg também.

# dmesg

Outro detalhe... O uso de acls com expressão regular dá uma degradada grande. Quanto mais regras com expressão regular, mais lento ele fica. Consome muita cpu!

Agora estou entendendo, por meio do link que tu passou. Se estou certo, isto está acontecendo porque dediquei praticamente 2 GB de espaço num HD pro cache de disco, mas a memória RAM visível pelo sistema é de 181 MB, associado ao fato de ter longas listas de bloqueio, isso ta "decrementando" a memória disponível. =(

Tem como refazer a configuração do cache_dir aquele e diminuir o tamanho dele, não tem?

Então, terei de fazer isso: Diminuir o tamanho do cache, deixar o Squid somente como cache de arquivos, sem bloquear nada com ele e por o Dansguardian pra filtrar acessos, para o qual já tenho um lista bem personalizada dele pra realidade da rede.
Vou ler a documentação toda COM ATENÇÃO, mesmo estando em inglês, conheço bem o idioma e colocar aquelas 2 políticas que tu já me falou antes no fórum:

cache_replacement_policy heap LFUDA
memory_replacement_policy heap GDSF

Só não consegui "decifrar" os resultados dos comandos:

# tail -100 /var/log/squid3/cache.log

# tail -100 /var/log/syslog

# dmesg

Mas vou entender, sou insistente!

Obrigado de novo Amarildo, valeu mesmo!

0 0

Quote

20. Re: Meu Squid 3

tiago1
(usa Ubuntu)

Enviado em 12/09/2012 - 16:32h

amarildosertorio escreveu:

Mais um comando que uso para analise.

# squidclient mgr:info

Resultado:

HTTP/1.0 200 OK

Server: squid

Mime-Version: 1.0

Date: Wed, 12 Sep 2012 19:06:41 GMT

Content-Type: text/plain

Expires: Wed, 12 Sep 2012 19:06:41 GMT

Last-Modified: Wed, 12 Sep 2012 19:06:41 GMT

X-Cache: MISS from proxy

X-Cache-Lookup: MISS from proxy:8080

Via: 1.0 proxy (squid)

Connection: close



Squid Object Cache: Version 3.1.19

Start Time:	Tue, 11 Sep 2012 13:32:09 GMT

Current Time:	Wed, 12 Sep 2012 19:06:41 GMT

Connection information for squid:

	Number of clients accessing cache:	38

	Number of HTTP requests received:	1723382

	Number of ICP messages received:	0

	Number of ICP messages sent:	0

	Number of queued ICP replies:	0

	Number of HTCP messages received:	0

	Number of HTCP messages sent:	0

	Request failure ratio:	 0.00

	Average HTTP requests per minute since start:	971.2

	Average ICP messages per minute since start:	0.0

	Select loop called: 541357959 times, 0.197 ms avg

Cache information for squid:

	Hits as % of all requests:	5min: 22.4%, 60min: 27.0%

	Hits as % of bytes sent:	5min: 18.3%, 60min: 24.5%

	Memory hits as % of hit requests:	5min: 38.7%, 60min: 48.8%

	Disk hits as % of hit requests:	5min: 21.9%, 60min: 21.3%

	Storage Swap size:	3832536 KB

	Storage Swap capacity:	 7.9% used, 92.1% free

	Storage Mem size:	1977468 KB

	Storage Mem capacity:	95.2% used,  4.8% free

	Mean Object Size:	22.40 KB

	Requests given to unlinkd:	0

Median Service Times (seconds)  5 min    60 min:

	HTTP Requests (All):   0.00678  0.00463

	Cache Misses:          0.13498  0.08729

	Cache Hits:            0.00000  0.00000

	Near Hits:             0.04047  0.02451

	Not-Modified Replies:  0.00000  0.00000

	DNS Lookups:           0.04237  0.07284

	ICP Queries:           0.00000  0.00000

Resource usage for squid:

	UP Time:	106472.072 seconds

	CPU Time:	1383.102 seconds

	CPU Usage:	1.30%

	CPU Usage, 5 minute avg:	1.49%

	CPU Usage, 60 minute avg:	1.37%

	Process Data Segment Size via sbrk(): 2349248 KB

	Maximum Resident Size: 9441488 KB

	Page faults with physical i/o: 15

Memory usage for squid via mallinfo():

	Total space in arena:  -1844924 KB

	Ordinary blocks:       -1845005 KB     56 blks

	Small blocks:               0 KB      0 blks

	Holding blocks:         38576 KB     11 blks

	Free Small blocks:          0 KB

	Free Ordinary blocks:      81 KB

	Total in use:          -1806429 KB 100%

	Total free:                81 KB -0%

	Total size:            -1806348 KB

Memory accounted for:

	Total accounted:       -1963655 KB 109%

	memPool accounted:     2230649 KB -123%

	memPool unaccounted:   -4036997 KB 0%

	memPoolAlloc calls: 337378824

	memPoolFree calls:  339333838

File descriptor usage for squid:

	Maximum number of file descriptors:   65535

	Largest file desc currently in use:    425

	Number of file desc currently in use:  418

	Files queued for open:                   0

	Available number of file descriptors: 65117

	Reserved number of file descriptors:   100

	Store Disk files open:                   0

Internal Data Structures:

	172236 StoreEntries

	103173 StoreEntries with MemObjects

	103161 Hot Object Cache Items

	171103 on-disk objects

Opa, testei esse agora como root e não retornou nada, dizendo "comando não encontrado".
=(

0 0

Quote

21. Re: Meu Squid 3

removido
(usa Nenhuma)

Enviado em 12/09/2012 - 16:34h

# apt-get install squidclient

0 0

Quote

22. Hum, ok

tiago1
(usa Ubuntu)

Enviado em 13/09/2012 - 15:58h

amarildosertorio escreveu:

# apt-get install squidclient

Olá Amarildo, obrigado pelo retorno da mensagem. Só pude responder agora.

Testarei e posto aqui o resultado.

Realmente, pelo que vi e li, o Dansguardian não consome tanto memória quanto o Squid, além de ser mais eficiente.

Obrigado!

0 0

Quote

23. Ah!

tiago1
(usa Ubuntu)

Enviado em 13/09/2012 - 16:03h

amarildosertorio escreveu:

# apt-get install squidclient

Ah, uma coisa que me chateou foi a descoberta de além das listas do Squid pesarem na memória, o fato de ter um cache grande também pesa pra ele. =(

Valeu!

0 0

Quote

24. Lembrei de mais uma coisa:

tiago1
(usa Ubuntu)

Enviado em 13/09/2012 - 16:43h

amarildosertorio escreveu:

# apt-get install squidclient

Oi Amarildo, lembrei de mais uma coisa do Dansguardian: eu vi que é possível criar listas de palavras proibidas sem por a pontuação do lado, no caso assim:

#lista de palavras proibidas
<palavra1>
<palavra2>
<palavra3>
.
.
.

E por aí vai. Daí se a pessoa busca "palavra1", não abre de jeito nenhum, mesmo sem indicar pontuação do lado, tipo bloqueia mesmo e não tem papo! :)

Isso aconteceu no meu servidor de casa, quero ver se aqui acontece a mesma coisa.

Valeu!

0 0

Quote