CLOSE_WAIT no nosso servidor

daltondecamargo
(usa Ubuntu)

Enviado em 03/04/2009 - 12:49h

Senhores, muto boa tarde. Sou administrador do JavaFree.org e possuimos um servidor dedicado com Ubuntu.
Irei colocar aqui a mesma mensagem que enviar para lista de moderadores do JavaFree, para tentar conseguir encontrar a solução do nosso problema:
---
Senhores, voltei a tomar os problemas de proxy errors no server do JavaFree.
To tentando pesquisar a causa do problema, mas aparentemente, o uol envia a requisição para nosso server, mas não está fechando...
A nossa configuração do DNS está hoje apontando para um server do UOL, que através de um proxy, usa nosso server para renderizar as páginas, o useja, o usuário sequer acessa nosso server, o uol vem até nosso server e pega as páginas e apresenta para o usuário.
O caminho do acesso de um usuário é este
Usuario - > dns -> UOL -> ip server javafree porta 80

Se eu jogo o dns apontando diretamente no ip do jf, esse problema acaba, ou seja, não tenho mais trocentos CLOSE_WAIT no meu tcp/ip.

Com tantos close_wait, o usuário ta navegando pelo jf, e de vez em quando, ele toma uns errors de response not avaiable :(

Se eu dou um lsof ali no server do jf, vejam o resultado:

root@sp4531e:~# lsof |grep sp4531e.serverpronto.com
sshd 15385 root 3r IPv4 148549 TCP sp4531e.serverpronto.com:ssh->ip-189-96-254-3.user.vivozap.com.br:1572 (ESTABLISHED)
java 15472 root 3r IPv4 153718 TCP sp4531e.serverpronto.com:www->magica5.uol.com.br:37333 (ESTABLISHED)
java 15472 root 83u IPv4 153103 TCP sp4531e.serverpronto.com:www->magica6.uol.com.br:51590 (CLOSE_WAIT)
java 15472 root 86u IPv4 153783 TCP sp4531e.serverpronto.com:www->hound3.uol.com.br:46389 (ESTABLISHED)
java 15472 root 99u IPv4 153773 TCP sp4531e.serverpronto.com:www->magica5.uol.com.br:42904 (ESTABLISHED)
java 15472 root 100u IPv4 150982 TCP sp4531e.serverpronto.com:www->magica7.uol.com.br:44956 (CLOSE_WAIT)
java 15472 root 101u IPv4 152974 TCP sp4531e.serverpronto.com:www->magica1.uol.com.br:46392 (CLOSE_WAIT)
java 15472 root 102u IPv4 152985 TCP sp4531e.serverpronto.com:www->magica1.uol.com.br:47476 (CLOSE_WAIT)
java 15472 root 103u IPv4 152058 TCP sp4531e.serverpronto.com:www->magica9.uol.com.br:57601 (CLOSE_WAIT)
java 15472 root 104u IPv4 150979 TCP sp4531e.serverpronto.com:www->magica3.uol.com.br:59060 (CLOSE_WAIT)
java 15472 root 106u IPv4 151896 TCP sp4531e.serverpronto.com:www->magica8.uol.com.br:54881 (CLOSE_WAIT)
java 15472 root 107u IPv4 152845 TCP sp4531e.serverpronto.com:www->magica3.uol.com.br:48583 (CLOSE_WAIT)
java 15472 root 108u IPv4 153580 TCP sp4531e.serverpronto.com:www->magica7.uol.com.br:46715 (ESTABLISHED)
java 15472 root 109u IPv4 150405 TCP sp4531e.serverpronto.com:www->magica5.uol.com.br:49278 (CLOSE_WAIT)
java 15472 root 111u IPv4 151982 TCP sp4531e.serverpronto.com:www->magica7.uol.com.br:33749 (CLOSE_WAIT)
java 15472 root 114u IPv4 152374 TCP sp4531e.serverpronto.com:www->magica6.uol.com.br:57651 (CLOSE_WAIT)
java 15472 root 115u IPv4 153104 TCP sp4531e.serverpronto.com:www->magica3.uol.com.br:44669 (CLOSE_WAIT)
java 15472 root 116u IPv4 152716 TCP sp4531e.serverpronto.com:www->magica5.uol.com.br:48391 (CLOSE_WAIT)
java 15472 root 117u IPv4 153831 TCP sp4531e.serverpronto.com:www->200.221.9.12:37709 (ESTABLISHED)
java 15472 root 118u IPv4 153785 TCP sp4531e.serverpronto.com:www->magica5.uol.com.br:43809 (ESTABLISHED)
java 15472 root 119u IPv4 153825 TCP sp4531e.serverpronto.com:www->magica5.uol.com.br:48438 (ESTABLISHED)
java 15472 root 120u IPv4 152126 TCP sp4531e.serverpronto.com:www->magica7.uol.com.br:48039 (CLOSE_WAIT)
java 15472 root 121u IPv4 153511 TCP sp4531e.serverpronto.com:www->magica5.uol.com.br:48518 (ESTABLISHED)
java 15472 root 122u IPv4 152921 TCP sp4531e.serverpronto.com:www->hound3.uol.com.br:51020 (CLOSE_WAIT)
java 15472 root 124u IPv4 153039 TCP sp4531e.serverpronto.com:www->magica9.uol.com.br:36453 (CLOSE_WAIT)
java 15472 root 125u IPv4 153020 TCP sp4531e.serverpronto.com:www->magica7.uol.com.br:48425 (CLOSE_WAIT)
java 15472 root 126r IPv4 152037 TCP sp4531e.serverpronto.com:www->magica1.uol.com.br:34888 (CLOSE_WAIT)
java 15472 root 127u IPv4 153826 TCP sp4531e.serverpronto.com:www->magica5.uol.com.br:48466 (ESTABLISHED)
java 15472 root 131u IPv4 153720 TCP sp4531e.serverpronto.com:www->magica5.uol.com.br:37466 (ESTABLISHED)
java 15472 root 132u IPv4 153781 TCP sp4531e.serverpronto.com:www->hound3.uol.com.br:46309 (ESTABLISHED)
java 15472 root 136u IPv4 150801 TCP sp4531e.serverpronto.com:www->magica1.uol.com.br:59313 (CLOSE_WAIT)
java 15472 root 138u IPv4 152497 TCP sp4531e.serverpronto.com:www->magica6.uol.com.br:33533 (CLOSE_WAIT)
java 15472 root 139r IPv4 153539 TCP sp4531e.serverpronto.com:www->magica3.uol.com.br:53489 (CLOSE_WAIT)
java 15472 root 142r IPv4 153786 TCP sp4531e.serverpronto.com:www->magica5.uol.com.br:43849 (ESTABLISHED)
java 15472 root 144u IPv4 153040 TCP sp4531e.serverpronto.com:www->magica5.uol.com.br:44959 (CLOSE_WAIT)
java 15472 root 145u IPv4 153320 TCP sp4531e.serverpronto.com:www->magica8.uol.com.br:34515 (CLOSE_WAIT)
java 15472 root 146u IPv4 151921 TCP sp4531e.serverpronto.com:www->magica6.uol.com.br:46210 (CLOSE_WAIT)
java 15472 root 147u IPv4 153794 TCP sp4531e.serverpronto.com:www->magica6.uol.com.br:57544 (ESTABLISHED)
java 15472 root 149u IPv4 149315 TCP sp4531e.serverpronto.com:www->magica9.uol.com.br:35669 (CLOSE_WAIT)
java 15472 root 150u IPv4 150836 TCP sp4531e.serverpronto.com:www->magica1.uol.com.br:37338 (CLOSE_WAIT)
java 15472 root 151r IPv4 153811 TCP sp4531e.serverpronto.com:www->magica6.uol.com.br:59282 (ESTABLISHED)
java 15472 root 152u IPv4 153760 TCP sp4531e.serverpronto.com:www->magica3.uol.com.br:45574 (ESTABLISHED)
java 15472 root 153u IPv4 153490 TCP sp4531e.serverpronto.com:www->200.221.9.12:44778 (CLOSE_WAIT)
java 15472 root 154u IPv4 153818 TCP sp4531e.serverpronto.com:www->magica8.uol.com.br:52320 (ESTABLISHED)
java 15472 root 155u IPv4 151079 TCP sp4531e.serverpronto.com:www->magica8.uol.com.br:34680 (CLOSE_WAIT)
java 15472 root 156r IPv4 153782 TCP sp4531e.serverpronto.com:www->magica7.uol.com.br:59357 (ESTABLISHED)
java 15472 root 157r IPv4 153830 TCP sp4531e.serverpronto.com:www->haja1.boleto.sac.uol.com.br:43675 (ESTABLISHED)
java 15472 root 158r IPv4 152546 TCP sp4531e.serverpronto.com:www->200.221.9.12:55181 (CLOSE_WAIT)
java 15472 root 159u IPv4 150864 TCP sp4531e.serverpronto.com:www->magica8.uol.com.br:43495 (CLOSE_WAIT)
java 15472 root 160u IPv4 152862 TCP sp4531e.serverpronto.com:www->hound3.uol.com.br:46957 (CLOSE_WAIT)
java 15472 root 161r IPv4 153583 TCP sp4531e.serverpronto.com:www->magica7.uol.com.br:46771 (ESTABLISHED)
java 15472 root 163u IPv4 151234 TCP sp4531e.serverpronto.com:www->magica8.uol.com.br:51382 (CLOSE_WAIT)
java 15472 root 165u IPv4 153757 TCP sp4531e.serverpronto.com:www->magica3.uol.com.br:45194 (ESTABLISHED)
java 15472 root 167u IPv4 153817 TCP sp4531e.serverpronto.com:www->hound3.uol.com.br:49617 (ESTABLISHED)
java 15472 root 169u IPv4 151748 TCP sp4531e.serverpronto.com:www->200.221.9.12:47907 (CLOSE_WAIT)
java 15472 root 171u IPv4 151058 TCP sp4531e.serverpronto.com:www->magica3.uol.com.br:38855 (CLOSE_WAIT)
java 15472 root 174u IPv4 153815 TCP sp4531e.serverpronto.com:www->magica8.uol.com.br:52017 (ESTABLISHED)
java 15472 root 176u IPv4 152180 TCP sp4531e.serverpronto.com:www->magica5.uol.com.br:45722 (CLOSE_WAIT)
java 15472 root 183u IPv4 153761 TCP sp4531e.serverpronto.com:www->200.221.9.12:59698 (ESTABLISHED)
java 15472 root 184u IPv4 153591 TCP sp4531e.serverpronto.com:www->magica7.uol.com.br:47533 (ESTABLISHED)
java 15472 root 188r IPv4 152080 TCP sp4531e.serverpronto.com:www->magica6.uol.com.br:33416 (CLOSE_WAIT)
java 15472 root 190u IPv4 153797 TCP sp4531e.serverpronto.com:www->magica2.uol.com.br:58839 (ESTABLISHED)
java 15472 root 195u IPv4 152972 TCP sp4531e.serverpronto.com:www->magica6.uol.com.br:34521 (CLOSE_WAIT)
java 15472 root 196u IPv4 152291 TCP sp4531e.serverpronto.com:www->magica1.uol.com.br:58882 (CLOSE_WAIT)
java 15472 root 200u IPv4 153768 TCP sp4531e.serverpronto.com:www->magica3.uol.com.br:45991 (ESTABLISHED)
java 15472 root 203u IPv4 153116 TCP sp4531e.serverpronto.com:www->200.221.9.12:41411 (CLOSE_WAIT)
java 15472 root 204u IPv4 151934 TCP sp4531e.serverpronto.com:www->magica9.uol.com.br:44553 (CLOSE_WAIT)
java 15472 root 208u IPv4 153656 TCP sp4531e.serverpronto.com:www->magica5.uol.com.br:60761 (ESTABLISHED)
java 15472 root 213u IPv4 152995 TCP sp4531e.serverpronto.com:www->200.221.9.12:55724 (CLOSE_WAIT)
java 15472 root 222u IPv4 152270 TCP sp4531e.serverpronto.com:www->magica9.uol.com.br:45640 (CLOSE_WAIT)
java 15472 root 234u IPv4 151494 TCP sp4531e.serverpronto.com:www->200.221.9.12:55677 (CLOSE_WAIT)
java 15472 root 245u IPv4 153730 TCP sp4531e.serverpronto.com:www->magica5.uol.com.br:38244 (ESTABLISHED)
java 15472 root 253u IPv4 152865 TCP sp4531e.serverpronto.com:www->magica3.uol.com.br:49551 (CLOSE_WAIT)
sshd 15519 root 3r IPv4 149037 TCP sp4531e.serverpronto.com:ssh->ip-189-96-254-3.user.vivozap.com.br:1577 (ESTABLISHED)



Se vocês conseguirem achar alguma coisa na net para me ajudar, eu agradeceria, pois já tentei até alterar no /etc/sysctl.conf as seguintes variáveis:

net.ipv4.tcp_fin_timeout = 5 (o padrão é 30 segundos, mas se eu deixo 30, os close waits se multiplicam)
net.ipv4.tcp_tw_reuse = 0
net.ipv4.tcp_tw_recycle = 0

Esses reuse e recycle, eu alterei e só deu nhaca tmb..

Alguém aí tem alguma dica??