Container Elastic Stack para visualização de logs do Proxy Squid

Compartilho neste artigo a minha primeira experiência com o projeto Open Source Elastic Stack, um conjunto de ferramentas para coleta, tratamento e exibição de logs. Demonstrarei como utilizei o Elastic Stack para coletar, tratar e apresentar os logs de acesso do Squid.

[ Hits: 13.158 ]

Por: Thiago Murilo Diniz em 28/07/2017 | Blog: https://br.linkedin.com/in/thiagomdiniz


Preparando o ambiente



Para executar e testar o cenário a ser desenvolvido durante o artigo, utilizei apenas meu notebook pessoal, executando a distro Fedora. Você pode seguir a estrutura do cenário utilizado no artigo ou adaptar ao seu cenário, por exemplo, caso você já tenha um servidor Proxy Squid em operação e queira executar o Elastic Stack em outro servidor na rede.

Na Figura 2 é possível observar a estrutura utilizada:
  • instalei o Squid, o Beat Filebeat e o Docker no Fedora;
  • instalei o Elastic Stack num container Docker.

Linux: Container Elastic Stack para visualização dos logs do Proxy Squid
Figura 2
Como montei o cenário utilizando Fedora, os comandos usados neste artigo serão baseados nesta distro. Caso você utilize outra distro, adapte os comandos conforme necessidade.

Passos executados para instalar o Squid e aplicar uma configuração básica.

Instalação do Squid:

# dnf install squid

Configuração do Squid: edite o arquivo /etc/squid/squid.conf para descomentar a linha:

  cache_dir ufs /var/spool/squid 100 16 256

Crie a estrutura de diretórios do cache:

# squid -z

Inicie o serviço e verifique seu status:

# systemctl start squid.service
# systemctl status squid.service

Passos executados para instalação do Docker, que nos permitirá rodar o Elastic Stack num container.

Instalação do Docker:

# dnf install docker

Inicie o serviço e verifique seu status:

# systemctl start docker
# systemctl status docker

Página anterior     Próxima página

Páginas do artigo
   1. Introdução
   2. Preparando o ambiente
   3. Subindo o Elastic Stack
   4. Visualizando os logs no Kibana
Outros artigos deste autor
Nenhum artigo encontrado.
Leitura recomendada

Mensageiro instantâneo

Multiterminais em um PC

Compactação de Arquivos

Crie seu próprio repositório YUM no CentOS 4 e 5

Elastix - Instalando, criando ramais e realizando ligações SIP Trunk Vono e FaleViper

  
Comentários
[1] Comentário enviado por ande27 em 05/01/2018 - 10:47h

Thiago, já utilizo o ELK a um bom tempo, sabe me dizer se existe integração do Squid do Pfsense para o ELK?


[2] Comentário enviado por thiagodiniz em 18/01/2018 - 19:50h

Olá Anderson!

Não tenho muita experiência com pfSense, mas por ser um BSD acredito que seja possível instalar o Filebeat.

Encontrei dois artigos que podem te ajudar:
https://rareintel.com/2016/07/10/installing-logstash-filebeat-directly-pfsense-2-3/
https://extelligenceblog.it/2017/07/11/elastic-stack-suricata-idps-and-pfsense-firewall-part-1/

No último diz o seguinte:
Se você usa pfSense 2.3.4:
http://pkg.freebsd.org/freebsd:10:x86:64/latest/All/

Se você usa pfSense 2.4 (Released in October 2017):
http://pkg.freebsd.org/FreeBSD:11:amd64/latest/All/

O nome do pacote nestes repositórios é "beats-6.1.1_1.txz".

Outra possível solução seria usar o parâmetro "access_log" da configuração do Squid pra tentar enviar os logs diretamente ao Logstash ou para outro sistema via syslog que possua o Filebeat:
http://www.squid-cache.org/Doc/config/access_log/

Espero ter ajudado.
Abç!

[3] Comentário enviado por ande27 em 26/01/2018 - 18:55h


[2] Comentário enviado por thiagodiniz em 18/01/2018 - 19:50h

Olá Anderson!

Não tenho muita experiência com pfSense, mas por ser um BSD acredito que seja possível instalar o Filebeat.

Encontrei dois artigos que podem te ajudar:
https://rareintel.com/2016/07/10/installing-logstash-filebeat-directly-pfsense-2-3/
https://extelligenceblog.it/2017/07/11/elastic-stack-suricata-idps-and-pfsense-firewall-part-1/

No último diz o seguinte:
Se você usa pfSense 2.3.4:
http://pkg.freebsd.org/freebsd:10:x86:64/latest/All/

Se você usa pfSense 2.4 (Released in October 2017):
http://pkg.freebsd.org/FreeBSD:11:amd64/latest/All/

O nome do pacote nestes repositórios é "beats-6.1.1_1.txz".

Outra possível solução seria usar o parâmetro "access_log" da configuração do Squid pra tentar enviar os logs diretamente ao Logstash ou para outro sistema via syslog que possua o Filebeat:
http://www.squid-cache.org/Doc/config/access_log/

Espero ter ajudado.
Abç!


Muito obrigado Thiago.
Vou testar tudo isso em um Lab.


[4] Comentário enviado por leoberbert em 03/10/2019 - 13:54h

Anderson,

Você não precisar instalar o filebeat, desde que você tenha o java instalado, basta baixar o .tar.gz, extrair e entrar na pasta do filebeat e executar ./filebeat e ele irá executar.

Att,


Contribuir com comentário




Patrocínio

Site hospedado pelo provedor RedeHost.
Linux banner

Destaques

Artigos

Dicas

Tópicos

Top 10 do mês

Scripts