Neste exemplo, nós iremos coletar os logs de acesso e de erro do Apache.

Para isso, na máquina shipper - a que envia as mensagens de log para a centralizadora - pare o Logstash (se ainda não estiver parado) e edite o arquivo de configuração (shipper.conf), para que ele fique da seguinte maneira:



Inicie o Logstash e acesse algumas páginas desta máquina, através do navegador.

As mensagens serão enviadas ao Redis e o Logstash vai coletar e indexar as mensagens, enviando-as ao Elasticsearch para armazenamento. Assim, elas podem ser visualizadas através da interface do Kibana.

Na interface Web, ao clicar em uma das mensagens, é possível ver como ela foi processada, sendo quebrada em vários campos (agent, auth, bytes, clientip, etc). Esse processamento é feito através das instruções na sessão filter.

O Logstash tem uma série de filtros, sendo o grok um dos mais usados. Com ele, é possível fazer um parsing do texto e estruturá-lo. O grok vem com uma série de padrões pré-definidos (COMBINEDAPACHELOG é um deles), mas, você pode definir um padrão novo qualquer, que atenda às suas necessidades.

Você pode ver mais detalhes dos plugins do Logstash, na página:

• http://logstash.net/docs/1.1.1

O conjunto Elasticsearch+Kibana, provêem um ambiente muito prático, que permite realizar buscas e aplicar filtros aos resultados processados do Logstash e usam a mesma sintaxe da Lucene para realizar as buscas.

Mais detalhes podem ser encontrados em:

• Apache Lucene - Query Parser Syntax « lucene.apache.org

Referências

• http://logstash.net/docs
• http://www.elasticsearch.org/guide
• http://redis.io/documentation
• http://rashidkpc.github.com/Kibana
• Apache Lucene - Query Parser Syntax « lucene.apache.org