Não se afoguem mais em uma tonelada de Logs, ELK te salva! (Real-time)

UrielRicardo

Hoje em dia a análise de Big Data é cada vez mais importante por uma série de fatores, um deles é a tomada de decisão sobre o que fazer com determinado produto, serviço ou aplicação e, por conta disso, quem não faz análise de seus logs acaba ficando para trás. Isso é válido para empresas, Sysadmins, engenheiros, e principalmente a galera DevOps. Com base nesta questão, este artigo mostra uma das muitas formas de fazer isso, utilizando de tecnologias como: ELK, Docker e outras ferramentas essenciais para uma Infraestrutura Ágil, tudo isso em Real-time.

[ Hits: 18.196 ]

Por: Uriel Ricardo em 18/10/2016

23 0

Denuncie Favoritos Indicar Impressora

Acessando Kibana e analisando meu dados (Real-time)

Bom, aqui agora é a parte bonita, onde você vai explorar as possibilidades de gráficos, telas, dashboards, visualizations e afins...

Ao acessar o endereço citado na page anterior você vai ter algo como isso:

Basta clicar em "create" para criar seu índice.

Após isso será levado para a page "discover" onde você receberá os logs, de certa forma "crus", e ao lado esquerdo pode ver os fields que você montou com o filter!

No meu caso, como são dados sensíveis tenho que dar um "blur", mas sim se baseia no mesmo filtro que fizemos, claro que com muitos outros dados...

Depois de ver seu logs "crus" você vai querer brincar com eles, montar dashboards etc, basta ir em "visualize" e escolher um tipo de visualization, gráficos em barra, métricas, pizza, em linha... Nessa parte você poderá fazer o que quiser, contar quantas vezes o e-mail uriel@vivaolinux.com.br fez envios para o e-mail adm@vivaolinux.com.br, por exemplo, as possibilidades são infinitas.

Por fim basta ir em dashboards e carregar sua visualizations para lá!

Créditos:

Página anterior

Páginas do artigo

   1. ELK + Docker
   2. Entendendo e configurando o Elk
   3. Configurando o Filebeat.yml
   4. Configurando o Logstash.conf
   5. Acessando Kibana e analisando meu dados (Real-time)

Outros artigos deste autor

Projeto Sharingan

Leitura recomendada

Unity Desktop no Arch Linux

Aixgl + Beryl no Slackware

Instalando o compiz no Arch Linux

Exiv2 - Manipulando Metadados de Arquivos de Imagens

Guia SSD no Linux: tudo que você precisa saber e o que precisa esquecer!

Comentários

[1] Comentário enviado por FelipeCoutinhoS em 19/10/2016 - 00:09h

Parabéns pelo artigo, muito bem explicado! Achei você bem detalhista, lhe encontrei no LinkedIn, por acaso teria interesse em palestrar sobre isso na GDG DevFest em são Paulo?
E quanto ao artigo, teria este material em PDF?

3 0

[2] Comentário enviado por cesar.dba em 20/10/2016 - 08:29h

Fantastico!
Especialista em Banco de Dados

0 0

[3] Comentário enviado por UrielRicardo em 21/10/2016 - 09:15h

Olá Amigo, tudo bem? Lhe respondi na mensagem privada que me enviou, agradeço pelo feedback! Quanto ao pdf enviei para seu e-mail em anexo!

0 0

[4] Comentário enviado por UrielRicardo em 21/10/2016 - 09:15h

[2] Comentário enviado por cesar.dba em 20/10/2016 - 08:29h

Fantastico!
Especialista em Banco de Dados

Muito Obrigado pelo FeedBack =)

0 0

[5] Comentário enviado por removido em 03/11/2016 - 09:22h

Assunto bem interessante. Obrigado pelo excelente artigo!

1 0

[6] Comentário enviado por UrielRicardo em 03/11/2016 - 09:32h

[5] Comentário enviado por eddye00 em 03/11/2016 - 09:22h

Assunto bem interessante. Obrigado pelo excelente artigo!

Eu que lhe agradeço, muito obrigador por ler meu artigo!

0 0

[7] Comentário enviado por cesar.dba em 03/11/2016 - 10:16h

Amigo bom dia,
Poderia me enviar em pdf o artigo por e-mail?!
Especialista em Banco de Dados

0 0

[8] Comentário enviado por lestatwa em 10/11/2016 - 13:51h

Primeiramente você deve se preocupar em responder: o que é big data? Uma base grande? Grande quanto? Qual o maior gargalo em analisar big data? Como é feita a paralelização das análises?
Quando você conseguir responder estas perguntas, vai entender que não existe sentido em chamar logs gerados por um servidor de big data tal como não existe maneira de analisar uma base realmente grande em um único servidor. A maioria dos métodos de analise supõe que exista um driver (servidor ou pc aonde o código da análise é escrito) e vários workers (outros servidores que fazem a análise em paralelo). Métodos baseados no haboop tem um gargalo enorme (fora o problema da linguagem, só se pode usar Java), visto que existe muita leitura e escrita nos discos. Já frameworks mais novos, como o Apache Spark colocam toda a base a ser analisada em cache na memoria RAM, tornando as análizes até 100x mais rápidas que via hadoop. Além disto pode ser programado em Python, Scala, Java e R. Enfim, estou ilustrando este senário pois vejo muitos cursos de pós-graduação se propondo a abordar big data, porém o fazem de maneira totalmente equivocada, dando a impressão que qualquer base "grande" é big data.
Sei que seu propósito era apenas abordar alguns tools, porém gostaria de contribuir com estas reflexões.

1 0

[9] Comentário enviado por iranmeneses em 05/05/2017 - 11:25h

Bom dia. Nobre amigo sigo todo o tutorial, mas não estou conseguindo encontrar esse comando docker-compose up -d. Poderia me ajudar? Fico no aguardo. Grato.

1 0