01 02

Loganalyzer não conecta com MongoDB. [RESOLVIDO]

1. Loganalyzer não conecta com MongoDB. [RESOLVIDO]

leojaco25
(usa XUbuntu)

Enviado em 02/02/2017 - 09:30h

Bom dia senhores.

Não sei se é aqui esta questão, mas não encontrei nada que pudesse me auxiliar, nem onde colocar este questionamento.
Estou tentando configurar o Loganalyzer com MongoDB, porém não consigo fazer o sistema conectar na base do Mongo. Quando configuro o Loganalyzer, está aparecendo a seguinte mensagem no passo 8:

Critical Error while importing the sources into the database, the SourceType '4' is not supported by this LogAnalyzer Version.

Já mudei a versão para a 4.1.3, para a 3.6.6 (só não testei a 3.6.2, que é a versão usada nos tutoriais que encontrei), e em todas as versões testadas apresenta esta mensagem. Sei que o Loganalyzer funciona muito bem com o MySQL, porém nosso volume de logs é muito grande para este tipo de banco, e meu medo é não suportar o tranco. Estou testando o mongodb pois ouvi falar que este banco é mais funcional, e suporta melhor este tipo de aplicação.

Alguém tem alguma ideia ou sugestão para este caso?

Grato a todos,

Leandro.

0 0

Quote

2. Re: Loganalyzer não conecta com MongoDB.

removido
(usa Nenhuma)

Enviado em 02/02/2017 - 09:54h

http://www.rsyslog.com/using-mongodb-with-rsyslog-and-loganalyzer/

Recomendo o Graylog. Baixe seu virtual appliance e veja o quanto ele é superior.

https://www.graylog.org/features
https://www.graylog.org/download

1 0

Quote

3. Re: Loganalyzer não conecta com MongoDB. [RESOLVIDO]

leojaco25
(usa XUbuntu)

Enviado em 02/02/2017 - 11:30h

Eu segui este tutorial do rsyslog, mas mesmo assim ele não conecta. Diz que a versão do loganalyzer não suporte o mongodb.
No log do messages achei esta mensagem:

Feb 2 11:13:27 zabbix rsyslogd: [origin software="rsyslogd" swVersion="7.4.7" x-pid="32173" x-info="http://www.rsyslog.com"] start
Feb 2 11:13:27 zabbix rsyslogd-2066: could not load module '/usr/lib64/rsyslog/ommongodb.so', dlopen: /usr/lib64/rsyslog/ommongodb.so: cannot open shared object file: No such file or directory
[try http://www.rsyslog.com/e/2066 ]
Feb 2 11:13:27 zabbix rsyslogd-2209: module name 'ommongodb' is unknown [try http://www.rsyslog.com/e/2209 ]
Feb 2 11:13:27 zabbix rsyslogd-2207: error during parsing file /etc/rsyslog.conf, on or before line 18: errors occured in file '/etc/rsyslog.conf' around line 18 [try http://www.rsyslog.com/e/2207 ]
Feb 2 11:13:27 zabbix rsyslogd-2209: module name 'ommongodb' is unknown [try http://www.rsyslog.com/e/2209 ]
Feb 2 11:13:27 zabbix rsyslogd-2207: error during parsing file /etc/rsyslog.conf, on or before line 40: errors occured in file '/etc/rsyslog.conf' around line 40 [try http://www.rsyslog.com/e/2207 ]

Quanto ao Graylog, eu não consegui configurá-lo a tempo para estudá-lo. Eu testei o Splunk, que é muito bom, mas não consegui fazer o backup dos dados (que é fundamental para meus processos), e estou com o tempo muito apertado (preciso de uma ferramenta de gestão de logs até final do mes).

0 0

Quote

4. Re: Loganalyzer não conecta com MongoDB. [RESOLVIDO]

removido
(usa Nenhuma)

Enviado em 02/02/2017 - 11:37h

Se você está com pouco tempo o appliance do Graylog é a salvação.

0 0

Quote

5. Re: Loganalyzer não conecta com MongoDB.

removido
(usa Nenhuma)

Enviado em 02/02/2017 - 11:43h

Em relação ao erro.

could not load module '/usr/lib64/rsyslog/ommongodb.so', dlopen: /usr/lib64/rsyslog/ommongodb.so: cannot open shared object file: No such file or directory

O modulo foi instalada?

0 0

Quote

6. Re: Loganalyzer não conecta com MongoDB. [RESOLVIDO]

removido
(usa Nenhuma)

Enviado em 02/02/2017 - 11:50h

No link que postei o cidadão roda um configure habilitando o "Ommongodb". Esse modulo e utilizado para escrever no Mongo.

0 0

Quote

7. Re: Loganalyzer não conecta com MongoDB. [RESOLVIDO]

leojaco25
(usa XUbuntu)

Enviado em 02/02/2017 - 12:00h

amarildosertorio escreveu:

No link que postei o cidadão roda um configure habilitando o "Ommongodb". Esse modulo e utilizado para escrever no Mongo.

Amarildo,

Eu segui à risca este tutorial. Não sei o motivo de não ter funcionado com o Mongodb. Já resinstalei o mongo, removi e baixei as versões do loganalyzer, refiz todas as configurações, mas não funcionou. Tentei atualizar o SO, que talvez pudesse atualizar algumas libs desatualizadas, mas não funcionou (neste servidor eu tenho um mailgraph rodando, e está dando chabu no rrdtools, mas isso não vem ao caso nessa situação). Estou baixando a OVA do graylog, para ver. Você que conhece este sistema, é fácil fazer o backup da base do graylog?

Agradeço o apoio.
Leandro.

0 0

Quote

8. Re: Loganalyzer não conecta com MongoDB.

removido
(usa Nenhuma)

Enviado em 02/02/2017 - 12:07h

No Graylog o MongoDB armazena configurações e metadados. Os logs são armazenados no Elasticsearch. O banco tende a ser bem pequeno. Com um script simples você executa o backup da base.

Utilizamos o script do Michael Mottola.

https://github.com/controlz/Mongo-db-shell-backup

0 0

Quote

9. Re: Loganalyzer não conecta com MongoDB. [RESOLVIDO]

leojaco25
(usa XUbuntu)

Enviado em 02/02/2017 - 17:45h

amarildosertorio escreveu:

No Graylog o MongoDB armazena configurações e metadados. Os logs são armazenados no Elasticsearch. O banco tende a ser bem pequeno. Com um script simples você executa o backup da base.

Utilizamos o script do Michael Mottola.

https://github.com/controlz/Mongo-db-shell-backup

Amarildo,

Peguei o script, e resolve meu problema com relação ao backup. Estou tentando fazer a configuração, mas estou apanhando mais que cachorro de rua. Consegui fazer rodar o graylog2, o mongodb, porém apanhei um bocado do elasticsearch, que consegui fazer funcionar. Porém, na tela do graylog está dando um erro.



 Oh no, something went wrong!



(You caused a org.graylog2.restclient.lib.APIException. API call failed GET http://@127.0.0.1:12900/search/universal/relative?offset=0&query=*&limit=100&range=300&sort=timestamp:desc&range_type=relative returned 500 Internal Server Error body: {"type":"ApiError","message":"waited for [30s]"})

Reason: There was a problem with your search. We expected HTTP 200, but got a HTTP 500.

Revi umas trezentas vezes as configurações do graylog e do elasticsearch, porém não descobri nada para resolver. O arquivo de conf do elasticsearch está assim (coloquei somente o que está descomentado, ou o que não é comentário, para não ficar muito longo):



# ======================== Elasticsearch Configuration =========================

# ---------------------------------- Cluster -----------------------------------

# Use a descriptive name for your cluster:

# cluster.name: my-application

cluster.name: graylog2

# ------------------------------------ Node ------------------------------------

# Use a descriptive name for the node:

# node.name: node-1

# Add custom attributes to the node:

# node.rack: r1

# ----------------------------------- Paths ------------------------------------

# Path to directory where to store the data (separate multiple locations by comma):

# path.data: /path/to/data

# Path to log files:

# path.logs: /path/to/logs

#

# ----------------------------------- Memory -----------------------------------

# Lock the memory on startup:

# bootstrap.memory_lock: true

# ---------------------------------- Network -----------------------------------

# Set the bind address to a specific IP (IPv4 or IPv6):

#network.host: localhost

# Set a custom port for HTTP:

#http.port: 9200

# --------------------------------- Discovery ----------------------------------

# discovery.zen.ping.unicast.hosts: ["host1", "host2"]

#discovery.zen.ping.unicast.hosts: ["127.0.0.1:9300"]

# Prevent the "split brain" by configuring the majority of nodes (total number of nodes / 2 + 1):

#discovery.zen.minimum_master_nodes: 3

# ---------------------------------- Gateway -----------------------------------

# Block initial recovery after a full cluster restart until N nodes are started:

# gateway.recover_after_nodes: 3

# ---------------------------------- Various -----------------------------------

# Disable starting multiple nodes on a single system:

# node.max_local_storage_nodes: 1

# Require explicit names when deleting indices:

# action.destructive_requires_name: true

Tens ideia do que está ocorrendo? No log está constando isso:

[2017-02-02 17:33:12,482][INFO ][node ] [James Jaspers] version[2.4.4], pid[54165], build[fcbb46d/2017-01-03T11:33:16Z]
[2017-02-02 17:33:12,483][INFO ][node ] [James Jaspers] initializing ...
[2017-02-02 17:33:13,115][INFO ][plugins ] [James Jaspers] modules [reindex, lang-expression, lang-groovy], plugins [], sites []
[2017-02-02 17:33:13,138][INFO ][env ] [James Jaspers] using [1] data paths, mounts [[/ (rootfs)]], net usable_space [27.7gb], net total_space [47.4gb], spins? [unknown], types [rootfs]
[2017-02-02 17:33:13,138][INFO ][env ] [James Jaspers] heap size [1007.3mb], compressed ordinary object pointers [true]
[2017-02-02 17:33:15,029][INFO ][node ] [James Jaspers] initialized
[2017-02-02 17:33:15,029][INFO ][node ] [James Jaspers] starting ...
[2017-02-02 17:33:15,188][INFO ][transport ] [James Jaspers] publish_address {127.0.0.1:9300}, bound_addresses {[::1]:9300}, {127.0.0.1:9300}
[2017-02-02 17:33:15,193][INFO ][discovery ] [James Jaspers] graylog2/LJIvsnUpTUikja07GidQJA
[2017-02-02 17:33:18,280][INFO ][cluster.service ] [James Jaspers] new_master {James Jaspers}{LJIvsnUpTUikja07GidQJA}{127.0.0.1}{127.0.0.1:9300}, reason: zen-disco-join(elected_as_master, [0] joins received)
[2017-02-02 17:33:18,325][INFO ][http ] [James Jaspers] publish_address {127.0.0.1:9201}, bound_addresses {[::1]:9201}, {127.0.0.1:9201}
[2017-02-02 17:33:18,326][INFO ][node ] [James Jaspers] started
[2017-02-02 17:33:18,362][INFO ][gateway ] [James Jaspers] recovered [0] indices into cluster_state

Grato,
Leandro.

0 0

Quote

10. Re: Loganalyzer não conecta com MongoDB. [RESOLVIDO]

removido
(usa Nenhuma)

Enviado em 03/02/2017 - 10:24h

Vou baixar o OVA (graylog-2.1.3-1.ova) para simular.

https://packages.graylog2.org/releases/graylog-omnibus/ova/graylog-2.1.3-1.ova

0 0

Quote

11. Re: Loganalyzer não conecta com MongoDB.

removido
(usa Nenhuma)

Enviado em 04/02/2017 - 19:47h

Baixei o OVA mencionado acima e não consegui reproduzir o erro. Vi alguns relatos de erro 500 após instalação e precisamos do stack trace para obter mais detalhes. Em alguns relatos a solução foi recriar a base de dados.

0 0

Quote

12. Re: Loganalyzer não conecta com MongoDB. [RESOLVIDO]

leojaco25
(usa XUbuntu)

Enviado em 15/02/2017 - 11:20h

amarildosertorio escreveu:

Baixei o OVA mencionado acima e não consegui reproduzir o erro. Vi alguns relatos de erro 500 após instalação e precisamos do stack trace para obter mais detalhes. Em alguns relatos a solução foi recriar a base de dados.

Amarildo, como estou com meu tempo extremamente curto (estou passando por uma auditoria da 27001), estarei configurando o próprio loganalyzer. Mais para frente eu irei "brincar" um pouco mais com o Graylog. Agradeço todo o empenho e esforço em meu auxílio, e quando eu tiver com o novo servidor configurado, estarei postando aqui o resultado.

Muito obrigado pela dica e pelo apoio.

Leandro.

0 0

Quote