Contar e ordenar a quantidade de ocorrências de cada linha em um arquivo

Publicado por Fábio Berbert de Paula em 26/09/2019

[ Hits: 7.569 ]

Blog: https://fabio.automatizando.dev

3 0

Denuncie Favoritos Indicar Impressora

Contar e ordenar a quantidade de ocorrências de cada linha em um arquivo

Problema

Eu precisava levantar quais eram os IPs que mais estavam acessando meu servidor web e como fonte de dados usei o arquivo access.log do NGinx.

Solução

Uma linha de log do NGinx tem o seguinte formato:

201.xx.157.10 - - [24/Sep/2019:12:48:59 -0300] "GET /imagens/banners/udemy-cert.png HTTP/1.1" 200 26546 ".../artigo/Linux-no-Pendrive-Definitivamente-configuravel-e-persistente?pagina=2" "Mozilla/5.0 (X11; Linux x86_64; rv:68.0) Gecko/20100101 Firefox/68.0"

O dado que eu preciso é o primeiro campo, o IP do usuário. Então vamos criar um segundo arquivo de log com apenas o primeiro campo de cada entrada:

cat access.log | cut -d ' ' -f 1 > ip_log.txt

Foi criado um arquivo chamado ip_log.txt com o seguinte formato:

18.184.94.52
54.83.152.140
52.58.160.43
3.86.142.166
35.158.131.185
46.229.168.145
18.185.28.42
3.120.174.144
3.123.35.240

Quero fazer o levantamento de quantas vezes cada IP acessou o site neste dia. Para isso vamos usar o comando sort combinado com uniq:

sort ip_log.txt | uniq -c | sort -bnr

A saída será algo como:

9220 23.100.232.233 2671 18.231.162.74 2668 18.229.142.235 2223 18.228.188.56 2178 52.67.166.246

Até a próxima!

Outras dicas deste autor

MellowPlayer - Ouça Spotify, Deezer, Google Play, Tune In dentre outros

bc - Como passar parâmetros via linha de comando para a calculadora

Como montar um bucket Amazon S3 no Linux

Gmail - como exibir somente mensagens não-lidas

Sintaxe alternativa para encontrar arquivos por data com o comando find

Leitura recomendada

Negação Condicional no IF

Highlighting: Destacando Códigos Bash Script no Eclipse

diff - Comando com exemplos

Automatização da instalação do plugin JAVA (Mozilla)

Aulas Shell Script do zero - Parte 4