Removendo linhas duplicadas não-consecutivas

Publicado por Sandro Marcell em 20/10/2009

[ Hits: 16.071 ]

Blog: http://sanmarcell.wordpress.com

 


Removendo linhas duplicadas não-consecutivas



Geralmente utilizo o comando sort para remover linhas duplicadas de um arquivo:

sort -o output -u input

O problema era que em alguns casos as linhas não poderiam ser ordenadas, mas o sort (obviamente!) as ordenava. Então acabei resolvendo o meu problema assim:

perl -ne '$i{"$_"}++ || print' < input > output

O mesmo pode ser obtido via awk:

awk '!i[$0]++' < input > output

Ou:

awk '!($0 in i) {i[$0] ; print}' < input > output

Sendo "input" o arquivo de entrada e "output" o de saída.

Falou! ;)

Outras dicas deste autor

Encriptando e compactando arquivos com o zip

rm - remover vários arquivos excetuando alguns

Bash: Gráficos estatísticos de tráfego de rede

ifconfig + sed - Mostrando seu endereço IP

AWK - Validando endereços IPv4

Leitura recomendada

Pgrep e pkill

(des)Empacotando com o tar e (des)comprimindo com o bzip2 e bunzip2

Usar o Putty automático

Expandindo partição LVM no Linux

Como copiar arquivos mantendo a estrutura de diretórios e sub-diretórios

  

Comentários
[1] Comentário enviado por ferrarezux em 29/10/2012 - 12:37h

Valeu cara! Me ajudou demais aqui.



Contribuir com comentário




Patrocínio

Site hospedado pelo provedor RedeHost.
Linux banner

Destaques

Artigos

Dicas

Tópicos

Top 10 do mês

Scripts