Removendo linhas duplicadas

crsouza
(usa Red Hat)

Enviado em 20/01/2014 - 10:19h

Olá,

Preciso remover linhas duplicadas em um arquivo, com shell script, mas estas linhas não são totalmente iguais.

segue uma demostração.

35647/111 AZEITONA PRETA CA CXA 6X2KG 117,00 19,50
35647/900 AZEITONA PRETA CA UND 1X2KG 19,50 19,50
35648/171 AZEITONA PRETA CA CXA 6X2KG 159,00 26,50
35648/959 AZEITONA PRETA CA UND 1X2KG 26,50 26,50
35642/114 AZEITONA VERDE CA CXA 6X2KG 90,60 15,10
35647/111 AZEITONA PRETA CA CXA 6X2KG 117,00 19,50
35647/900 AZEITONA PRETA CA UND 1X2KG 19,50 19,50

Eu teria que remover estas que estão com o final do código 9xx.após a barra

Ou seja no caso da primeira linha, eu gostaria de excluir a segunda, mas nem sempre ela será a próxima, e assim por diante.
Tenho que manter no arquivo somente os produtos de caixas, ou código códigos 1xx, pós barra.

Sei que este comando abaixo, eu consigo classificar e remover as linhas duplicadas, porem só funciona se ela for realmente iguais.
( cat arquivao | sort | uniq > arquivao1)
E a minhas não são.
Será que tem um comando para tratar nos primeiros numeros antes da barra?