Trabalhando com arquivos grandes

ricardok
(usa Nenhuma)

Enviado em 26/10/2005 - 09:14h

Preciso fazer um script para ler um arquivo de log com cerca de 5GBytes e separar o conteudo do mesmo em vários outros arquivos de acordo com o conteudo.

Por exemplo :
ricardo 26/10/2005 SP brasileiro solteiro
jose 26/10/2005 RJ brasileiro solteiro
paulo 26/10/2005 SC brasileiro solteiro

Quero pegar o valor da terceira coluna e jogar o conteudo da linha no arquivo SP.log, RJ.log,etc..

Tentei fazer com shell script onde for i in `cat file.log` do ....., porem quando executo o programa ele comeca a consumir toda a memoria do server de aborta com o erro "No Space".

Alguem poderia me ajudar ?

Grato

pacman
(usa Ubuntu)

Enviado em 18/04/2006 - 17:34h

Acho que o AWK consegue manipular tanta informação.

$ awk '{file=$3".log" ; print $0 >> file}' dados.txt

$ ls *.log
RJ.log SC.log SP.log

$ cat RJ.log
jose 26/10/2005 RJ brasileiro solteiro

Mas é bom que vc tenha bastante espaço em disco.

jotalinux2
(usa Debian)

Enviado em 24/05/2006 - 12:21h

Pretendo fazer um programa free para leitura de arquivos de remessa e retorno para os principais bancos do brasil ..

Algo como as funcoes zz..
Algue tem uma dica de q linguagem uso ou ou exemplos com sed awk ...penso em php ou lazarus ...
Bem ta lancado o desfio qqer ajuda contem comigo