Stream em arquivos grandes com java [RESOLVIDO]

1. Stream em arquivos grandes com java [RESOLVIDO]

cleysinhonv
(usa Ubuntu)

Enviado em 23/12/2014 - 13:17h

Olá pessoal,

Estou fazendo um stream em um arquivo com java. O arquivo tem aproximadamente 1GB e 12 milhões de linhas. O algoritmo que fiz esta extremamente lento. Gostaria de uma sugestão de como posso fazer essa implementação para que eu consiga maior rapidez e eficiência para fazer a leitura completa desse arquivo.

import org.apache.commons.io.FileUtils;
import org.apache.commons.io.LineIterator;

/* Outros códigos */

...

String line;
String[] key = null;
String str = "";
File file = new File(f);

LineIterator it;
it = FileUtils.lineIterator(file);

try {
while (it.hasNext()) {
line = it.nextLine();
// do something with line
if (line.contains(">")) {
if (key != null) {
fasta.put(key[0], str);
str = "";
}
key = line.split("\t");
keys.add(key[0]);
System.out.println(key[0]);
} else {
str += line;
}
}
}finally {
LineIterator.closeQuietly(it);
}

Grato ;)

0 0

Quote

2. MELHOR RESPOSTA

Thihup
(usa Manjaro Linux)

Enviado em 23/12/2014 - 17:42h

Faça algo assim :



public class Test {



   public static void main(String args[]) {

      String s = "Primeira Frase";

      s = s.concat(" e sua continuação);

      System.out.println(s);

   }

}

Aproposito , coloque seu código entre ["code"]["/code"](sem aspas

Veja este link : http://www.tutorialspoint.com/java/java_string_concat.htm

E este :

http://www.devmedia.com.br/diferencas-entre-string-stringbuilder-e-stringbuffer-em-java/29865

Espero ter ajudado

[]'s

T+

1 0

Quote

3. concatenação de string

cleysinhonv
(usa Ubuntu)

Enviado em 23/12/2014 - 15:57h

Descobri que a não eficiência se dá pela concatenação das strings.

str += line;

Alguma sugestão para resolver concatenação de string?

0 0

Quote

4. Re: Stream em arquivos grandes com java [RESOLVIDO]

di4s
(usa XUbuntu)

Enviado em 23/12/2014 - 16:30h

Utilize a classe StringBuilder

0 0

Quote

5. Re: Stream em arquivos grandes com java [RESOLVIDO]

di4s
(usa XUbuntu)

Enviado em 23/12/2014 - 17:55h

Usar o metodo concat da classe string não vai oferecer mais performace.

O operador + é apenas um açucar sintatico para esse metodo.

Como o link que você passou informa, string são imutaveis.

0 0

Quote

6. Re: Stream em arquivos grandes com java [RESOLVIDO]

cleysinhonv
(usa Ubuntu)

Enviado em 23/12/2014 - 18:04h

De fato operador + é a forma mais ineficiente, o cancat tambem pode ter algumas semelhanças. Vou fazer um teste com StringBuilder e StringBuffer.

0 0

Quote

7. Fechar o tópico

cleysinhonv
(usa Ubuntu)

Enviado em 23/12/2014 - 18:50h

Obrigado Paulo Dias, Thiago Henrique Hüpner.

O problema está resolvido. O Link foi util, a implementação está ok. Percebo que a classe String é um tiro no pé. Eu fazia em torno de 5.000.000 milhẽes de concatenações na mesma string, logo muitos objetos foram criados em memoria. Trabalhar com arquivos de DNA não é brincadeira não, tenho arquivos com 5GB.

Grato, se precisarem disponham-se!

0 0

Quote