Instalando Apache Hadoop

z4r4tu5tr4

Esse artigo tende a tentar explicar a instalação e configuração do Apache Hadoop 2 em suas três maneiras de instalação.

[ Hits: 30.550 ]

Por: Eduardo Ferreira Mendes em 14/08/2015 | Blog: https://github.com/z4r4tu5tr4

9 0

Denuncie Favoritos Indicar Impressora

Instalação do modo Pseudo-Distribuído

Para configurar o modo pseudo-distribuído você deve configurar o modo single como vimos na página anterior.

Por default todas as jobs do Hadoop são executadas pelo usuário 0 (root) e se você deseja que as operações sejam executadas em um user específico você pode setar em /etc/conf.d/hadoop alterando a linha:

HADOOP_USERNAME = "[seu nome de usuário]"

E em seguida temos que configurar os XMLs do Hadoop e o SSH.

Os arquivos XML estão localizados em /usr/local/hadoop/etc/hadoop.

Logo após, juntei aqui arquivos básicos de configuração para subir e derrubar os serviços.

1. Arquivos de configuração:

core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml:

<configuration>
    <property>
            <name>dfs.replication</name>
                <value>1</value>
    </property>
        <property>
            <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
    </property>
        <property>
            <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/hadoop_store/hdfs/datanode</value>
    </property>
</configuration>

mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml:

<configuration>
    <property>
            <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
    </property>
    <property>
            <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value> org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

Configuração SSH:

# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# ssh-keyscan -H localhost, localhost >> ~/.ssh/known_hosts
# ssh-keyscan -H localhost, 0.0.0.0 >> ~/.ssh/known_hosts

Criação do script para subir os serviços:

# $HADOOP_INSTALL/hadoop-2.6.0/sbin/start-dfs.sh
# $HADOOP_INSTALL/hadoop-2.6.0/sbin/start-yarn.sh
# $HADOOP_INSTALL/hadoop-2.6.0/sbin/mr-jobhistory-daemon.sh start historyserver

Criação do script para derrubar os serviços:

# $HADOOP_INSTALL/hadoop-2.6.0/sbin/mr-jobhistory-daemon.sh stop historyserver
# $HADOOP_INSTALL/hadoop-2.6.0/sbin/stop-yarn.sh
# $HADOOP_INSTALL/hadoop-2.6.0/sbin/stop-dfs.sh

Teste de funcionamento: acesse http://localhost:8088

Página anterior Próxima página

Páginas do artigo

   1. O que é o Apache Hadoop
   2. Instalação do modo Single-Node
   3. Instalação do modo Pseudo-Distribuído
   4. Instalação do modo totalmente distribuído
   5. Referências

Outros artigos deste autor

Nenhum artigo encontrado.

Leitura recomendada

Acentos corretos no console, PnUP, PnDown, Home End, etc..

Instalando Asterisk 1.4 no Debian 4.0

Instalando e configurando um Webserver

Instalando Slackware através de outro HD corrigindo os pacotes

Passo a passo: Fedora autenticando usuários no Active Directory

Comentários

[1] Comentário enviado por HenriqueSantana em 28/04/2016 - 15:47h

Ótimo trabalho, será de grande uso. Mt Obrigado.
Poderia informar os requisitos necessários?

0 0

[2] Comentário enviado por z4r4tu5tr4 em 28/04/2016 - 22:08h

[1] Comentário enviado por HenriqueSantana em 28/04/2016 - 15:47h

Ótimo trabalho, será de grande uso. Mt Obrigado.
Poderia informar os requisitos necessários?

Cara, se quiser, me manda um e-mail a gente vai conversando mendesxeduardo at gmail

1 0

[3] Comentário enviado por anderson-dhell em 20/02/2017 - 16:30h

parabéns, conteúdo muito bom, eu instalei o modo single node, mas fiquei com algumas dúvidas. To querendo usar o hadoop no meu Tcc, mas tô iniciando agora. gostaria de ver as possibilidades.

0 0