Instalando Apache Hadoop

z4r4tu5tr4

Esse artigo tende a tentar explicar a instalação e configuração do Apache Hadoop 2 em suas três maneiras de instalação.

[ Hits: 29.686 ]

Por: Eduardo Ferreira Mendes em 14/08/2015 | Blog: https://github.com/z4r4tu5tr4

9 0

Denuncie Favoritos Indicar Impressora

Instalação do modo Pseudo-Distribuído

Para configurar o modo pseudo-distribuído você deve configurar o modo single como vimos na página anterior.

Por default todas as jobs do Hadoop são executadas pelo usuário 0 (root) e se você deseja que as operações sejam executadas em um user específico você pode setar em /etc/conf.d/hadoop alterando a linha:

HADOOP_USERNAME = "[seu nome de usuário]"

E em seguida temos que configurar os XMLs do Hadoop e o SSH.

Os arquivos XML estão localizados em /usr/local/hadoop/etc/hadoop.

Logo após, juntei aqui arquivos básicos de configuração para subir e derrubar os serviços.

1. Arquivos de configuração:

core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml:

<configuration>
    <property>
            <name>dfs.replication</name>
                <value>1</value>
    </property>
        <property>
            <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
    </property>
        <property>
            <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/hadoop_store/hdfs/datanode</value>
    </property>
</configuration>

mapred-site.xml:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml:

<configuration>
    <property>
            <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
    </property>
    <property>
            <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value> org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

Configuração SSH:

# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# ssh-keyscan -H localhost, localhost >> ~/.ssh/known_hosts
# ssh-keyscan -H localhost, 0.0.0.0 >> ~/.ssh/known_hosts

Criação do script para subir os serviços:

# $HADOOP_INSTALL/hadoop-2.6.0/sbin/start-dfs.sh
# $HADOOP_INSTALL/hadoop-2.6.0/sbin/start-yarn.sh
# $HADOOP_INSTALL/hadoop-2.6.0/sbin/mr-jobhistory-daemon.sh start historyserver

Criação do script para derrubar os serviços:

# $HADOOP_INSTALL/hadoop-2.6.0/sbin/mr-jobhistory-daemon.sh stop historyserver
# $HADOOP_INSTALL/hadoop-2.6.0/sbin/stop-yarn.sh
# $HADOOP_INSTALL/hadoop-2.6.0/sbin/stop-dfs.sh

Teste de funcionamento: acesse http://localhost:8088

Página anterior Próxima página

Páginas do artigo

   1. O que é o Apache Hadoop
   2. Instalação do modo Single-Node
   3. Instalação do modo Pseudo-Distribuído
   4. Instalação do modo totalmente distribuído
   5. Referências

Outros artigos deste autor

Nenhum artigo encontrado.

Leitura recomendada

Balanceamento de links + redundância + acesso remoto + sites de bancos

XFCE + Openbox no Debian e derivados

Apache 2.4 - A diretiva Options

Montar dispositivos com haldaemon em usuários NIS

Squid com WCCP

Comentários

[1] Comentário enviado por HenriqueSantana em 28/04/2016 - 15:47h

Ótimo trabalho, será de grande uso. Mt Obrigado.
Poderia informar os requisitos necessários?

0 0

[2] Comentário enviado por z4r4tu5tr4 em 28/04/2016 - 22:08h

[1] Comentário enviado por HenriqueSantana em 28/04/2016 - 15:47h

Ótimo trabalho, será de grande uso. Mt Obrigado.
Poderia informar os requisitos necessários?

Cara, se quiser, me manda um e-mail a gente vai conversando mendesxeduardo at gmail

1 0

[3] Comentário enviado por anderson-dhell em 20/02/2017 - 16:30h

parabéns, conteúdo muito bom, eu instalei o modo single node, mas fiquei com algumas dúvidas. To querendo usar o hadoop no meu Tcc, mas tô iniciando agora. gostaria de ver as possibilidades.

0 0