Docker-hadoop

Container contendo uma a instalação basica do Hadoop.

Exemplo

Para utilizar a imagem já criada será necessario se autenticar na plataforma Github. Segue o link da documentação

Após a autenticação será necessario construir o container, para facilitar foi criado o arquivo docker-compose.yml

docker-compose up -d  --build  

Os passos seguintes será necessario estar dentro do container:

docker exec -ti master su hadoop

Crie um hdfs

/opt/hadoop/bin/hdfs namenode -format

Inicialize os serviços

/opt/hadoop/sbin/start-all.sh

Para executar uma aplicação wordcount Hadoop deverá ser criado um diretorio no qual será gerado uma pasta de input:

mkdir input
cp /opt/hadoop/etc/hadoop/*.xml input

Copiar o diretório input para o HDFS

/opt/hadoop/bin/hadoop dfs -copyFromLocal input /in

Execultar o WordCount

/opt/hadoop/bin/hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar wordcount /in output

Coletar a saída do HDFS

/opt/hadoop/bin/hdfs dfs -get output output
cat output/*