Hadoop - HDFS Operações

Começando HDFS

Inicialmente você terá que formatar o sistema de arquivos configurados HDFS, abrir namenode (HDFS server), e executar o comando a seguir.

$ hadoop namenode -format 

Após a formatação o HDFS, iniciar o sistema de arquivos distribuídos. O seguinte comando irá iniciar o namenode, bem como os nós de dados em cluster.

$ start-dfs.sh 

Listando os arquivos HDFS

Depois de colocar a informação no servidor, podemos encontrar a lista de arquivos em um diretório, o estado de um arquivo, utilizando a opção ‘ls’. Abaixo está a sintaxe de ls que você pode passar para um diretório ou um arquivo como um argumento.

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

Inserindo Dados em HDFS

Imagine que tenhamos os dados no arquivo chamado .txt no sistema local que é deveria ser guardado no hdfs file system. Siga as etapas abaixo para inserir o arquivo necessário no Hadoop file system.

Passo 1

Você tem que criar um directório de entrada.

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input 

Passo 2

Transferir e armazenar um arquivo de dados de sistemas locais para o Hadoop sistema de arquivos usando o comando put.

$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input 

Passo 3

Você pode verificar o arquivo usando ls comando.

$ $HADOOP_HOME/bin/hadoop fs -ls /user/input 

Recuperando Dados de HDFS

Suponhamos que temos um arquivo de HDFS chamado outfile. Dada abaixo é uma demonstração simples para recuperar os arquivos necessários do Hadoop file system.

Passo 1

Inicialmente, exibir os dados da HDFS usando cat comando.

$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile 

Passo 2

Obter o arquivo do HDFS no sistema de arquivos local usando comando get.

$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/ 

Encerrando o HDFS

Você pode encerrar o HDFS, usando o seguinte comando.

$ stop-dfs.sh