Hadoop - Referência de Comandos


Advertisements

Há muitos mais comandos em "$HADOOP_HOME/bin/hadoop fs" que são demonstrado aqui, embora estas operações básicas irá ajudá-lo a começar. Executar ./bin/hadoop dfs sem argumentos adicionais irá listar todos os comandos que podem ser executados com o FsShell sistema. Além disso, $HADOOP_HOME/bin/hadoop fs -help commandName irá exibir um curto resumo de uso para a operação em causa, se você estiver preso.

Uma tabela de todas as operações é mostrado abaixo. As seguintes convenções são usadas para os parâmetros.

"<path>" means any file or directory name. 
"<path>..." means one or more file or directory names. 
"<file>" means any filename. 
"<src>" and "<dest>" are path names in a directed operation. 
"<localSrc>" and "<localDest>" are paths as above, but on the local file system. 

Todos os outros arquivos e caminho nomes referem-se a objetos dentro HDFS.

1.

ls <path>

Apresenta o conteúdo do diretório especificado pelo caminho, mostrando os nomes, as permissões, dono, tamanho e data de modificação para cada entrada.

2.

lsr <path>

Comporta-se como -ls, mas recursivamente exibe as entradas em todos os subdiretórios do caminho.

3.

du <path>

Mostra uso de disco, em bytes, para todos os arquivos que correspondem ao caminho; os nomes de arquivos são relatadas com o protocolo completo HDFS prefixo.

4.

dus <path>

Como -du, mas imprime um resumo da utilização do disco de todos os arquivos/diretórios no path.

5.

mv <src><dest>

Move o arquivo ou diretório indicado pelo src para dest, dentro HDFS.

6.

cp <src> <dest>

Copia o arquivo ou diretório identificado pelo src para dest, dentro HDFS.

7.

rm <path>

Remove o arquivo ou diretório vazio identificados pelo caminho.

8.

rmr <path>

Remove o arquivo ou diretório identificado pelo caminho. Recursivamente exclui qualquer criança as entradas (ou seja, arquivos ou subdiretórios do caminho).

9.

put <localSrc> <dest>

Copia o arquivo ou diretório no sistema de arquivos local identificado por localSrc ao dest dentro do DFS.

10.

copyFromLocal <localSrc> <dest>

Idêntico ao -coloque

11.

moveFromLocal <localSrc> <dest>

Copia o arquivo ou diretório no sistema de arquivos local identificado por localSrc ao dest a HDFS, e, em seguida, o exclui a cópia local de sucesso.

12.

get [-crc] <src> <localDest>

Copia o arquivo ou diretório em HDFS identificados pelo src para o caminho do sistema de arquivos local identificado pelo localDest.

13.

getmerge <src> <localDest>

Recupera todos os arquivos que correspondem ao caminho src, HDFS, e copia-os para um único arquivo mesclado no sistema de arquivos local identificado por localDest.

14.

cat <filen-ame>

Exibe o conteúdo do arquivo no stdout.

15.

copyToLocal <src> <localDest>

Idêntico ao -obtenha

16.

moveToLocal <src> <localDest>

Funciona como a obter, mas exclui o HDFS cópia de sucesso.

17.

mkdir <path>

Cria um diretório chamado caminho HDFS.

Cria os diretórios pais no caminho que estão faltando (por exemplo, mkdir -p em Linux).

18.

setrep [-R] [-w] rep <path>

Define o alvo fator replicação de arquivos identificados pelo caminho para rep. (O verdadeiro fator replicação irá se mover para a meta ao longo do tempo)

19.

touchz <path>

Cria um arquivo no caminho que contém o tempo atual como um carimbo. Não se um arquivo já existente no caminho, a menos que o arquivo já está tamanho 0.

20.

test -[ezd] <path>

Retorna 1 se existe caminho; possui comprimento zero; ou é um diretório ou 0 caso contrário.

21.

stat [format] <path>

Imprime as informações sobre caminho. Formato é uma string que aceita tamanho do arquivo em blocos ( %b), ficheiro (%n), tamanho de bloco ( %s), a replicação ( %r), e data de modificação ( %y, %Y).

22.

tail [-f] <file2name>

Mostra os últimos 1KB de arquivo no stdout.

23.

chmod [-R] mode,mode,... <path>...

Muda as permissões de arquivo associado a um ou mais objetos identificados pelo caminho .... Executa as alterações recursivamente com R. mode é um 3-dígito octal mode, ou {augo}+/-{rwxX}. Não assume se não é especificado e não aplique uma umask selecionados nas.

24.

chown [-R] [owner][:[group]] <path>...

Define a propriedade usuário e/ou grupo de arquivos ou diretórios identificados pelo caminho .... Define proprietário recursivamente se -R é especificado.

25.

chgrp [-R] group <path>...

Define o grupo proprietário de arquivos ou diretórios identificados pelo caminho .... Grupo conjuntos recursivamente se -R é especificado.

26.

help <cmd-name>

Retorna informações sobre o uso de um dos comandos listados acima. Você deve omitir os principais '-' character no cmd.

Advertisements