Hadoop -Befehlsreferenz


Advertisements

Es gibt viele weitere Befehle in "$HADOOP_HOME/bin/hadoop fs" als hier gezeigt, auch wenn diese Grundoperationen erhalten Sie begann. Laufende ./bin/hadoop dfs ohne zusätzliche Argumente werden alle Befehle, die mit dem FsShell System ausgeführt werden kann aufzulisten. Weiterhin $HADOOP_HOME/bin/hadoop fs -help Befehlsnamen werden Anzeige eine kurze Übersicht zur Verwendung der Operation in Frage , wenn Sie stecken bleiben.

Eine Tabelle aller Operationen ist nachfolgend dargestellt. Die folgenden Konventionen werden für die Parameter verwendet werden:

"<path>" means any file or directory name. 
"<path>..." means one or more file or directory names. 
"<file>" means any filename. 
"<src>" and "<dest>" are path names in a directed operation. 
"<localSrc>" and "<localDest>" are paths as above, but on the local file system. 

Alle anderen Dateien und Pfadnamen beziehen sich auf die Objekte innerhalb HDFS.

1.

ls <path>

Listet den Inhalt des Verzeichnisses in Pfad festgelegt und zeigt die Namen, Zugriffsrechte, Eigentümer, Größe und Änderungsdatum für jeden Eintrag.

2.

lsr <path>

Verhält sich wie -ls, aber rekursiv zeigt Einträge in allen Unterverzeichnissen von Pfad.

3.

du <path>

Zeigt Festplattennutzung in Byte für alle Dateien, die Spiel-Pfad; Dateinamen sind mit dem vollständigen HDFS Protokollpräfix berichtet.

4.

dus <path>

Wie -du, druckt aber eine mit der Plattenauslastung aller Dateien / Verzeichnisse im Pfad.

5.

mv <src><dest>

Verschiebt die Datei oder das Verzeichnis von src nach dest angegeben, innerhalb von HDFS.

6.

cp <src> <dest>

Kopiert die Datei oder das Verzeichnis identifiziert durch src nach dest , innerhalb HDFS.

7.

rm <path>

Entfernt die Datei oder leeres Verzeichnis identifiziert mit Pfad.

8.

rmr <path>

Entfernt die Datei oder das Verzeichnis identifiziert durch den Pfad . Rekursiv gelöscht Alle untergeordneten Einträge (dh Dateien oder Unterverzeichnisse der Pfad).

9.

put <localSrc> <dest>

Kopiert die Datei oder das Verzeichnis von dem lokalen Dateisystem durch localSrc identifiziert, Ziel innerhalb der DFS.

10.

copyFromLocal <localSrc> <dest>

Identisch mit -Setzen.

11.

moveFromLocal <localSrc> <dest>

Kopiert die Datei oder das Verzeichnis aus dem lokalen Dateisystem durch localSrc identifiziert innerhalb HDFS dest und löscht dann die lokale Kopie auf Erfolg.

12.

get [-crc] <src> <localDest>

Kopiert die Datei oder das Verzeichnis in HDFS identifiziert von src zu das lokale Dateisystempfad identifiziert durch lokal Ziel.

13.

getmerge <src> <localDest>

Ruft alle Dateien, die den Pfad src in HDFS entsprechen, und kopiert sie auf eine einzige, zusammengeführt Datei im lokalen Dateisystem durch lokal Ziel identifiziert.

14.

cat <filen-ame>

Zeigt den Inhalt der Dateiname auf die Standardausgabe.

15.

copyToLocal <src> <localDest>

Identisch zum bekommen.

16.

moveToLocal <src> <localDest>

Funktioniert wie -get, aber löscht die HDFS kopieren auf Erfolg.

17.

mkdir <path>

Erstellt ein Verzeichnis mit dem Namen Pfad in HDFS.

Erzeugt jeder übergeordnete Verzeichnisse im Pfad, die fehlen (zB mkdir -p in Linux).

18.

setrep [-R] [-w] rep <path>

Setzt die Zielreplikationsfaktor für Dateien identifiziert nach Pfad zu rep.(Die tatsächliche Replikationsfaktor wird zu das Ziel im Laufe der Zeit zu bewegen)

19.

touchz <path>

Erstellt eine Datei auf Pfad haltige der aktuellen Zeit als Zeitstempel. Schlägt fehl, wenn eine Datei bereits existiert bei Pfad, es sei denn, die Datei ist bereits Größe 0.

20.

test -[ezd] <path>

Gibt 1 zurück, wenn der pfad existiert; die Länge Null hat; oder ein Verzeichnis ist oder 0 sonst.

21.

stat [format] <path>

Zum Drucken von Informationen über Pfad. Format ist eine Zeichenfolge welche übernehmen die Datei Größe in Blöcke (% b), Dateinamen (% n), Blockgröße (% o), Replikation (% r) und Änderungsdatum (% y,% Y).

22.

tail [-f] <file2name>

Zeigt den letzten 1 KB-Datei auf die Standardausgabe.

23.

chmod [-R] mode,mode,,... <path>...

Ändert die Dateiberechtigungen mit einem oder mehreren Objekten durch Pfad identifiziert verbunden .... Führt Änderungen rekursiv mit R.-Modus ist ein 3-stelliger oktaler-Modus, oder {augo} +/- {rwxX}. geht davon aus, wenn kein Geltungsbereich ist festgelegt und gelten weder ein umask.

24.

chown [-R] [owner][:[group]]<path>...

Legt die besitzende Benutzer und / oder Gruppen für Dateien oder Verzeichnisse identifiziert von Pfad .... Setzt Besitzer rekursiv, wenn -R angegeben ist.

25.

chgrp [-R] group <path>...

Legt die Eigentümergruppe für Dateien oder Verzeichnisse identifiziert von Pfad .... Legt Gruppe rekursiv, wenn -R angegeben ist.

26.

help <cmd-name>

Retouren Verwendung Informationen für eine der oben aufgeführten Befehle. Sie müssen die führenden weglassen "-" Zeichen im cmd.

Advertisements