Benutzer-Werkzeuge

Webseiten-Werkzeuge


nosql:hdfs_hadoop_20

Hadoop HDFS 2.0 File System (FS) Shell

Die Befehle um mit dem HDFS zu arbeiten lehnen sich stark an die gewohnte Unix Syntax an.

Die Befehle können über drei Wege aufgrufen werden:

  • hadoop fs {args}
  • hadoop dfs {args} ⇒ „DEPRECATED: Use of this script to execute hdfs command is deprecated“
  • hdfs dfs {args}
KommandoBeispielErläuterung
-helphdfs dfs -helpHife über alle möglichen Befehle
-ls <pfad> hdfs dfs -ls /usr Inhalt eines Verzeichnisses anzeigen lassen - mit Schalter -h Größe formatiert
-count <pfad> hdfs dfs -count /
-mkdir <pfad>hdfs dfs -mkdir /user/oracle/gpi lege ein Verzeichnis an
-cp <quell> <ziel>hdfs dfs -cp test2 test3 Kopieren im HDFS (ohne Pfadangabe im User Home)
-rm hdfs dfs -rm test3 Löschen eine Datei
-mv hdfs dfs -mv test2 test3 Verschiebe/Nennen eine Datei um
-get hdfs dfs -get test3 hole ein Datei aus dem HDFS (ohne Pfadangabe mit den jeweiligen User Home im HDFS und OS
-copyToLocal hdfs dfs -copyToLocal test2 Kopiere in das lokale Filesystem
-put hdfs dfs -put test2 test4 Kopiere eine lokale Datei in des HDFS
-copyFromLocal hdfs dfs -copyFromLocal Kopiere eine lokale Datei in des HDFS
-cat hdfs dfs -cat test4 Zeige den Inhalt einer Datei auf dem HDFS an
-tail hdfs dfs -tail test4 Tail auf eine Datei im HDFS

Weitere hilfreiche Befehle für das HDFS

Welche Version von Hadoop ist im Einsatz mit "hadoop version"

hadoop version
..
Hadoop 2.3.0-cdh5.0.0
..

Status / Füllgrade / Größe des HDFS über "hdfs dfsadmin -report"

Als HDFS superuser für mehr Details aufrufen!

#normaler User 
hdfs  dfsadmin -report
 
Configured Capacity: 105688002560 (98.43 GB)
Present Capacity: 100009517056 (93.14 GB)
DFS Remaining: 99477118976 (92.65 GB)
DFS Used: 532398080 (507.73 MB)
DFS Used%: 0.53%
Under replicated blocks: 2
Blocks with corrupt replicas: 0
Missing blocks: 0
 
 
-------------------------------------------------
report: Access denied for user root. Superuser privilege is required
 
 
 
#superuser (Eigentümer HDFS)
 
sudo -u hdfs hdfs  dfsadmin -report
 
...
 
Datanodes available: 1 (1 total, 0 dead)
 
Live datanodes:
 
....

Falls das HDFS im "Savemode" läuft

Im Savemode können keine Veränderungen an Blöcken durchgeführt werden, normalerweise beim Start des Clusters.

Erkennen:

sudo -u hdfs hdfs  dfsadmin -safemode get
 
Safe mode is OFF

Einschalten:

sudo -u hdfs hdfs  dfsadmin -safemode enter 

Ausschalten:

sudo -u hdfs hdfs  dfsadmin -safemode leave 

Filesystem überprüfen "hdfs fsck /"

Als HDFS superuser!

sudo -u hdfs hdfs  fsck / -blocks -locations -files

Quellen

Cookies helfen bei der Bereitstellung von Inhalten. Durch die Nutzung dieser Seiten erklären Sie sich damit einverstanden, dass Cookies auf Ihrem Rechner gespeichert werden. Weitere Information
"Autor: Gunther Pipperr"
nosql/hdfs_hadoop_20.txt · Zuletzt geändert: 2014/09/24 13:37 von Gunther Pippèrr