Benutzer-Werkzeuge

Webseiten-Werkzeuge


nosql:hdfs_hadoop_20

Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

Link zu dieser Vergleichsansicht

Beide Seiten der vorigen Revision Vorhergehende Überarbeitung
nosql:hdfs_hadoop_20 [2014/08/23 19:21]
gpipperr [Hadoop HDFS 2.0 File System (FS) Shell]
nosql:hdfs_hadoop_20 [2014/09/24 13:37] (aktuell)
gpipperr [Hadoop HDFS 2.0 File System (FS) Shell]
Zeile 1: Zeile 1:
 +====== Hadoop HDFS 2.0 File System (FS) Shell ======
  
 +
 +
 +Die Befehle um mit dem HDFS zu arbeiten lehnen sich stark an die gewohnte Unix Syntax an.
 +
 +
 +Die Befehle können über drei Wege aufgrufen werden:
 +
 +  * hadoop fs {args}
 +  * hadoop dfs {args} => "DEPRECATED: Use of this script to execute hdfs command is deprecated"
 +  * hdfs dfs {args}
 +
 +
 +
 +^Kommando^Beispiel^Erläuterung^
 +| -help|hdfs dfs -help|Hife über alle möglichen Befehle|
 +| -ls <pfad> |hdfs dfs -ls /usr | Inhalt eines Verzeichnisses anzeigen lassen - mit Schalter -h Größe formatiert|
 +| -count <pfad> |hdfs dfs -count  /    | Zähle alle Elemente unter einen Pfad
 +| -mkdir <pfad>|hdfs dfs -mkdir /user/oracle/gpi | lege ein Verzeichnis an|
 +| -cp <quell> <ziel>|hdfs dfs -cp test2 test3 | Kopieren im HDFS (ohne Pfadangabe im User Home)|
 +| -rm |hdfs dfs -rm test3 | Löschen eine Datei |
 +| -mv |hdfs dfs -mv test2 test3 | Verschiebe/Nennen eine Datei um|
 +| -get |hdfs dfs -get  test3  | hole ein Datei aus dem HDFS (ohne Pfadangabe mit den jeweiligen User Home im HDFS und OS|
 +| -copyToLocal |hdfs dfs -copyToLocal test2 | Kopiere in das lokale Filesystem|
 +| -put |hdfs dfs -put  test2 test4 | Kopiere eine lokale Datei in des HDFS|
 +| -copyFromLocal |hdfs dfs -copyFromLocal | Kopiere eine lokale Datei in des HDFS|
 +| -cat |hdfs dfs -cat test4  | Zeige den Inhalt einer Datei auf dem HDFS an|
 +| -tail |hdfs dfs -tail  test4 | Tail auf eine Datei im HDFS|
 +
 +
 +
 +
 +
 +==== Weitere hilfreiche Befehle für das HDFS ====
 +
 +
 +=== Welche Version von Hadoop ist im Einsatz mit "hadoop version" ===
 +
 +<code bash>
 +hadoop version
 +..
 +Hadoop 2.3.0-cdh5.0.0
 +..
 +</code>
 +
 +=== Status / Füllgrade / Größe des HDFS über "hdfs  dfsadmin -report" ===
 +
 +Als HDFS superuser für mehr Details aufrufen!
 +
 +<code bash>
 +#normaler User 
 +hdfs  dfsadmin -report
 +
 +Configured Capacity: 105688002560 (98.43 GB)
 +Present Capacity: 100009517056 (93.14 GB)
 +DFS Remaining: 99477118976 (92.65 GB)
 +DFS Used: 532398080 (507.73 MB)
 +DFS Used%: 0.53%
 +Under replicated blocks: 2
 +Blocks with corrupt replicas: 0
 +Missing blocks: 0
 +
 +
 +-------------------------------------------------
 +report: Access denied for user root. Superuser privilege is required
 +
 +
 +
 +#superuser (Eigentümer HDFS)
 +
 +sudo -u hdfs hdfs  dfsadmin -report
 +
 +...
 +
 +Datanodes available: 1 (1 total, 0 dead)
 +
 +Live datanodes:
 +
 +....
 +
 +</code>
 +
 +
 +
 +
 +=== Falls das HDFS im "Savemode" läuft ===
 +
 +Im **Savemode** können keine Veränderungen an Blöcken durchgeführt werden, normalerweise beim Start des Clusters.
 +
 +Erkennen:
 +<code bash>
 +sudo -u hdfs hdfs  dfsadmin -safemode get
 +
 +Safe mode is OFF
 +</code>
 +
 +Einschalten:
 +<code bash>
 +sudo -u hdfs hdfs  dfsadmin -safemode enter 
 +</code>
 +
 +
 +Ausschalten:
 +<code bash>
 +sudo -u hdfs hdfs  dfsadmin -safemode leave 
 +</code>
 +
 +
 +
 +=== Filesystem überprüfen "hdfs  fsck /" ===
 +
 +Als HDFS superuser! 
 +<code bash>
 +sudo -u hdfs hdfs  fsck / -blocks -locations -files
 +</code>
 +
 +
 +
 +
 +====Quellen====
 +
 +  * http://hadoop.apache.org/docs/r2.4.0/hadoop-project-dist/hadoop-common/FileSystemShell.html
 +  * http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/CommandsManual.html
 + 
"Autor: Gunther Pipperr"
nosql/hdfs_hadoop_20.txt · Zuletzt geändert: 2014/09/24 13:37 von gpipperr