nosql:hdfs_hadoop_20
Unterschiede
Hier werden die Unterschiede zwischen zwei Versionen angezeigt.
Beide Seiten der vorigen RevisionVorhergehende Überarbeitung | |||
nosql:hdfs_hadoop_20 [2014/08/23 19:21] – [Hadoop HDFS 2.0 File System (FS) Shell] gpipperr | nosql:hdfs_hadoop_20 [2014/09/24 13:37] (aktuell) – [Hadoop HDFS 2.0 File System (FS) Shell] gpipperr | ||
---|---|---|---|
Zeile 1: | Zeile 1: | ||
+ | ====== Hadoop HDFS 2.0 File System (FS) Shell ====== | ||
+ | |||
+ | |||
+ | Die Befehle um mit dem HDFS zu arbeiten lehnen sich stark an die gewohnte Unix Syntax an. | ||
+ | |||
+ | |||
+ | Die Befehle können über drei Wege aufgrufen werden: | ||
+ | |||
+ | * hadoop fs {args} | ||
+ | * hadoop dfs {args} => " | ||
+ | * hdfs dfs {args} | ||
+ | |||
+ | |||
+ | |||
+ | ^Kommando^Beispiel^Erläuterung^ | ||
+ | | -help|hdfs dfs -help|Hife über alle möglichen Befehle| | ||
+ | | -ls < | ||
+ | | -count < | ||
+ | | -mkdir < | ||
+ | | -cp < | ||
+ | | -rm |hdfs dfs -rm test3 | Löschen eine Datei | | ||
+ | | -mv |hdfs dfs -mv test2 test3 | Verschiebe/ | ||
+ | | -get |hdfs dfs -get test3 | hole ein Datei aus dem HDFS (ohne Pfadangabe mit den jeweiligen User Home im HDFS und OS| | ||
+ | | -copyToLocal |hdfs dfs -copyToLocal test2 | Kopiere in das lokale Filesystem| | ||
+ | | -put |hdfs dfs -put test2 test4 | Kopiere eine lokale Datei in des HDFS| | ||
+ | | -copyFromLocal |hdfs dfs -copyFromLocal | Kopiere eine lokale Datei in des HDFS| | ||
+ | | -cat |hdfs dfs -cat test4 | Zeige den Inhalt einer Datei auf dem HDFS an| | ||
+ | | -tail |hdfs dfs -tail test4 | Tail auf eine Datei im HDFS| | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | |||
+ | ==== Weitere hilfreiche Befehle für das HDFS ==== | ||
+ | |||
+ | |||
+ | === Welche Version von Hadoop ist im Einsatz mit " | ||
+ | |||
+ | <code bash> | ||
+ | hadoop version | ||
+ | .. | ||
+ | Hadoop 2.3.0-cdh5.0.0 | ||
+ | .. | ||
+ | </ | ||
+ | |||
+ | === Status / Füllgrade / Größe des HDFS über " | ||
+ | |||
+ | Als HDFS superuser für mehr Details aufrufen! | ||
+ | |||
+ | <code bash> | ||
+ | #normaler User | ||
+ | hdfs dfsadmin -report | ||
+ | |||
+ | Configured Capacity: 105688002560 (98.43 GB) | ||
+ | Present Capacity: 100009517056 (93.14 GB) | ||
+ | DFS Remaining: 99477118976 (92.65 GB) | ||
+ | DFS Used: 532398080 (507.73 MB) | ||
+ | DFS Used%: 0.53% | ||
+ | Under replicated blocks: 2 | ||
+ | Blocks with corrupt replicas: 0 | ||
+ | Missing blocks: 0 | ||
+ | |||
+ | |||
+ | ------------------------------------------------- | ||
+ | report: Access denied for user root. Superuser privilege is required | ||
+ | |||
+ | |||
+ | |||
+ | #superuser (Eigentümer HDFS) | ||
+ | |||
+ | sudo -u hdfs hdfs dfsadmin -report | ||
+ | |||
+ | ... | ||
+ | |||
+ | Datanodes available: 1 (1 total, 0 dead) | ||
+ | |||
+ | Live datanodes: | ||
+ | |||
+ | .... | ||
+ | |||
+ | </ | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | === Falls das HDFS im " | ||
+ | |||
+ | Im **Savemode** können keine Veränderungen an Blöcken durchgeführt werden, normalerweise beim Start des Clusters. | ||
+ | |||
+ | Erkennen: | ||
+ | <code bash> | ||
+ | sudo -u hdfs hdfs dfsadmin -safemode get | ||
+ | |||
+ | Safe mode is OFF | ||
+ | </ | ||
+ | |||
+ | Einschalten: | ||
+ | <code bash> | ||
+ | sudo -u hdfs hdfs dfsadmin -safemode enter | ||
+ | </ | ||
+ | |||
+ | |||
+ | Ausschalten: | ||
+ | <code bash> | ||
+ | sudo -u hdfs hdfs dfsadmin -safemode leave | ||
+ | </ | ||
+ | |||
+ | |||
+ | |||
+ | === Filesystem überprüfen " | ||
+ | |||
+ | Als HDFS superuser! | ||
+ | <code bash> | ||
+ | sudo -u hdfs hdfs fsck / -blocks -locations -files | ||
+ | </ | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | ====Quellen==== | ||
+ | |||
+ | * http:// | ||
+ | * http:// | ||
+ |
nosql/hdfs_hadoop_20.txt · Zuletzt geändert: 2014/09/24 13:37 von gpipperr