Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

--- nosql:hdfs_hadoop_20 [2014/08/23 19:21] – [Hadoop HDFS 2.0 File System (FS) Shell] gpipperr
+++ nosql:hdfs_hadoop_20 [2014/09/24 13:37] (aktuell) – [Hadoop HDFS 2.0 File System (FS) Shell] gpipperr
@@ Zeile 1: / Zeile 1: @@
+====== Hadoop HDFS 2.0 File System (FS) Shell ======
+Die Befehle um mit dem HDFS zu arbeiten lehnen sich stark an die gewohnte Unix Syntax an.
+Die Befehle können über drei Wege aufgrufen werden:
+  * hadoop fs {args}
+  * hadoop dfs {args} => "DEPRECATED: Use of this script to execute hdfs command is deprecated"
+  * hdfs dfs {args}
+^Kommando^Beispiel^Erläuterung^
+| -help|hdfs dfs -help|Hife über alle möglichen Befehle|
+| -ls <pfad> |hdfs dfs -ls /usr | Inhalt eines Verzeichnisses anzeigen lassen - mit Schalter -h Größe formatiert|
+| -count <pfad> |hdfs dfs -count  /    | Zähle alle Elemente unter einen Pfad
+| -mkdir <pfad>|hdfs dfs -mkdir /user/oracle/gpi | lege ein Verzeichnis an|
+| -cp <quell> <ziel>|hdfs dfs -cp test2 test3 | Kopieren im HDFS (ohne Pfadangabe im User Home)|
+| -rm |hdfs dfs -rm test3 | Löschen eine Datei |
+| -mv |hdfs dfs -mv test2 test3 | Verschiebe/Nennen eine Datei um|
+| -get |hdfs dfs -get  test3  | hole ein Datei aus dem HDFS (ohne Pfadangabe mit den jeweiligen User Home im HDFS und OS|
+| -copyToLocal |hdfs dfs -copyToLocal test2 | Kopiere in das lokale Filesystem|
+| -put |hdfs dfs -put  test2 test4 | Kopiere eine lokale Datei in des HDFS|
+| -copyFromLocal |hdfs dfs -copyFromLocal | Kopiere eine lokale Datei in des HDFS|
+| -cat |hdfs dfs -cat test4  | Zeige den Inhalt einer Datei auf dem HDFS an|
+| -tail |hdfs dfs -tail  test4 | Tail auf eine Datei im HDFS|
+==== Weitere hilfreiche Befehle für das HDFS ====
+=== Welche Version von Hadoop ist im Einsatz mit "hadoop version" ===
+<code bash>
+hadoop version
+..
+Hadoop 2.3.0-cdh5.0.0
+..
+</code>
+=== Status / Füllgrade / Größe des HDFS über "hdfs  dfsadmin -report" ===
+Als HDFS superuser für mehr Details aufrufen!
+<code bash>
+#normaler User
+hdfs  dfsadmin -report
+Configured Capacity: 105688002560 (98.43 GB)
+Present Capacity: 100009517056 (93.14 GB)
+DFS Remaining: 99477118976 (92.65 GB)
+DFS Used: 532398080 (507.73 MB)
+DFS Used%: 0.53%
+Under replicated blocks: 2
+Blocks with corrupt replicas: 0
+Missing blocks: 0
+-------------------------------------------------
+report: Access denied for user root. Superuser privilege is required
+#superuser (Eigentümer HDFS)
+sudo -u hdfs hdfs  dfsadmin -report
+...
+Datanodes available: 1 (1 total, 0 dead)
+Live datanodes:
+....
+</code>
+=== Falls das HDFS im "Savemode" läuft ===
+Im **Savemode** können keine Veränderungen an Blöcken durchgeführt werden, normalerweise beim Start des Clusters.
+Erkennen:
+<code bash>
+sudo -u hdfs hdfs  dfsadmin -safemode get
+Safe mode is OFF
+</code>
+Einschalten:
+<code bash>
+sudo -u hdfs hdfs  dfsadmin -safemode enter
+</code>
+Ausschalten:
+<code bash>
+sudo -u hdfs hdfs  dfsadmin -safemode leave
+</code>
+=== Filesystem überprüfen "hdfs  fsck /" ===
+Als HDFS superuser!
+<code bash>
+sudo -u hdfs hdfs  fsck / -blocks -locations -files
+</code>
+====Quellen====
+  * http://hadoop.apache.org/docs/r2.4.0/hadoop-project-dist/hadoop-common/FileSystemShell.html
+  * http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/CommandsManual.html