Gunther Oracle APEX und Datenbank Wiki

Diese Seite ist nicht editierbar. Sie können den Quelltext sehen, jedoch nicht verändern. Kontaktieren Sie den Administrator, wenn Sie glauben, dass hier ein Fehler vorliegt.
====== Hadoop HDFS 2.0 File System (FS) Shell ======



Die Befehle um mit dem HDFS zu arbeiten lehnen sich stark an die gewohnte Unix Syntax an.


Die Befehle können über drei Wege aufgrufen werden:

  * hadoop fs {args}
  * hadoop dfs {args} => "DEPRECATED: Use of this script to execute hdfs command is deprecated"
  * hdfs dfs {args}



^Kommando^Beispiel^Erläuterung^
| -help|hdfs dfs -help|Hife über alle möglichen Befehle|
| -ls <pfad> |hdfs dfs -ls /usr | Inhalt eines Verzeichnisses anzeigen lassen - mit Schalter -h Größe formatiert|
| -count <pfad> |hdfs dfs -count  /    | Zähle alle Elemente unter einen Pfad
| -mkdir <pfad>|hdfs dfs -mkdir /user/oracle/gpi | lege ein Verzeichnis an|
| -cp <quell> <ziel>|hdfs dfs -cp test2 test3 | Kopieren im HDFS (ohne Pfadangabe im User Home)|
| -rm |hdfs dfs -rm test3 | Löschen eine Datei |
| -mv |hdfs dfs -mv test2 test3 | Verschiebe/Nennen eine Datei um|
| -get |hdfs dfs -get  test3  | hole ein Datei aus dem HDFS (ohne Pfadangabe mit den jeweiligen User Home im HDFS und OS|
| -copyToLocal |hdfs dfs -copyToLocal test2 | Kopiere in das lokale Filesystem|
| -put |hdfs dfs -put  test2 test4 | Kopiere eine lokale Datei in des HDFS|
| -copyFromLocal |hdfs dfs -copyFromLocal | Kopiere eine lokale Datei in des HDFS|
| -cat |hdfs dfs -cat test4  | Zeige den Inhalt einer Datei auf dem HDFS an|
| -tail |hdfs dfs -tail  test4 | Tail auf eine Datei im HDFS|





==== Weitere hilfreiche Befehle für das HDFS ====


=== Welche Version von Hadoop ist im Einsatz mit "hadoop version" ===

<code bash>
hadoop version
..
Hadoop 2.3.0-cdh5.0.0
..
</code>

=== Status / Füllgrade / Größe des HDFS über "hdfs  dfsadmin -report" ===

Als HDFS superuser für mehr Details aufrufen!

<code bash>
#normaler User 
hdfs  dfsadmin -report

Configured Capacity: 105688002560 (98.43 GB)
Present Capacity: 100009517056 (93.14 GB)
DFS Remaining: 99477118976 (92.65 GB)
DFS Used: 532398080 (507.73 MB)
DFS Used%: 0.53%
Under replicated blocks: 2
Blocks with corrupt replicas: 0
Missing blocks: 0


-------------------------------------------------
report: Access denied for user root. Superuser privilege is required



#superuser (Eigentümer HDFS)

sudo -u hdfs hdfs  dfsadmin -report

...

Datanodes available: 1 (1 total, 0 dead)

Live datanodes:

....

</code>




=== Falls das HDFS im "Savemode" läuft ===

Im **Savemode** können keine Veränderungen an Blöcken durchgeführt werden, normalerweise beim Start des Clusters.

Erkennen:
<code bash>
sudo -u hdfs hdfs  dfsadmin -safemode get

Safe mode is OFF
</code>

Einschalten:
<code bash>
sudo -u hdfs hdfs  dfsadmin -safemode enter 
</code>


Ausschalten:
<code bash>
sudo -u hdfs hdfs  dfsadmin -safemode leave 
</code>



=== Filesystem überprüfen "hdfs  fsck /" ===

Als HDFS superuser! 
<code bash>
sudo -u hdfs hdfs  fsck / -blocks -locations -files
</code>




====Quellen====

  * http://hadoop.apache.org/docs/r2.4.0/hadoop-project-dist/hadoop-common/FileSystemShell.html
  * http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/CommandsManual.html