nosql:hadoop_connect_hdfs_fuse
Unterschiede
Hier werden die Unterschiede zwischen zwei Versionen angezeigt.
Beide Seiten der vorigen RevisionVorhergehende Überarbeitung | |||
nosql:hadoop_connect_hdfs_fuse [2014/09/13 10:50] – [Hadoop HDFS mit Apache Fuse als normales Filesystem mounten] gpipperr | nosql:hadoop_connect_hdfs_fuse [2014/09/13 11:05] (aktuell) – [Hadoop HDFS mit Apache Fuse als normales Filesystem mounten] gpipperr | ||
---|---|---|---|
Zeile 1: | Zeile 1: | ||
+ | ====Hadoop HDFS mit Apache Fuse als " | ||
+ | Mit dem [[http:// | ||
+ | |||
+ | === Installation === | ||
+ | |||
+ | **Voraussetzung: | ||
+ | Installierter Hadoop Client mit einer vollständigen Konfiguration um auf dem Cluster zuzugreifen. | ||
+ | \\ | ||
+ | |||
+ | Passendes Packet kann hier gefunden werden: http:// | ||
+ | \\ | ||
+ | |||
+ | Bei Cloudera ist es bereits dabei: | ||
+ | <code bash> | ||
+ | #als root | ||
+ | yum install hadoop-hdfs-fuse.x86_6 | ||
+ | </ | ||
+ | |||
+ | === Mounten === | ||
+ | |||
+ | Mit dem Befehl < | ||
+ | <code bash> | ||
+ | cat | ||
+ | # als root | ||
+ | |||
+ | # Konfiguration auslesen | ||
+ | cat / | ||
+ | |||
+ | # Mounten | ||
+ | hadoop-fuse-dfs hdfs:// | ||
+ | </ | ||
+ | |||
+ | ===Test === | ||
+ | |||
+ | Der Test findet auf einer Cloudera VM mit relativ wenig Daten statt. | ||
+ | |||
+ | <code bash> | ||
+ | #Daten: | ||
+ | du . -h | ||
+ | 150MB | ||
+ | |||
+ | # | ||
+ | #Kopieren mit " | ||
+ | # | ||
+ | |||
+ | time cp *.* / | ||
+ | |||
+ | real 0m34.698s | ||
+ | user 0m0.017s | ||
+ | sys | ||
+ | |||
+ | # | ||
+ | #Kopieren mit hdfs dfs | ||
+ | # | ||
+ | time hdfs dfs -put *.* / | ||
+ | |||
+ | real 0m20.413s | ||
+ | user 0m9.473s | ||
+ | sys | ||
+ | |||
+ | </ | ||
+ | |||
+ | Damit ist "hdfs dfs" um ein gutes Drittel schneller beim Laden von Daten. | ||
+ | |||
+ | Auch fällt auf das " | ||
+ | |||
+ | |||
+ | |||
+ | ==== Quellen ==== | ||
+ | |||
+ | * https:// |
nosql/hadoop_connect_hdfs_fuse.txt · Zuletzt geändert: 2014/09/13 11:05 von gpipperr