nosql:mapreduce_hadoop_20_yarn
Unterschiede
Hier werden die Unterschiede zwischen zwei Versionen angezeigt.
Beide Seiten der vorigen RevisionVorhergehende Überarbeitung | |||
nosql:mapreduce_hadoop_20_yarn [2014/08/24 17:24] – gpipperr | nosql:mapreduce_hadoop_20_yarn [2014/08/24 17:30] (aktuell) – gpipperr | ||
---|---|---|---|
Zeile 1: | Zeile 1: | ||
+ | ====== Hadoop MapReduce YARN Befehle ====== | ||
+ | |||
+ | |||
+ | Mit "yarn --help" | ||
+ | |||
+ | |||
+ | |||
+ | === Einen MapReduce Applikation/ | ||
+ | |||
+ | |||
+ | mit **" | ||
+ | \\ | ||
+ | oder alternaativ mit **" | ||
+ | |||
+ | Bei der Grundinstallation sind einige Beispiel Applikationen dabei, mit denen auch gut das Cluster nach der Installation getestet werden kann. | ||
+ | |||
+ | <code bash> | ||
+ | |||
+ | cd $HADOOP_HOME/ | ||
+ | |||
+ | #see all examples | ||
+ | yarn jar hadoop-mapreduce-examples-2.4.1.jar | ||
+ | |||
+ | |||
+ | #Starten: | ||
+ | # pi: A map/reduce program that estimates Pi using a quasi-Monte Carlo method. | ||
+ | |||
+ | yarn jar hadoop-mapreduce-examples-2.4.1.jar pi 1 1 | ||
+ | |||
+ | # mit daten in dfs | ||
+ | # randomwriter: | ||
+ | |||
+ | yarn jar hadoop-mapreduce-examples-2.4.1.jar randomwriter random-data | ||
+ | |||
+ | |||
+ | .. | ||
+ | Job started: Sun Aug 10 14:28:05 CEST 2014 | ||
+ | .. | ||
+ | .. | ||
+ | |||
+ | 14/08/10 14:28:08 INFO mapreduce.Job: | ||
+ | |||
+ | </ | ||
+ | |||
+ | siehe auch als Beispiel: http:// | ||
+ | |||
+ | |||
+ | |||
+ | |||
+ | === Die MapReduce Applikation/ | ||
+ | |||
+ | Mit "yarn application -list" aktuell laufende Jobs auflisten lassen: | ||
+ | |||
+ | <code bash> | ||
+ | yarn application -list | ||
+ | ... | ||
+ | |||
+ | | ||
+ | |||
+ | application_1407602714166_0002 | ||
+ | |||
+ | |||
+ | </ | ||
+ | |||
+ | Hier sollte nun der Job auch erfolgreich durchlaufen UND nicht im Status " | ||
+ | |||
+ | |||
+ | |||
+ | === Die MapReduce Applikation/ | ||
+ | |||
+ | Mit "yarn application -kill < | ||
+ | |||
+ | |||
+ | |||
nosql/mapreduce_hadoop_20_yarn.txt · Zuletzt geändert: 2014/08/24 17:30 von gpipperr