Benutzer-Werkzeuge

Webseiten-Werkzeuge


nosql:mapreduce_hadoop_20_yarn

Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

Link zu dieser Vergleichsansicht

Beide Seiten der vorigen Revision Vorhergehende Überarbeitung
nosql:mapreduce_hadoop_20_yarn [2014/08/24 17:24]
gpipperr
nosql:mapreduce_hadoop_20_yarn [2014/08/24 17:30] (aktuell)
gpipperr
Zeile 1: Zeile 1:
 +====== Hadoop MapReduce YARN Befehle ======
 +
 +
 +Mit "yarn --help" lassen sich die verfübaren YARN Commandos anzeigen.
 +
 +
 +
 +=== Einen MapReduce Applikation/Job starten===
 +
 +
 +mit **"hadoop jar <jar-datei-mit-der-applikation> <Main classname> <hdfs input Dir> <hdfs outputDir>"** 
 +\\
 +oder alternaativ mit **"yarn jar <jar-datei-mit-der-applikation> <Main classname>"** wird ein Job gestartet.
 +
 +Bei der Grundinstallation sind einige Beispiel Applikationen dabei, mit denen auch gut das Cluster nach der Installation getestet werden kann.
 +
 +<code bash>
 +
 +cd $HADOOP_HOME/share/hadoop/mapreduce
 +
 +#see all examples
 +yarn jar hadoop-mapreduce-examples-2.4.1.jar
 +
 +
 +#Starten:
 +# pi: A map/reduce program that estimates Pi using a quasi-Monte Carlo method.
 +
 +yarn jar hadoop-mapreduce-examples-2.4.1.jar pi 1 1 
 +
 +# mit daten in dfs 
 +# randomwriter: A map/reduce program that writes 10GB of random data per node.
 +
 +yarn jar hadoop-mapreduce-examples-2.4.1.jar randomwriter random-data
 +
 +
 +..
 +Job started: Sun Aug 10 14:28:05 CEST 2014
 +..
 +..
 +
 +14/08/10 14:28:08 INFO mapreduce.Job: Running job: job_1407602714166_0003
 +
 +</code>
 +
 +siehe auch als Beispiel: http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1-latest/bk_using-apache-hadoop/content/running_mapreduce_examples_on_yarn.html
 +
 +
 +
 +
 +=== Die MapReduce Applikation/Job auflisten ===
 +
 +Mit "yarn application -list" aktuell laufende Jobs auflisten lassen:
 +
 +<code bash>
 +yarn application -list
 +...
 +
 + Application-Id      Application-Name        Application-Type          User           Queue                   State             Final-State             Progress                        Tracking-URL
 +
 +application_1407602714166_0002     Sqoop: GPI AUDIT2               MAPREDUCE        hadoop         default                ACCEPTED               UNDEFINED                   0%                                 N/A
 +
 +
 +</code>
 +
 +Hier sollte nun der Job auch erfolgreich durchlaufen UND nicht im Status "ACCEPTED" hängen bleiben.
 +
 +
 +
 +=== Die MapReduce Applikation/Job beenden===
 +
 +Mit "yarn application -kill <job-id>" läst sich ein laufender Job beenden.
 +
 +
 +
  
"Autor: Gunther Pipperr"
nosql/mapreduce_hadoop_20_yarn.txt · Zuletzt geändert: 2014/08/24 17:30 von gpipperr