Benutzer-Werkzeuge

Webseiten-Werkzeuge


nosql:mapreduce_hadoop_20_yarn

Hadoop MapReduce YARN Befehle

Mit „yarn –help“ lassen sich die verfübaren YARN Commandos anzeigen.

Einen MapReduce Applikation/Job starten

mit „hadoop jar <jar-datei-mit-der-applikation> <Main classname> <hdfs input Dir> <hdfs outputDir>„
oder alternaativ mit „yarn jar <jar-datei-mit-der-applikation> <Main classname>„ wird ein Job gestartet.

Bei der Grundinstallation sind einige Beispiel Applikationen dabei, mit denen auch gut das Cluster nach der Installation getestet werden kann.

cd $HADOOP_HOME/share/hadoop/mapreduce
 
#see all examples
yarn jar hadoop-mapreduce-examples-2.4.1.jar
 
 
#Starten:
# pi: A map/reduce program that estimates Pi using a quasi-Monte Carlo method.
 
yarn jar hadoop-mapreduce-examples-2.4.1.jar pi 1 1 
 
# mit daten in dfs 
# randomwriter: A map/reduce program that writes 10GB of random data per node.
 
yarn jar hadoop-mapreduce-examples-2.4.1.jar randomwriter random-data
 
 
..
Job started: Sun Aug 10 14:28:05 CEST 2014
..
..
 
14/08/10 14:28:08 INFO mapreduce.Job: Running job: job_1407602714166_0003

siehe auch als Beispiel: http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1-latest/bk_using-apache-hadoop/content/running_mapreduce_examples_on_yarn.html

Die MapReduce Applikation/Job auflisten

Mit „yarn application -list“ aktuell laufende Jobs auflisten lassen:

yarn application -list
...
 
 Application-Id      Application-Name        Application-Type          User           Queue                   State             Final-State             Progress                        Tracking-URL
 
application_1407602714166_0002     Sqoop: GPI AUDIT2               MAPREDUCE        hadoop         default                ACCEPTED               UNDEFINED                   0%                                 N/A

Hier sollte nun der Job auch erfolgreich durchlaufen UND nicht im Status „ACCEPTED“ hängen bleiben.

Die MapReduce Applikation/Job beenden

Mit „yarn application -kill <job-id>“ läst sich ein laufender Job beenden.

Cookies helfen bei der Bereitstellung von Inhalten. Durch die Nutzung dieser Seiten erklären Sie sich damit einverstanden, dass Cookies auf Ihrem Rechner gespeichert werden. Weitere Information
"Autor: Gunther Pipperr"
nosql/mapreduce_hadoop_20_yarn.txt · Zuletzt geändert: 2014/08/24 17:30 von Gunther Pippèrr