Hadoop MapReduce YARN Befehle

Mit „yarn –help“ lassen sich die verfübaren YARN Commandos anzeigen.

Einen MapReduce Applikation/Job starten

mit „hadoop jar <jar-datei-mit-der-applikation> <Main classname> <hdfs input Dir> <hdfs outputDir>„
oder alternaativ mit „yarn jar <jar-datei-mit-der-applikation> <Main classname>„ wird ein Job gestartet.

Bei der Grundinstallation sind einige Beispiel Applikationen dabei, mit denen auch gut das Cluster nach der Installation getestet werden kann.

cd $HADOOP_HOME/share/hadoop/mapreduce
 
#see all examples
yarn jar hadoop-mapreduce-examples-2.4.1.jar
 
 
#Starten:
# pi: A map/reduce program that estimates Pi using a quasi-Monte Carlo method.
 
yarn jar hadoop-mapreduce-examples-2.4.1.jar pi 1 1 
 
# mit daten in dfs 
# randomwriter: A map/reduce program that writes 10GB of random data per node.
 
yarn jar hadoop-mapreduce-examples-2.4.1.jar randomwriter random-data
 
 
..
Job started: Sun Aug 10 14:28:05 CEST 2014
..
..
 
14/08/10 14:28:08 INFO mapreduce.Job: Running job: job_1407602714166_0003

siehe auch als Beispiel: http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1-latest/bk_using-apache-hadoop/content/running_mapreduce_examples_on_yarn.html

Die MapReduce Applikation/Job auflisten

Mit „yarn application -list“ aktuell laufende Jobs auflisten lassen:

yarn application -list
...
 
 Application-Id      Application-Name        Application-Type          User           Queue                   State             Final-State             Progress                        Tracking-URL
 
application_1407602714166_0002     Sqoop: GPI AUDIT2               MAPREDUCE        hadoop         default                ACCEPTED               UNDEFINED                   0%                                 N/A

Hier sollte nun der Job auch erfolgreich durchlaufen UND nicht im Status „ACCEPTED“ hängen bleiben.

Die MapReduce Applikation/Job beenden

Mit „yarn application -kill <job-id>“ läst sich ein laufender Job beenden.