Gunther Oracle APEX und Datenbank Wiki

Diese Seite ist nicht editierbar. Sie können den Quelltext sehen, jedoch nicht verändern. Kontaktieren Sie den Administrator, wenn Sie glauben, dass hier ein Fehler vorliegt.
====== Hadoop MapReduce YARN Befehle ======


Mit "yarn --help" lassen sich die verfübaren YARN Commandos anzeigen.



=== Einen MapReduce Applikation/Job starten===


mit **"hadoop jar <jar-datei-mit-der-applikation> <Main classname> <hdfs input Dir> <hdfs outputDir>"** 
\\
oder alternaativ mit **"yarn jar <jar-datei-mit-der-applikation> <Main classname>"** wird ein Job gestartet.

Bei der Grundinstallation sind einige Beispiel Applikationen dabei, mit denen auch gut das Cluster nach der Installation getestet werden kann.

<code bash>

cd $HADOOP_HOME/share/hadoop/mapreduce

#see all examples
yarn jar hadoop-mapreduce-examples-2.4.1.jar


#Starten:
# pi: A map/reduce program that estimates Pi using a quasi-Monte Carlo method.

yarn jar hadoop-mapreduce-examples-2.4.1.jar pi 1 1 

# mit daten in dfs 
# randomwriter: A map/reduce program that writes 10GB of random data per node.

yarn jar hadoop-mapreduce-examples-2.4.1.jar randomwriter random-data


..
Job started: Sun Aug 10 14:28:05 CEST 2014
..
..

14/08/10 14:28:08 INFO mapreduce.Job: Running job: job_1407602714166_0003

</code>

siehe auch als Beispiel: http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1-latest/bk_using-apache-hadoop/content/running_mapreduce_examples_on_yarn.html




=== Die MapReduce Applikation/Job auflisten ===

Mit "yarn application -list" aktuell laufende Jobs auflisten lassen:

<code bash>
yarn application -list
...

 Application-Id      Application-Name        Application-Type          User           Queue                   State             Final-State             Progress                        Tracking-URL

application_1407602714166_0002     Sqoop: GPI AUDIT2               MAPREDUCE        hadoop         default                ACCEPTED               UNDEFINED                   0%                                 N/A


</code>

Hier sollte nun der Job auch erfolgreich durchlaufen UND nicht im Status "ACCEPTED" hängen bleiben.



=== Die MapReduce Applikation/Job beenden===

Mit "yarn application -kill <job-id>" läst sich ein laufender Job beenden.