Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

--- nosql:mapreduce_hadoop_20_yarn [2014/08/24 17:20] – gpipperr
+++ nosql:mapreduce_hadoop_20_yarn [2014/08/24 17:21] – gpipperr
@@ Zeile 1: / Zeile 1: @@
-====== Hadoop MapReduce YARN Befehle ======
-=== Ein MapReduce Applikation/Job starten===
-mit **"hadoop jar <jar-datei-mit-der-applikation> <Main classname> <hdfs input Dir> <hdfs outputDir>"** oder alternaativ mit **"yarn jar <jar-datei-mit-der-applikation> <Main classname>"** wird ein Job gestartet.
-Bei der Grundinstallation sind einige Beispiel Applikationen dabei, mit denen auch gut das Cluster nach der Installation getestet werden kann.
-<code bash>
-cd $HADOOP_HOME/share/hadoop/mapreduce
-#see all examples
-yarn jar hadoop-mapreduce-examples-2.4.1.jar
-#Starten:
-# pi: A map/reduce program that estimates Pi using a quasi-Monte Carlo method.
-yarn jar hadoop-mapreduce-examples-2.4.1.jar pi 1 1
-# mit daten in dfs
-# randomwriter: A map/reduce program that writes 10GB of random data per node.
-yarn jar hadoop-mapreduce-examples-2.4.1.jar randomwriter random-data
-..
-Job started: Sun Aug 10 14:28:05 CEST 2014
-..
-..
-/08/10 14:28:08 INFO mapreduce.Job: Running job: job_1407602714166_0003
-</code>
-Mit "yarn application -list" aktuell laufende Jobs auflisten lassen:
-<code bash>
-yarn application -list
-...
- Application-Id      Application-Name        Application-Type          User           Queue                   State             Final-State             Progress                        Tracking-URL
-application_1407602714166_0002     Sqoop: GPI AUDIT2               MAPREDUCE        hadoop         default                ACCEPTED               UNDEFINED                   0%                                 N/A
-</code>
-Hier sollte nun der Job auch erfolgreich durchlaufen UND nicht im Status "ACCEPTED" hängen bleiben.
-siehe auch als Beispiel: http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1-latest/bk_using-apache-hadoop/content/running_mapreduce_examples_on_yarn.html