Benutzer-Werkzeuge

Webseiten-Werkzeuge


nosql:mapreduce_hadoop_20_yarn

Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

Link zu dieser Vergleichsansicht

Beide Seiten der vorigen RevisionVorhergehende Überarbeitung
Nächste Überarbeitung
Vorhergehende Überarbeitung
nosql:mapreduce_hadoop_20_yarn [2014/08/24 17:20] gpipperrnosql:mapreduce_hadoop_20_yarn [2014/08/24 17:30] (aktuell) gpipperr
Zeile 2: Zeile 2:
  
  
-=== Ein MapReduce Applikation/Job starten===+Mit "yarn --help" lassen sich die verfübaren YARN Commandos anzeigen.
  
  
-mit **"hadoop jar <jar-datei-mit-der-applikation> <Main classname> <hdfs input Dir> <hdfs outputDir>"** oder alternaativ mit **"yarn jar <jar-datei-mit-der-applikation> <Main classname>"** wird ein Job gestartet.+ 
 +=== Einen MapReduce Applikation/Job starten=== 
 + 
 + 
 +mit **"hadoop jar <jar-datei-mit-der-applikation> <Main classname> <hdfs input Dir> <hdfs outputDir>"**  
 +\\ 
 +oder alternaativ mit **"yarn jar <jar-datei-mit-der-applikation> <Main classname>"** wird ein Job gestartet.
  
 Bei der Grundinstallation sind einige Beispiel Applikationen dabei, mit denen auch gut das Cluster nach der Installation getestet werden kann. Bei der Grundinstallation sind einige Beispiel Applikationen dabei, mit denen auch gut das Cluster nach der Installation getestet werden kann.
Zeile 36: Zeile 42:
  
 </code> </code>
 +
 +siehe auch als Beispiel: http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1-latest/bk_using-apache-hadoop/content/running_mapreduce_examples_on_yarn.html
 +
 +
 +
 +
 +=== Die MapReduce Applikation/Job auflisten ===
  
 Mit "yarn application -list" aktuell laufende Jobs auflisten lassen: Mit "yarn application -list" aktuell laufende Jobs auflisten lassen:
Zeile 52: Zeile 65:
 Hier sollte nun der Job auch erfolgreich durchlaufen UND nicht im Status "ACCEPTED" hängen bleiben. Hier sollte nun der Job auch erfolgreich durchlaufen UND nicht im Status "ACCEPTED" hängen bleiben.
  
-siehe auch als Beispiel: http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1-latest/bk_using-apache-hadoop/content/running_mapreduce_examples_on_yarn.html 
  
 +
 +=== Die MapReduce Applikation/Job beenden===
 +
 +Mit "yarn application -kill <job-id>" läst sich ein laufender Job beenden.
  
  
  
  
nosql/mapreduce_hadoop_20_yarn.txt · Zuletzt geändert: 2014/08/24 17:30 von gpipperr