educe
Zentrale Architektur Konzepte:
* "Shared Nothing" => Die Cluster Knoten sind voneinander unabhängig
* "Data locality" => Daten werden auf dem Knoten verarbeitet auf dem sich die Daten auch befinde... m zentralen Cluster Files System nach dem „Shared Nothing“ Prinzip und einem ausgeklügelten Batch Proce
FW Konfiguration plannen, falls FW zwischen den Knoten und der eigentlichen Anwendung
* Java auf den... reparieren]] !
Die Namensauflösung zwischen den Knoten prüfen und bei Bedarf die Namen in der hosts Da... FW Konfiguration plannen, falls FW zwischen den Knoten und der eigentlichen Anwendung ====
Soll eine ... der mit dem Store arbeiten soll, muss auf JEDEN Knoten des Store über den passenden Port zugreifen kön
qoop home directory: /usr/lib/sqoop2
Error: Could not find or load main class org.apache.sqoop.shell.Sq... ..
FAILED: ParseException line 3:10 character '#' not supported here
..
FAILED: ParseException line 2:6 cannot recognize input near '$' 'NAME' 'Text' in column ... aldomain:8020/tmp/auditGPI/_SUCCESS has 0 length. Not being included in dataset
Aug 30, 2014 6:22:22 PM
handelt, mit der Begründung „bei genügend Server Knoten kann ja bei einem Ausfall nichts passieren“, da... mten Stores erzeugen. Auf Basis dieser über alle Knoten konsistenten Snapshots kann ein echtes Backup K... e>) wird über den gesamten Store (d.h. über alle Knoten und alle Master und Replikas) ein Snapshot der ... napshots/<snapshot_name>/files sichern auf ALLEN Knoten sichern
* im Prinzip würden auch jeweilige
uster für den Einstieg in das Thema Hadoop als 3 Knoten Cluster aufsetzen.
Ablauf:
- Standard Linux... tzen
- Node 2 und 3 in das Cluster aufnehmen
<note tip>Erweiterung auf 3 Knoten in Arbeit</note>
==== Standard Linux Installation mit Java 8====
Je eine VM mit Oracle Linux 6.5
Einsatz von InfiniBand für die Kommunikation der Knoten untereinander. Jeder Datensatz muss schnellstmö... u halten.
Eine exakte gleiche Systemzeit aller Knoten des Store ist sehr wichtig, der NTP Service auf jeden Knoten ist mit größter Sorgfalt einzurichten um Ausfäl... Stores) damit auch die für die RMI Kommunikation notwendigen Ports zwischen Client und DB Knoten in de
le Kopien von einem Master über alle verfügbaren Knoten bzw. Storage Nodes verteilt werden sollen.
Zum... Einsatz von InfiniBand für die Kommunikation der Knoten untereinander. Jeder Datensatz muss schnellstmö... u halten.
Eine exakte gleiche Systemzeit aller Knoten des Store ist sehr wichtig, der NTP Service auf jeden Knoten ist mit größter Sorgfalt einzurichten um Ausfäl
====== Einen neuen Knoten zu einem Oracle NoSQL Store hinzufügen ======
Aufgabe: eine neue Maschine so... amit das erfolgreich durchlaufen kann MUSS jeder Knoten im Store einwandfrei mit RMI kommunizieren können!
Logfiles aller Knoten prüfen, dass keine RMI Exceptiones beim Start der Knoten geworfen wurden!
Ablauf:
* KVROOT anlegen
0/sqoop/version returned a response status of 404 Not Found
</code>
Tritt dieser Fehler auf, liegt v... ization - Invalid Hadoop configuration directory (not a directory or permission issues): /etc/hadoop/co... 17 CEST: FAILURE_ON_SUBMIT
Exception: java.io.FileNotFoundException: File does not exist: hdfs://nosqldb01:9000/opt/hadoop/product/sqoop-1.99.3-bin-hadoop20
ellt werden.
Ablauf:
* Neue Software auf alle Knoten kopieren und in eine neues Home entpacken
* N... mit der neuen Software neu starten
* Auf dem Knoten mit dem Admin Service beginnen!
* Software Up... iteren Node durchführen
=== Software auf allen Knoten ausrollen und die Umgebungen umstellen ===
Soft... tarten ===
Das heißt in unsere Beispiel auf den Knoten 3 als erstes anmelden.
Gleicher Ablauf wie ber
va Werkzeug "keytool" im Pfad liegen!
Auf allen Knoten bei Bedarf entsprechend verlinken!
<code bash>
...
* Verzeichnis security auf alle KVRROOT's und Knoten verteilen <code bash>
cd /opt/oracle/kvdata/NOD... curity Information in jeder config.xml auf allen Knoten hinzufügen<code bash>
security-> config add-sec... * Datei root.pwd und root_user.security auf alle Knoten verteilen<code bash>
cd /opt/oracle/kvdata/NODE
the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Ha... the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Ha... "main" java.lang.RuntimeException: core-site.xml not found
at org.apache.hadoop.conf.Configura... figuration.java:
</code>
<note important>Lösung noch nicht gefunden, für jeden
einfacher den gesamten Store über die verteilten Knoten zu starten / zu stoppen und wichtige Eigenschaf... ten zu prüfen.
Vorbereitung:
* Zwischen den Knoten per SSL Key Austausch einen Login ohne Password... eigentlichen Skript angepasst werden muss. Jeder Knoten wird über das Array hinterlegt, über ADMIN_NODE wird definiert welcher Knoten für die administrativen Befehle verwendet werd
tore muss mindestens die Version 2.0 besitzen!
<note important>Java 8 ist ein Test Case - Offiziell die letzte Version 7 verwenden!</note>
===Java Version auf Java 8 jdk-1.8.0 updaten... llieren und aktivieren.
<code bash>
# auf allen Knoten verteilen
scp jdk-8-linux-x64.rpm nosqldb02:$PW
Administration der Oracle NoSQL Database 11gR2 - Knoten stoppen und starten =====
Knoten zentral starten und stoppen
==== Knoten stoppen und starten =====
Den Repnode "1,2" stoppen und wi