den: \\
=> http://www.oracle.com/technetwork/database/bigdata-appliance/oracle-bigdatalite-2104726.htm... 3.0 VM in Vmware importieren]]
Soll remote auf das HDFS zugegriffen werden, müssen alle Services/Die... ht auf localhost starten.
Dazu die /etc/hosts anpassen, bei Localhost den Namen der Maschine entfernen und einen eigenen Eintrag hinzufügen:
<code bash>
tion map() und fold() bzw reduce())
Zwei Haupt Phasen:
* Map
* Liest Key/Value Paare ein und g... r konfiguriert den Job und sendet Job Anfrage an das Cluster
* Über das Interface "JobConf" wird der Job konfiguriert
**InputFormater**:
* Der Mapper... rden sollen
* Der eigene Mapper wird von der Klasse **"Mapper<Object, Text, Text, IntWritable>"** a
====== Installation Oracle NoSQL Database 11gR2 (11.2.2.0.39) ======
==== Übersicht über die Architek... rage Node Agent = Kontroll Prozess
* KVStore = Das Speicherarray mit den Storage Nodes
* Storage Node Master = Pro Node ein Master (schreibt / ließt) und repliziert mit dem [[http://en.wikipedia.org/wiki/Pax
terladen [[http://www.oracle.com/technetwork/database/features/jdbc/jdbc-drivers-12c-download-1958347.html|Oracle Database 12c Release 1 JDBC Driver Downloads]]
* JDBC Treiber in das Sqoop Server Lib Verzeichnis kopieren
* Test
Ab
=====
Ziel: Hadoop Cluster für den Einstieg in das Thema Hadoop als 3 Knoten Cluster aufsetzen.
Ab... Hadoop auf Node 1 aufsetzen
- Node 2 und 3 in das Cluster aufnehmen
<note tip>Erweiterung auf 3 Kn... igte Software:
* [[http://hadoop.apache.org/releases.html#Download| Hadoop 2.4.X - current stable 2.... über [[http://www.hadoop.com/technetwork/java/javase/downloads/index.html|hadoop Java SE Downloads ]]
für die Verarbeitung von großer Datenmengen über das MapReduce Konzept.
Ziele von Hadopp:
- Skalier... ngeren setzt sich der Trend ununterbrochen fort, dass sich das zu verarbeitende Datenvolumen von Jahr zu Jahr massiv vergrößert. Das aktuelle Problem, wirklich sehr
===== Die Oracle NoSQL Database - Ein Key Value Store =====
Die Oracle NoSQL Datenbank ist ein Vertreter der Key-Value Store Datenbanken.
Auf Basis der soliden Berkeley DB Java Edition hat Oracle... bank, die Oracle NoSQL entwickelt.
Eine zusammenfassende Einführung in die Oracle NoSQL Datenbank fin... und Minor Keys
* Large Object LOB Support
* Basiert auf der [[http://de.wikipedia.org/wiki/Berkel
NoSQL Datenbank mit Hadoop verwenden =====
Wie lassen sich die beiden Welten, die Oracle RDBMS Daten... r NoSQL Ansatz sinnvoll für die Archivierung und das Datensammeln einsetzen?
Dazu muss die bestehende... adoop?}}
Die Integration kann zum Beispiel über das Berichtwesen erfolgen, d.h. die Daten werden komp... acle_rdbms_hadoop_v02.png?600 | Integration über das Berichtswesen}}
Oder die Datenbanken werden eng
och nicht umgesetzt.
=== Vorbereitung ====
Für das Einrichten des Stores muss das Java Werkzeug "keytool" im Pfad liegen!
Auf allen Knoten bei Bedarf entsprechend verlinken!
<code bash>
#als root
ln -s /usr/java/jdk1.8.0_05/bin/keyto... k Verschlüsselung ====
SSL Verschlüsselung über das Netzwerk kann aktiviert werden.
==== User Login
den====
Mit der Hadoop Compatiblen InputFormat Klasse **"oracle.kv.hadoop.KVInputFormat"** lässt sich... Hadoop verwenden.
{{ :hadoop:oracle_nosql_database_hadoop_integration_v01.png |Die Oracle NoSQL per... chwierigkeit besteht darin Hadoop den richtigen Klassenpfad zu übergeben.
Als letzte Lösung hilft oft ... ntegrieren.
Leider ist mir nicht gelungen die Klassenpfad mit "-libjars $KVHOME/lib/kvclient.jar" b
===== Mit den JE Klassen die Datendateien / Transaktionslogs analysieren der Oracle NoSQL auswerten ==... de Datenbanken ausgewertet werden.
Damit diese Klassen verwendet werden können, müssen aber die KV Jar’s mit in den Klassenpfad aufgenommen werden.
**Nicht für produktiv... riginal Berkeley DB Management Methoden kann auf das Transaktionslog zugegriffen werden:
Statistik de
eren]]
==== Überblick Hive ====
Hive verwendet das HDFS von Hadoop für die Ablage der DB Dateien und das MapReduce Framework zum Aufsetzen der Jobs.
Für das Data Dictionary / die Metadaten wird eine separat... * Die Daten werden bereits mit dem Insert in das existierende Schema Format abgelegt
* Tradi
data.red-gate.com/hdfs-explorer.html
=== Java Klasse um vom Windows Host auf das HDFS zuzugreifen===
<code java>
package gpi.hadoop;
/**
see main cod... .fs.*;
import org.apache.hadoop.conf.*;
public class ReadHDFS {
public static void main(String[]... nstallieren und Umgebung wie unter Linux in der .bashrc setzen:
<code bash>
#Hadoop Home
export HADO
l:redis:redis_lampda_architecture_v01.png | Redis as speed layer in a lampda architecture }}
Redis i... beim Einfügen definiert werden, um zu verhindern das der "Cache Layer" überläuft. Damit lässt sich ein... Datenmengen.
(siehe => [[nosql:oracle_nosql_database_einfuehrung|Die Oracle NoSQL Database - Ein Key Value Store]])
Die Oracle NoSQL DB ist in Java entw
====== Administration der Oracle NoSQL Database 11gR2 - Backup und Recovery ======
Oft wird in der NoSQL Welt das Thema Backup sehr stiefmütterlich behandelt, mit ... d Server Knoten kann ja bei einem Ausfall nichts passieren“, das Problem mit logischen Fehlern wird kaum beachtet. Mit der Oracle NoSQL aber lassen sich S