===== Redis - REmote Directory Service - Ein InMemory Key Value Store =====
**Aufgaben:**
Im aktuellen Projekt soll eine Redis Datenbank als eine Art "Queue" für sehr schnelle ... nfragen für eine Mobil App dienen.
{{ :nosql:redis:redis_lampda_architecture_v01.png | Redis as speed layer in a lampda architecture }}
Redisist bere
iehe => http://sqoop.apache.org/ ) können Daten zwischen Hadoop und einer Datenbank ausgetauscht werde... 2 (v1.99) wird eine Client Server Architektur realisiert.
====Installation Apache Sqoop====
Vorauss... ient auf dem Server installiert
* siehe zum Beispiel diese Hadoop Umgebung [[nosql:hadoop_first_se... * JDBC Treiber in das Sqoop Server Lib Verzeichnis kopieren
* Test
Ablauf:
<code bash>
# auspac
ey Value Store =====
Die Oracle NoSQL Datenbank ist ein Vertreter der Key-Value Store Datenbanken.
Auf Basis der soliden Berkeley DB Java Edition hat Oracle die bestehenden Replikationsmechanismen der Berkeley DB optimiert und damit eine neue ... News 05-2014 (Eine Anmeldung an der DOAG Website ist allerdings erforderlich):
=> [[https://www.doag
=====Apache Hadoop=====
Hadoop ist ein Softwareprodukt für die verteilte Speicherung von Daten und ei... opp:
- Skalierbare Speicherkapazität => Hadoop Distributed FileSystem - **HDFS**
- Skalierbare Re... ten auch befinden
* "fault tolerance"=> Eine gewissen Robustheit gegenüber Fehler wird durch Redunda... n verarbeiten zu müssen, lässt sich aber einer gewissen Menge an Daten nicht mehr wirklich skalierbar
Schritt für Schritt
* Die Verarbeitung erfolgt Listen orientiert
* Sehr gut für die Parallelisierung geeignet
* Ursprung in der funktionalen Program... er aus ( wie z.b. sortiert)
* map (input) -> list(intermediate_value)
* Reduce
* Verarbei... ey/Value Paare wieder aus
* reduce (out_key, list(intermediate_value)) -> list(out_value)
===
ließt die Quelle ein
* Ein "Channel" puffert zwischen
* Ein "Sink" liefert die Daten ab / schre... -stud.hs-esslingen.de/pub/Mirrors/ftp.apache.org/dist/flume/1.5.0.1/apache-flume-1.5.0.1-bin.tar.gz
... ume 1.5.0.1
#Prüfen ob auch ein "echtes" Java 7 ist installiert!
java -version
java version "1.7.0... ekannt geben!
</code>
==== Aufgabe - Lesen des Listener Logs einer Oracle 11g Datenbank====
=== Ar
der Orace NoSQL Datenbank die Durability und Consistency - das Transaktionelle Verhalten - einstellen ======
Die Oracle NoSQL Datenbank ist eine Key-Value Store.
Auf die Daten wird immer über den Schlüssel zugegriffen, dazu ist der Key in zwei Komponenten unterteilt, den Mayo... einem Key immer ein Binärer Datencontainer (zum Beispiel ein serialisiertes Java Objekt) und damit nic
====Oracle NoSQL 12cR1.3 - Oracle Enterprise Manager Integration ====
Ab der EE Version 3 der Oracle NoSQL Datenbank seht unter dem lib Verzeichnis ein Plugin für den Oracle EM Manager zur Verfügun... l.snab_2000_0.opar " aus dem $KVHOME/lib Verzeichnis auf dem OEM Host kopieren.
Mit **emcli** das Pl... Plugin
Successfully uploaded the update to Enterprise Manager. Use the Self Update Console to manage t
eordneten Partitionen je zwei "Kopien" die automatisch immer aktuell gehalten werden.
Es werden drei physikalische Server eingesetzt.
{{ :nosql:oracle_nosql_arc... QL Architektur}}
* SN = Storage Node = Physikalischer Rechner mit lokalen Plattenplatz
* SNA = S... tstellen
* FW Konfiguration plannen, falls FW zwischen den Knoten und der eigentlichen Anwendung
*
ine tiefe Integration mit Hadoop erreichen.
Am Beispiel einer zentralen Archivierung und Auswertung v... egration oder alles neu entwickeln?====
In den meisten Umgebungen mit hohen Datenaufkommen sind berei... Oracle und Hadoop?}}
Die Integration kann zum Beispiel über das Berichtwesen erfolgen, d.h. die Date... die eigentlichen Abfragen erfolgen weiterhin klassische über eine zentrale Datenbank Umgebung, die abe
.0.zip umbenennen
* Zip Archive in ein Verzeichnis auspacken, zum Beispiel in R:\ORABIGDATA30
* Datei BigDataLite-3.0.ovf in einem Editor öffnen
*... Platten
* vmdk 3 und 4 aus dem Stage Verzeichnis in das Verzeichnis der neuen Maschine transferieren mit Hilfe des vmware-vdiskmanager (um eine kompat
nbank verwendet, die NICHT im HDFS liegt (Default ist eine Apache Derby DB). Für größere Umgebungen ist eine MySQL oder PostgreSQL / Oracle Datenbank em... Die Daten werden bereits mit dem Insert in das existierende Schema Format abgelegt
* Traditione... den unterstützt
* Die rechts stehende Tabelle ist die Treiber Tabelle, d.h. das sollte auch die k
====== Administration der Oracle NoSQL Database 11gR2 - Backup und Recovery ======
Oft wird in der N... nem Ausfall nichts passieren“, das Problem mit logischen Fehlern wird kaum beachtet. Mit der Oracle No... ch Snapshots des gesamten Stores erzeugen. Auf Basis dieser über alle Knoten konsistenten Snapshots kann ein echtes Backup Konzept realisierbar wird. Die