===== Erste Schritte mit der Oracle Big Data Appliance =====
==== BigDataLite VM von Oracle ====
Eine VM von Oracle zu dem Thema BigData kann hier gefunden werden: \\
=> http://www.oracle.com/technetwork/database/bigdata-appliance/oracle-bigdatalite-2104726.
[slideshare id=51535733&doc=oraclehadoop-doag-bigdata092014gpi-150812090124-lva1-app6892]
====Integrat... bereits ausgefeilte Datenbank System und komplexe Data Warehouse Umgebungen im Einsatz.
Viel Energie u... en die Daten in die DB ein
==== Übersicht über Data Transfer/Import-Export Frameworks ====
Oracle Big Data
* http://www.oracle.com/technetwork/database/da
educe Framework zum Aufsetzen der Jobs.
Für das Data Dictionary / die Metadaten wird eine separate rel... t "default" Datenbank anmelden:
<code sql>
hive --database gpidb
</code>
====Anlegen einer Tabelle mi... l>
#Tabelle anlegen
hive> CREATE TABLE ora_audit_data(id BIGINT
, message str... , instance_name string)
COMMENT 'Oracle Audit Data.'
ROW FORMAT
DELIMITED FIELDS TERMINATED BY ','
e Cluster Knoten sind voneinander unabhängig
* "Data locality" => Daten werden auf dem Knoten verarbe... Datenmengen
Nachteil:
* Redundanz Konzept und "Data locality" erfordern schnell seine sehr hohe Anzah... atei "edits" per stream)
* Auffallsicherheit
**DataNode**:
* Läuft typischerweise auf jeden Knoten ... S NameNode |50070 |dfs.namenode.http.address |
|DataNodes |50075 |dfs.datanode.http.address |
|B
====Die Oracle BigDataLite 3.0 / 4.1 VM in Vmware Workstation 10 importieren====
Eine VM von Oracle zu dem Thema Big Data kann hier gefunden werden:
* http://www.oracle.com/technetwork/database/bigdata-appliance/oracle-bigdatalite-2104726.html
Leider wird die Oracle VM für Big Data nicht in
onfig create -pwdmgr pwdfile -root /opt/oracle/kvdata/NODE01/KVStore
Enter a password for the Java KeyS... for verification:
Created files
/opt/oracle/kvdata/NODE01/KVStore/security/store.trust
/opt/oracle/kvdata/NODE01/KVStore/security/client.trust
/opt/oracle/kvdata/NODE01/KVStore/security/security.xml
/opt/ora
tion ===
**User hadoop!**
\\
Anlegen des Hadoop Data Verzeichnisses, hier werden später dann die Daten... e bash>
# HDFS Base directory
mkdir /opt/hadoop/hdata
#Name node directoy
mkdir /opt/hadoop/hdata/namenode
# Data node directory
mkdir /opt/hadoop/hdata/datanode
</code>
==== Klonen der Umgebung u
===== Die Oracle NoSQL Database - Ein Key Value Store =====
Die Oracle NoSQL Datenbank ist ein Vertret... Java und C API ( C API nur in der EE!)
* Oracle Database Integration via External Tables (EE Only)
... tspricht im Prinzip dem System Tablespace mit dem Data Dictionary einer RDBMS) und dient zur Überwachung... l_oracle_nosql_db_11gR2|Installation Oracle NoSQL Database 11gR2 (11.2.2.0.39)]]
* [[nosql:install_
127.0.0.1'>
<txt>06-SEP-2014 11:21:44 * (CONNECT_DATA=(SID=GPI)(CID=(PROGRAM=null)(HOST=__jdbc__)(USER=... das HDFS.
==Auf dem HDFS Node 1 - der OracleBigData Lite==
Es wird ein Agent angelegt der Daten im A... hdfs
agent2.sinks.hdfsSink.hdfs.path = hdfs://bigdatalite.localdomain:8020/user/oracle/gpi
agent2.sinks... ver==
Eine einfache Agent Konfiguration für eine Data Source vom Type "exec" erstellen (mit dem Typ **e
nnect store -name KVStore -security /opt/oracle/kvdata/NODE01/KVStore/security/root_user.security
Connec... nt: 1
kv-> get kv -all
/AGUIZ000000000702/-/TEST_DATA
kv-> get -key /AGUIZ000000000702/-/TEST_DATA
702000000000702GENWERT000000000702
</code>
Füge einen K... hell>
kv-> put kv -key /AGUIZ000300000702/-/TEST_DATA -value HUGO
Operation successful, record inserted
.0.jar
* jackson-core-2.2.0.jar
* jackson-databind-2.2.0.jar
Libraries in eine Verzeichnis kopi... le.kv.Key;
import org.apache.avro.generic.GenericData;
import org.apache.avro.generic.GenericRecord;
im... ct to store and read Avro schema defintion in the database
AvroCatalog catalog = kvstore.getAvro... emp record
GenericRecord emp = new GenericData.Record(empSchema);
// put values