educe Framework zum Aufsetzen der Jobs.
Für das Data Dictionary / die Metadaten wird eine separate rel... l>
#Tabelle anlegen
hive> CREATE TABLE ora_audit_data(id BIGINT
, message str... , instance_name string)
COMMENT 'Oracle Audit Data.'
ROW FORMAT
DELIMITED FIELDS TERMINATED BY ',' ... Tabellen gibt es
hive> show tables;
OK
ora_audit_data
Time taken: 0.14 seconds, Fetched: 1 row(s)
#Bes
[slideshare id=51535733&doc=oraclehadoop-doag-bigdata092014gpi-150812090124-lva1-app6892]
====Integrat... bereits ausgefeilte Datenbank System und komplexe Data Warehouse Umgebungen im Einsatz.
Viel Energie u... en die Daten in die DB ein
==== Übersicht über Data Transfer/Import-Export Frameworks ====
Oracle Big Data
* http://www.oracle.com/technetwork/database/da
onfig create -pwdmgr pwdfile -root /opt/oracle/kvdata/NODE01/KVStore
Enter a password for the Java KeyS... for verification:
Created files
/opt/oracle/kvdata/NODE01/KVStore/security/store.trust
/opt/oracle/kvdata/NODE01/KVStore/security/client.trust
/opt/oracle/kvdata/NODE01/KVStore/security/security.xml
/opt/ora
e Cluster Knoten sind voneinander unabhängig
* "Data locality" => Daten werden auf dem Knoten verarbe... Datenmengen
Nachteil:
* Redundanz Konzept und "Data locality" erfordern schnell seine sehr hohe Anzah... _schritte|Erste Schritte mit Apache Hive]]
Pig - Data sets manipulation language um Map Reduces Jobs zu... QL Engines**
* Impala
* Spark
* Oracle Big Data SQL (Leider nur in einer Exadata/BigData Applianc
tion ===
**User hadoop!**
\\
Anlegen des Hadoop Data Verzeichnisses, hier werden später dann die Daten... e bash>
# HDFS Base directory
mkdir /opt/hadoop/hdata
#Name node directoy
mkdir /opt/hadoop/hdata/namenode
# Data node directory
mkdir /opt/hadoop/hdata/datanode
</code>
==== Klonen der Umgebung u
===== Erste Schritte mit der Oracle Big Data Appliance =====
==== BigDataLite VM von Oracle ====
Eine VM von Oracle zu dem Thema BigData kann hier gefunden werden: \\
=> http://www.oracle.com/technetwork/database/bigdata-appliance/oracle-bigdatalite-2104726.html
Um di... , wert2 string)
COMMENT 'Oracle OKData.'
ROW FORMAT
DELIMITED FIELDS TERMINATED BY ','
127.0.0.1'>
<txt>06-SEP-2014 11:21:44 * (CONNECT_DATA=(SID=GPI)(CID=(PROGRAM=null)(HOST=__jdbc__)(USER=... das HDFS.
==Auf dem HDFS Node 1 - der OracleBigData Lite==
Es wird ein Agent angelegt der Daten im A... ver==
Eine einfache Agent Konfiguration für eine Data Source vom Type "exec" erstellen (mit dem Typ **e... are.com/files/pdf/products/vsphere/VMware-vSphere-Data-Ingestion-Solution-Guide.pdf
* http://www.ritt
nnect store -name KVStore -security /opt/oracle/kvdata/NODE01/KVStore/security/root_user.security
Connec... nt: 1
kv-> get kv -all
/AGUIZ000000000702/-/TEST_DATA
kv-> get -key /AGUIZ000000000702/-/TEST_DATA
702000000000702GENWERT000000000702
</code>
Füge einen K... hell>
kv-> put kv -key /AGUIZ000300000702/-/TEST_DATA -value HUGO
Operation successful, record inserted
BC_CONNECTOR_0005:No column is found to partition data
Stack trace:
...
sqoop:000>update job --jid 1
#... sed by: java.sql.SQLRecoverableException: No more data to read from socket
</code>
?? Suche wir weiter ??
Mehr Erfolg mit : [[nosql:oracle_hadoop_big_data_appl_erste_schritte##daten_aus_oracle_mit_sqoop_2... dfs_exportieren|Erste Schritte mit der Oracle Big Data Appliance]]
==== Einsatz von OraOop =====
Oraoop
Daten abgelegt.
<code bash>
mkdir /opt/oracle/kvdata
</code>
==== Clonen der Umgebung um die weitern... anlegen:
<code bash>
export KVROOT=/opt/oracle/kvdata
java -jar $KVHOME/lib/kvstore.jar makebootconfig... cle/produkt/11.2.0/kv-2.0.39
KVROOT=/opt/oracle/kvdata/
#Start or stop the Oracle NoSQL Node
case "$1" ... on erfolgt)
* KV Store einen Namen vergeben
* Data Center anlegen
* Admin Prozess auf einen Knoten
rtieren====
Eine VM von Oracle zu dem Thema Big Data kann hier gefunden werden:
* http://www.oracle.com/technetwork/database/bigdata-appliance/oracle-bigdatalite-2104726.html
Leider wird die Oracle VM für Big Data nicht in einem OVA Format angeboten, das sich so ... n Verzeichnis auspacken, zum Beispiel in R:\ORABIGDATA30
* Datei BigDataLite-3.0.ovf in einem Editor ö
tspricht im Prinzip dem System Tablespace mit dem Data Dictionary einer RDBMS) und dient zur Überwachung... n:
* [[http://www.azulsystems.com/solutions/big-data|Zing: A better Java for Big Data]]
* [[http://www.azulsystems.com/sites/www.azulsystems.com/files/Jav... * http://www.oracle.com/technetwork/articles/bigdata/oracle-nosqldb-appdev-1891870.html
* http://www
bFilterStats.html|DbFilterStats]]
=== Group Metadata ausgeben ===
<code powershell>
# Get the group metadata from each member of the group, directly off their... bzufragen:
<code powershell>
# Get the group metadata from the current master in a running group
java -... store.jar:KVLIB/je.jar
export JEENV=/opt/oracle/kvdata/NODE01/KVStore/KVStore/sn1/rg1-rn1/env
#Füllgra