bereits ausgefeilte Datenbank System und komplexe Data Warehouse Umgebungen im Einsatz.
Viel Energie u... en die Daten in die DB ein
==== Übersicht über Data Transfer/Import-Export Frameworks ====
Oracle Big Data
* http://www.oracle.com/technetwork/database/database-technologies/bdc/big-data-connectors/documentat
===== Erste Schritte mit der Oracle Big Data Appliance =====
==== BigDataLite VM von Oracle ====
Eine... n werden: \\
=> http://www.oracle.com/technetwork/database/bigdata-appliance/oracle-bigdatalite-2104726.... Datenbank Connect testen:
<code bash>
sqoop list-databases --connect jdbc:oracle:thin:@//10.10.10.12:15... hive> show tables;
ext_ora_audit_gpi
hive> show databases;
default
</code>
=== Inmportierte Daten
educe Framework zum Aufsetzen der Jobs.
Für das Data Dictionary / die Metadaten wird eine separate rel... t "default" Datenbank anmelden:
<code sql>
hive --database gpidb
</code>
====Anlegen einer Tabelle mi... l>
#Tabelle anlegen
hive> CREATE TABLE ora_audit_data(id BIGINT
, message str... , instance_name string)
COMMENT 'Oracle Audit Data.'
ROW FORMAT
DELIMITED FIELDS TERMINATED BY ','
e Cluster Knoten sind voneinander unabhängig
* "Data locality" => Daten werden auf dem Knoten verarbe... Datenmengen
Nachteil:
* Redundanz Konzept und "Data locality" erfordern schnell seine sehr hohe Anzah... atei "edits" per stream)
* Auffallsicherheit
**DataNode**:
* Läuft typischerweise auf jeden Knoten ... S NameNode |50070 |dfs.namenode.http.address |
|DataNodes |50075 |dfs.datanode.http.address |
|B
===== Die Oracle NoSQL Database - Ein Key Value Store =====
Die Oracle NoSQL Datenbank ist ein Vertret... Java und C API ( C API nur in der EE!)
* Oracle Database Integration via External Tables (EE Only)
... tspricht im Prinzip dem System Tablespace mit dem Data Dictionary einer RDBMS) und dient zur Überwachung... l_oracle_nosql_db_11gR2|Installation Oracle NoSQL Database 11gR2 (11.2.2.0.39)]]
* [[nosql:install_
tion ===
**User hadoop!**
\\
Anlegen des Hadoop Data Verzeichnisses, hier werden später dann die Daten... node directoy
mkdir /opt/hadoop/hdata/namenode
# Data node directory
mkdir /opt/hadoop/hdata/datanode
</code>
==== Klonen der Umgebung um die weiteren St... ode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/hadoop/hdat
====== Installation Oracle NoSQL Database 11gR2 (11.2.2.0.39) ======
==== Übersicht über die Architektu... roducts/nosqldb/downloads/index.html|Oracle NoSQL Database, Community Edition 11gR2 (11.2.2.0.39)]]
* ... verhalten mit dem Wert "none".
==== Oracle NoSQL Database Storage Node Agent (SNA) starten ====
<code ... on erfolgt)
* KV Store einen Namen vergeben
* Data Center anlegen
* Admin Prozess auf einen Knoten
127.0.0.1'>
<txt>06-SEP-2014 11:21:44 * (CONNECT_DATA=(SID=GPI)(CID=(PROGRAM=null)(HOST=__jdbc__)(USER=... ver==
Eine einfache Agent Konfiguration für eine Data Source vom Type "exec" erstellen (mit dem Typ **e... are.com/files/pdf/products/vsphere/VMware-vSphere-Data-Ingestion-Solution-Guide.pdf
* http://www.ritt... achecon.com/na2013/presentations/27-Wednesday/Big_Data/11:45-Mastering_Sqoop_for_Data_Transfer_for_Big_D
nt: 1
kv-> get kv -all
/AGUIZ000000000702/-/TEST_DATA
kv-> get -key /AGUIZ000000000702/-/TEST_DATA
702000000000702GENWERT000000000702
</code>
Füge einen K... hell>
kv-> put kv -key /AGUIZ000300000702/-/TEST_DATA -value HUGO
Operation successful, record inserted.
kv-> put -key /AGUIZ000300000702/-/TEST_DATA -value GUNTHER
Operation successful, record updat
Files von der [[http://www.oracle.com/technetwork/database/database-technologies/nosqldb/downloads/index.html|Oracle Homepage- Oracle NoSQL Database, Server ]] laden und entpacken, im Beispiel ... cted to kvstore
kv-> put kv -key /ABC1234/-/TEST_DATA -value HUGO
Operation successful, record inserted
rtieren====
Eine VM von Oracle zu dem Thema Big Data kann hier gefunden werden:
* http://www.oracle.com/technetwork/database/bigdata-appliance/oracle-bigdatalite-2104726.html
Leider wird die Oracle VM für Big Data nicht in einem OVA Format angeboten, das sich so ... urchgeführt werden
=> [[nosql:oracle_hadoop_big_data_appl_erste_schritte|Erste Schritte mit der Oracle
ow empRow = empTable.createRow();
// put data in the row
empRow.put("empno", 10);
... empRow.put("deptno", 10);
// write the data to the store
tableAPI.put(empRow, null, null);
//-------- Read the data again from the Store
//------- Use an Ind... n-sie-die-tabellen-schnittstelle-von-oracle-nosql-database-30.html
Oracle:
* http://docs.oracle.com/