===== Redis - REmote Directory Service - Ein InMemory Key Value Store =====
**Aufgaben:**
Im aktuellen Projekt soll eine Redis Datenbank als eine Art "Queue" für sehr schnelle ... nfragen für eine Mobil App dienen.
{{ :nosql:redis:redis_lampda_architecture_v01.png | Redis as speed layer in a lampda architecture }}
Redis ist bere
==
==Struktur der XML Log Datei im DIAG Verzeichnis==
zum Beispiel dieser typische Eintrag unter $OR... Voraussetzung ==
Flume ist installiert, Verzeichnis für die Konfiguration ist bekannt.
<code bash>
... s, channels and sinks are defined per agent, in this case called agent2
agent2.sources = OraLogFiles... ink.channel = memoryChannel
# Each channels type is defined
agent2.channels.memoryChannel.type = memo
>
Ein einfachen Import :
<code bash>
#Verzeichnis für de Daten im HDFS anlegen
hdfs dfs -mkdir /... mit Apache Sqoop 2 - v1.99]]
Cloudera ( die Basis der Oracle VM) verteilt leider die Werkzeuge sehr... \\
Die verschiedenen Versionen der groovy libararis in den verschienden Lib Verzeichnissen der ganzen... chritte mit Apache Sqoop 2 - v1.99]].
=== Ergebnis: sqoop ist nicht "SQL Injektion" save ====
In de
ebung =====
* Installation Oracle Linux 6.4 Basis ( Desktop Umgebung nur bei Bedarf)
* Yum Repos... acle
passwd oracle
</code>
===Software Verzeichnis anlegen ===
<code bash>
mkdir -p /opt/oracle
cho... acle!**
\\
Entpacken der Software in das Verzeichnis /opt/oracle/product/11.2.0, damit ist die eigentl... er bestimmen:
* **root**
* KVROOT Verzeichnis für die abzulegenden Daten
* **port** <port>
* JDBC Treiber in das Sqoop Server Lib Verzeichnis kopieren
* Test
Ablauf:
<code bash>
# auspac... opy Oracle JDBC Driver in das server Lib verzeichnis:
cp ~/ojdbc7.jar $SQOOP_HOME/server/lib/
#lib Verzeichnis anlegen
mkdir $SQOOP_HOME/lib
#1. test des Clie... host nosqldb01 --port 12000 --webapp sqoop
Server is set successfully
sqoop:000> show version
# Serve
CE Edition====
Ablauf:
* Store stoppen
* Basis Security Configuration anlegen <code bash>
java -... KVStore/security/store.keys
</code>
* Verzeichnis security auf alle KVRROOT's und Knoten verteilen ... g anlegen <code bash>
cd $KVROOT/security
# use this as template
cp client.security root_user.security... vax.naming.CommunicationException [Root exception is java.rmi.ConnectIOException: non-JRMP server at r
ch Snapshots des gesamten Stores erzeugen. Auf Basis dieser über alle Knoten konsistenten Snapshots ka... pshots wieder einspielen!
Ablauf:
* Verzeichnis restore anlegen in $KVROOT/<store_name>/<sn node>... e>/recovery
* Snapshot in das Recovery Verzeichnis verschieben auf dem der passende Storage Node läu... ines Nodes ===
Beispiel:
<code bash>
# Verzeichnis anlegen
mkdir $KVROOT/GPIDB/sn1/rg1-rn1/recovery
:
"To take full advantage of JE cache memory, it is strongly recommended that compressed oops (-XX:+UseCompressedOops) is specified when a 64-bit JVM is used and the maximum heap size is less than 32 GB. ..." ( siehe [[http://www.oracle.com/technetwork/d
rtreter der Key-Value Store Datenbanken.
Auf Basis der soliden Berkeley DB Java Edition hat Oracle d... ch Snapshots des gesamten Stores erzeugen. Auf Basis dieser über alle Knoten konsistenten Snapshots ka...
Ab der EE Version 3 seht unter dem lib Verzeichnis ein Plugin für den Oracle EM Manager zur Verfügun... rfolgt mit PUT und GET Methoden des JAVA oder C APIs.
* [[nosql:connect_read_write_oracle_nosql_d
racle NoSQL Datenbank seht unter dem lib Verzeichnis ein Plugin für den Oracle EM Manager zur Verfügun... l.snab_2000_0.opar " aus dem $KVHOME/lib Verzeichnis auf dem OEM Host kopieren.
Mit **emcli** das Pl... Manager. Use the Self Update Console to manage this update.
</code>
Plugin auf dem OMS Server ausr... db_sys_pwd
Performing pre-requisites check... This will take a while.
Prerequisites check succeeded
xternal Table auf ein freigegebenes HDFS Verzeichnis
* Oracle External Table mit dem kostenpflichti... p-hdfs/
Apache Sqoop(TM)
* Apache Sqoop(TM) is a tool designed for efficiently transferring bulk... m HDFS ein Locatoin File im Fileystem im Verzeichnis des DIRECTORY der external Table abgelegt.
Es k... eln und aufzurufen was notwendig ist.
Das Ergebnis wird auf STANDARD OUT ausgegeben und von dort von
s}
* hadoop dfs {args} => "DEPRECATED: Use of this script to execute hdfs command is deprecated"
* hdfs dfs {args}
^Kommando^Beispiel^Erläuterung^
... s dfs -mkdir /user/oracle/gpi | lege ein Verzeichnis an|
| -cp <quell> <ziel>|hdfs dfs -cp test2 test3... Access denied for user root. Superuser privilege is required
#superuser (Eigentümer HDFS)
sudo -u
erte Subquieres
* Nur nach Spalten in der Ergebnis Liste kann mit "Order By" sortiert werden
* ... rwrite into table ora_audit_data;
</code>
**Hinweis** => Das Original Data File wird beim Laden gelös... kann ein SQL so erzeugt werden, das mit den Ergebnis wiederum in die Zieltabelle geschrieben werden ka... stance_name
FROM ext_ora_audit_data
WHERE id is not null;
</code>
==== Partitionierte Tabellen=
die Zwischenergebnisse
* Erzeugt das Endergebnis
* Die eigene Reducer Klasse wird von der Klasse... 50,1,1
Result should look like this
30 3
60 2
*/
... /get Config object
Configuration conf = this.getConf();
// create a new Configuration... der Klassenamen, der Parameter 2 das in Verzeichnis und der Parameter 3 das out Verzeichnis.
D.h. pa