Dies ist eine alte Version des Dokuments!
Inhaltsverzeichnis
NoSQL und Big Data - KI bzw. "Automatic Decision Making - ADM" in der Datenverarbeitung
„Data expands to fill the space available for storage.“ ⇒ ( Parkinson's law)
Wie entwicklet sich ein Hype wie NoSQL und KI mit der Zeit ⇒ https://www.gartner.com/en/research/methodologies/gartner-hype-cycle
NoSQL – Not Only SQL
Der Begriff NoSQL kann mehr als ein Denkansatz zur Datenverwaltung und Verarbeitung als eine spezielle Technologie definiert werden.
Gemeinsam ist den verschiedenen Implementierungen auf dem Markt aber meist der Versuch, eine hohe Skalierbarkeit durch massive Parallelisierung über viele Rechnerknoten zu erreichen.
Eine Einführung in das Thema ⇒ NoSQL -Not only SQL - DOAG-Regionaltreffen München am Donnerstag, 17. Februar 2011
Siehe einführende Überlegungen unter:
Links zum Thema:
Stichwort Polyglotte Systeme
In einer vollständigen NoSQL Architektur geht der Trend dahin, für jede Aufgabe die passende Datenbank zu wählen.
Damit kann sich allerdings ein erheblicher Zoo an Systemen mit unterschiedlichen Abfragesprachen entwickeln.
Die V's für NoSQL
Oft werden diese V's genannt als Motivation genannt:
Volumen | Daten in Ruhe |
Velocity | Daten in Bewegung |
Variety | Daten in verschiedenen Formen |
Veracity | Daten in Zweifel |
CRDT - Conflict-Free Replicated Data Types ⇒ https://www.heise.de/developer/artikel/Verteilte-Daten-ohne-Muehe-Conflict-Free-Replicated-Data-Types-3944421.html
KI oder besser "Automatic Decision Making" - ADM
Stoffsammlung zu „automatic decision making system“, ADM - automatische Entscheidungsfindungssystemen
Ein Einstieg
Freier Kurs ⇒ https://www.elementsofai.de/
Als freie Option (Oracle Machine Learning (formerly Advanced Analytics)) in der Datenbank verfügbar, man glaubt es kaum!
Oracle ⇒ https://blogs.oracle.com/machinelearning/machine-learning-in-oracle-database UND https://blogs.oracle.com/oraclespatial/spatial-now-free-with-all-editions-of-oracle-database
Siehe auch ⇒ https://apex.oracle.com/database-features/
Links:
Gedanken / Zitate zu Big Data
„Daten sind nicht Nummern, sondern Diagramme von Oberflächen, Landschaften des Wissens, die eine neue Sicht auf die Welt und die Gesellschaft eröffnen: die algorithmische Vision.“ Matteo Pasquinelli , siehe auch Süeddeutsche - 31. Juli 2018- Die Gesellschaft der Metadaten
Freie Datenquellen
Wetterdaten:
Ortsnamen
Die Oracle NoSQL Database - Ein Key Value Store
Die Oracle NoSQL Datenbank ist ein Vertreter der Key-Value Store Datenbanken.
Auf Basis der soliden Berkeley DB Java Edition hat Oracle die bestehenden Replikationsmechanismen der Berkeley DB optimiert und damit eine neue Datenbank, die Oracle NoSQL entwickelt.
Die Oracle NoSQL Datenbank im Detail
Veröffentlichung zu diesem Thema in der DOAG News 05-2014 (Eine Anmeldung an der DOAG Website ist allerdings erforderlich):
⇒ 2014-05-News-Gunther-Pippèrr-Oracle-NoSQL---eine-Alternative-für-die-traditionelle-Datenbank.pdf
Redis
Redis ist bereits sei 2009 von Salvatore Sanfilippo und mittlerweise in der Version 3.3.5 (Dezember 2016) verfügbar.
Redis ist im Prinzip ein Key Value inMemory Data Store, d.h. die ideale Komplente für die Speed Layer einer Lampda Architektur.
Redis ist konsequent auf Performance ausgelegt und kann mit sehr hohen Datenraten umgehen.
Apache Hadoop
Apache Hadoop ist ein Softwareprodukt für die verteilte Speicherung von Daten und ein Framework für die Verarbeitung von großer Datenmengen über das MapReduce Konzept.
ETL
ETL zu Hadoop ⇒ Apache NiFi ⇒ https://nifi.apache.org/
IoT - Internet of Thinks
Durch den allgemeinen Trend zur Vernetzung und Interaktion von Dingen untereinander, fallen auch immer mehr Daten an. Das treibt auch die neuen Geschäftsmodell im BigData Markt an.
IoT Suchmaschine
IoT
Time Series Analytics
InfluxDB
Visualisierung
Permissionless distributed database - Block Chain
Siehe ⇒ https://en.wikipedia.org/wiki/Block_chain_(database)
Mehr:
Umsetzen mit:
OpenBook zu BitCoin
Implementierungen:
Oracle Block Chain Service
Die Lambda-Architektur - Query=f(all data)
Architektur Pattern:
CQRS - Command Query Responsibility Segregation:
Tee-pipe-and-filters:
Message Queues
Publish-Subscribe-Messaging-Systems Pulsar ⇒ http://pulsar.apache.org/
Daten Migration
Plattformübergreifende Validierung von Daten mit Googles Data Validation
Siehe dazu ⇒ https://pypi.org/project/google-pso-data-validator/1.2.0/
Konferenzen
Webseiten zum Thema Big Data
Oracle: