„Data expands to fill the space available for storage.“ ⇒ ( Parkinson's law)

Wie entwicklet sich ein Hype wie NoSQL und KI mit der Zeit ⇒ https://www.gartner.com/en/research/methodologies/gartner-hype-cycle

Der Begriff NoSQL kann mehr als ein Denkansatz zur Datenverwaltung und Verarbeitung als eine spezielle Technologie definiert werden.

Gemeinsam ist den verschiedenen Implementierungen auf dem Markt aber meist der Versuch, eine hohe Skalierbarkeit durch massive Parallelisierung über viele Rechnerknoten zu erreichen.

Eine Einführung in das Thema ⇒ NoSQL -Not only SQL - DOAG-Regionaltreffen München am Donnerstag, 17. Februar 2011

Siehe einführende Überlegungen unter:

• http://highlyscalable.wordpress.com/2012/03/01/nosql-data-modeling-techniques/

Links zum Thema:

• http://www.rittmanmead.com/blog/

In einer vollständigen NoSQL Architektur geht der Trend dahin, für jede Aufgabe die passende Datenbank zu wählen.

Damit kann sich allerdings ein erheblicher Zoo an Systemen mit unterschiedlichen Abfragesprachen entwickeln.

Oft werden diese V's genannt als Motivation genannt:

CRDT - Conflict-Free Replicated Data Types ⇒ https://www.heise.de/developer/artikel/Verteilte-Daten-ohne-Muehe-Conflict-Free-Replicated-Data-Types-3944421.html

Stoffsammlung zu „automatic decision making system“, ADM - automatische Entscheidungsfindungssystemen

Ein Einstieg

• ⇒ https://www.heise.de/ct/artikel/KI-Lernangebote-fuer-Einsteiger-und-Fortgeschrittene-4537877.html
• ⇒ https://www.heise.de/developer/artikel/Grundbegriffe-der-kuenstlichen-Intelligenz-5054503.html

Freier Kurs ⇒ https://www.elementsofai.de/ und https://d2l.ai/

Als freie Option (Oracle Machine Learning (formerly Advanced Analytics)) in der Datenbank verfügbar, man glaubt es kaum!

Oracle ⇒ https://blogs.oracle.com/machinelearning/machine-learning-in-oracle-database UND https://blogs.oracle.com/oraclespatial/spatial-now-free-with-all-editions-of-oracle-database

Siehe auch ⇒ https://apex.oracle.com/database-features/

Links:

• https://algorithmwatch.org/

• https://chat.openai.com/chat

• https://stablediffusionweb.com/#demo

„Daten sind nicht Nummern, sondern Diagramme von Oberflächen, Landschaften des Wissens, die eine neue Sicht auf die Welt und die Gesellschaft eröffnen: die algorithmische Vision.“ Matteo Pasquinelli , siehe auch Süeddeutsche - 31. Juli 2018- Die Gesellschaft der Metadaten

• https://en.wikipedia.org/wiki/Open_data

• http://open.canada.ca/en/open-data
• https://www.data.gov/
• http://data.europa.eu/euodp/en/data

• https://data.worldbank.org/data-catalog/gender-statistics

• https://population.un.org/wup/

Wetterdaten:

• https://hjelp.yr.no/hc/en-us/sections/360000421433-Free-weather-data
• https://de.windfinder.com

Ortsnamen

• http://www.geonames.org/2844830/rossbach.html

Zugverbindungen:

• https://www.chronotrains.com/

Die Oracle NoSQL Datenbank ist ein Vertreter der Key-Value Store Datenbanken.

Auf Basis der soliden Berkeley DB Java Edition hat Oracle die bestehenden Replikationsmechanismen der Berkeley DB optimiert und damit eine neue Datenbank, die Oracle NoSQL entwickelt.

Die Oracle NoSQL Datenbank im Detail

Veröffentlichung zu diesem Thema in der DOAG News 05-2014 (Eine Anmeldung an der DOAG Website ist allerdings erforderlich):

⇒ 2014-05-News-Gunther-Pippèrr-Oracle-NoSQL---eine-Alternative-für-die-traditionelle-Datenbank.pdf

Redis ist bereits sei 2009 von Salvatore Sanfilippo und mittlerweise in der Version 3.3.5 (Dezember 2016) verfügbar.

Redis ist im Prinzip ein Key Value inMemory Data Store, d.h. die ideale Komplente für die Speed Layer einer Lampda Architektur.

Redis ist konsequent auf Performance ausgelegt und kann mit sehr hohen Datenraten umgehen.

• Übersicht und Einsatzmöglichkeiten

Apache Hadoop ist ein Softwareprodukt für die verteilte Speicherung von Daten und ein Framework für die Verarbeitung von großer Datenmengen über das MapReduce Konzept.

• Erste Schritte mit Apache Hadoop

ETL zu Hadoop ⇒ Apache NiFi ⇒ https://nifi.apache.org/

Durch den allgemeinen Trend zur Vernetzung und Interaktion von Dingen untereinander, fallen auch immer mehr Daten an. Das treibt auch die neuen Geschäftsmodell im BigData Markt an.

• https://www.shodan.io/

Electric imp ⇒ https://electricimp.com/

• Erste Erfahrungen mit Electric IMP

• Erste Erfahrungen mit InfluxDB und Grafana unter Windows
• Odroid HC1 Monitoring Appliance mit InfluxDB und Grafana
• Die Daten eines Shelly Plugs über Telegraf in die InfluxDB schreiben

• https://grafana.com/

Siehe ⇒ https://en.wikipedia.org/wiki/Block_chain_(database)

Mehr:

• https://www.oreilly.com/ideas/understanding-the-blockchain
• https://www.blockchain-council.org/blockchain/how-is-blockchain-different-from-database/

Umsetzen mit:

• https://www.hyperledger.org/projects/fabric
• https://www.blockchain-council.org/blockchain/list-of-best-open-source-blockchain-platforms/

OpenBook zu BitCoin

• https://d28rh4a8wq0iu5.cloudfront.net/bitcointech/readings/princeton_bitcoin_book.pdf?a=1

Implementierungen:

• https://blockstack.org/

Oracle Block Chain Service

• https://www.oracle.com/cloud/blockchain/index.html

• http://manning.com/marz/
• http://www.databasetube.com/database/big-data-lambda-architecture/
• http://www.soutier.de/blog/2014/02/23/lambda-architektur/

Architektur Pattern:

CQRS - Command Query Responsibility Segregation:

• http://msdn.microsoft.com/en-us/library/jj591573.aspx
• http://martinfowler.com/bliki/CQRS.html

Tee-pipe-and-filters:

• http://www.fh-wedel.de/~si/seminare/ws97/Ausarbeitung/3.Krutscher/archmu1.htm
• http://www.csee.wvu.edu/~ammar/CU/swarch/lecture%20slides/slides%204%20sw%20arch%20styles/supporting%20slides/SWArch-4-PipesandFilter.pdf

Publish-Subscribe-Messaging-Systems Pulsar ⇒ http://pulsar.apache.org/

Plattformübergreifende Validierung von Daten mit Googles Data Validation

Siehe dazu ⇒ https://pypi.org/project/google-pso-data-validator/1.2.0/

• http://www.tdwi-konferenz.de/
• http://www.data2day.de/

• http://www.data-science-blog.com/
• https://analytics.club/

• https://www.datasciencecentral.com/

Oracle:

• https://blogs.oracle.com/bigdata/

Günstige Einsteiger Konditionen:

• http://www.exasol.com/en/

Cloud Bericht ⇒ https://hub.kpmg.de/cloud-monitor-2018

• https://pragprog.com/book/rwdata/seven-databases-in-seven-weeks
• http://www.hanser-fachbuch.de/buch/NoSQL/9783446427532