Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

--- nosql_datenbank [2019/12/11 11:29] – [KI] gpipperr
+++ nosql_datenbank [2019/12/11 11:30] – [KI] gpipperr
@@ Zeile 1: / Zeile 1: @@
-====== NoSQL und Big Data - KI in der Datenverarbeitung======
-{{ :images:the_big_data_pig.png?300 | This is also Big (Monte Baldo 2008) }}
-//"Data expands to fill the space available for storage."// =>  ([[https://en.wikipedia.org/wiki/Parkinson's_law| Parkinson's law]])
-==== NoSQL – Not Only SQL  ====
-Der Begriff NoSQL kann mehr als ein Denkansatz zur Datenverwaltung und Verarbeitung als eine spezielle Technologie definiert werden.
-Gemeinsam ist den verschiedenen Implementierungen auf dem Markt aber meist der Versuch, eine hohe Skalierbarkeit durch massive Parallelisierung über viele Rechnerknoten zu erreichen.
-Eine Einführung in das Thema => [[http://www.pipperr.de/knowhow/nosql/nosql.html|NoSQL -Not only SQL - DOAG-Regionaltreffen München am Donnerstag, 17. Februar 2011]]
-Siehe einführende Überlegungen unter:
-  * http://highlyscalable.wordpress.com/2012/03/01/nosql-data-modeling-techniques/
-Links zum Thema:
-  * http://www.rittmanmead.com/blog/
-=== Stichwort Polyglotte Systeme ===
-In einer vollständigen NoSQL Architektur geht der Trend dahin, für jede Aufgabe die passende Datenbank zu wählen.
-Damit kann sich allerdings ein erheblicher Zoo an Systemen mit unterschiedlichen Abfragesprachen entwickeln.
-=== Die V's für NoSQL ===
-Oft werden diese **V's** genannt als Motivation genannt:
-|**V**olumen  | Daten in Ruhe                |
-|**V**elocity | Daten in Bewegung            |
-|**V**ariety  | Daten in verschiedenen Formen|
-|**V**eracity | Daten in Zweifel             |
-=== Verteilte System implementieren===
-CRDT - Conflict-Free Replicated Data Types => https://www.heise.de/developer/artikel/Verteilte-Daten-ohne-Muehe-Conflict-Free-Replicated-Data-Types-3944421.html
-----
-===== KI =====
-Ein Einstieg
- => https://www.heise.de/ct/artikel/KI-Lernangebote-fuer-Einsteiger-und-Fortgeschrittene-4537877.html
-Als freie Option (Oracle Machine Learning (formerly Advanced Analytics)) in der Datenbank verfügbar, man glaubt es kaum!
-Oracle => https://blogs.oracle.com/machinelearning/machine-learning-in-oracle-database
-Siehe auch => https://apex.oracle.com/database-features/
-{{ :dba:oracle_machine_learning_license.jpg | Oracle Machine Learning (formerly Advanced Analytics) now included in Se2 }}
-----
-==== Gedanken / Zitate zu Big Data====
-"Daten sind nicht Nummern, sondern Diagramme von Oberflächen, Landschaften des Wissens, die eine neue Sicht auf die Welt und die Gesellschaft eröffnen: die algorithmische Vision."
-Matteo Pasquinelli , siehe auch [[https://www.sueddeutsche.de/digital/philosophie-die-gesellschaft-der-metadaten-1.4070474|Süeddeutsche - 31. Juli 2018-  Die Gesellschaft der Metadaten ]]
-----
-==== Freie Datenquellen ====
-  * https://en.wikipedia.org/wiki/Open_data
-  * http://open.canada.ca/en/open-data
-  * https://www.data.gov/
-  * http://data.europa.eu/euodp/en/data
-  * https://data.worldbank.org/data-catalog/gender-statistics
-  * https://population.un.org/wup/
-Wetterdaten:
-  * https://hjelp.yr.no/hc/en-us/sections/360000421433-Free-weather-data
-  * https://de.windfinder.com
-Ortsnamen
-  * http://www.geonames.org/2844830/rossbach.html
-----
-==== Die Oracle NoSQL Database - Ein Key Value Store ====
-Die Oracle NoSQL Datenbank ist ein Vertreter der Key-Value Store Datenbanken.
-Auf Basis der soliden Berkeley DB Java Edition hat Oracle die bestehenden Replikationsmechanismen der Berkeley DB optimiert und damit eine neue Datenbank, die Oracle NoSQL entwickelt.
-[[nosql:oracle_nosql_database_einfuehrung|Die Oracle NoSQL Datenbank im Detail]]
-Veröffentlichung zu diesem Thema in der DOAG News 05-2014 (Eine Anmeldung an der DOAG Website ist allerdings erforderlich):
-=> [[https://www.doag.org/formes/servlet/DocNavi?action=getFile&did=6352029|2014-05-News-Gunther-Pippèrr-Oracle-NoSQL---eine-Alternative-für-die-traditionelle-Datenbank.pdf]]
-----
-====Redis ====
-Redis ist bereits sei 2009 von Salvatore Sanfilippo und mittlerweise in der Version 3.3.5 (Dezember 2016) verfügbar.
-Redis ist im Prinzip ein Key Value inMemory Data Store, d.h. die ideale Komplente für die Speed Layer einer Lampda Architektur.
-Redis ist konsequent auf Performance ausgelegt und kann mit sehr hohen Datenraten umgehen.
-  * [[nosql:redis_overview|Übersicht und Einsatzmöglichkeiten]]
-----
-====Apache Hadoop====
-Apache Hadoop ist ein Softwareprodukt für die verteilte Speicherung von Daten und ein Framework für die Verarbeitung von großer Datenmengen über das MapReduce Konzept.
-  * [[nosql:apache_hadoop_einfuehrung|Erste Schritte  mit Apache Hadoop]]
-----
-==== IoT - Internet of Thinks ====
-Durch den allgemeinen Trend zur Vernetzung und Interaktion von Dingen untereinander, fallen auch immer mehr Daten an. Das treibt auch die neuen Geschäftsmodell im BigData Markt an.
-===IoT Suchmaschine===
-  * https://www.shodan.io/
-=== IoT  ===
-Electric imp => https://electricimp.com/
-  * [[elektronik:start_electric_imp_iot|Erste Erfahrungen mit Electric IMP]]
-----
-====Time Series Analytics====
-===InfluxDB==
-    * [[prod:grafana_windows|Erste Erfahrungen mit InfluxDB und Grafana unter Windows]]
-    * [[raspberry:odroid_hc1_influx_db_grafana|Odroid HC1  Monitoring Appliance mit InfluxDB und Grafana]]
-===Visualisierung===
-  * https://grafana.com/
-----
-==== Permissionless distributed database - Block Chain ====
-Siehe =>  https://en.wikipedia.org/wiki/Block_chain_(database)
-Mehr:
-  * https://www.oreilly.com/ideas/understanding-the-blockchain
-  * https://www.blockchain-council.org/blockchain/how-is-blockchain-different-from-database/
-Umsetzen mit:
-  * https://www.hyperledger.org/projects/fabric
-  * https://www.blockchain-council.org/blockchain/list-of-best-open-source-blockchain-platforms/
-OpenBook zu BitCoin
-  * https://d28rh4a8wq0iu5.cloudfront.net/bitcointech/readings/princeton_bitcoin_book.pdf?a=1
-Implementierungen:
-  * https://blockstack.org/
-Oracle Block Chain Service
-  * https://www.oracle.com/cloud/blockchain/index.html
-----
-==== Die Lambda-Architektur  - Query=f(all data) ====
-  * http://manning.com/marz/
-  * http://www.databasetube.com/database/big-data-lambda-architecture/
-  * http://www.soutier.de/blog/2014/02/23/lambda-architektur/
-Architektur Pattern:
-CQRS - Command Query Responsibility Segregation:
-  * http://msdn.microsoft.com/en-us/library/jj591573.aspx
-  * http://martinfowler.com/bliki/CQRS.html
-Tee-pipe-and-filters:
-  * http://www.fh-wedel.de/~si/seminare/ws97/Ausarbeitung/3.Krutscher/archmu1.htm
-  * http://www.csee.wvu.edu/~ammar/CU/swarch/lecture%20slides/slides%204%20sw%20arch%20styles/supporting%20slides/SWArch-4-PipesandFilter.pdf
-----
-==== Message Queues ====
-Publish-Subscribe-Messaging-Systems Pulsar => http://pulsar.apache.org/
-----
-==== Konferenzen ====
-  * http://www.tdwi-konferenz.de/
-  * http://www.data2day.de/
-----
-==== Webseiten zum Thema Big Data ====
-  * http://www.data-science-blog.com/
-  * https://analytics.club/
-Oracle:
-  * https://blogs.oracle.com/bigdata/
-----
-==== Big Data in der Cloud ====
-Günstige Einsteiger Konditionen:
-  * http://www.exasol.com/en/
-Cloud Bericht => https://hub.kpmg.de/cloud-monitor-2018
-----
-==== Buchempfehlungen ====
-  * https://pragprog.com/book/rwdata/seven-databases-in-seven-weeks
-  * http://www.hanser-fachbuch.de/buch/NoSQL/9783446427532