Delta Lake: Auf und davon

Kapitel 10. Bau eines Seehauses am Deltasee

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

In Kapitel 1 wurde das Konzept des Data Lakehouse vorgestellt, das die besten Elemente eines traditionellen Data Warehouses und eines Data Lakes kombiniert. In diesem Buch hast du die fünf wichtigsten Funktionen kennengelernt, die die Lakehouse-Architektur ermöglichen: die Speicherung, das Datenmanagement, SQL-Analysen, Data Science und maschinelles Lernen sowie die Medaillon-Architektur.

Bevor wir uns mit dem Bau eines Seehauses am Delta Lake befassen, sollten wir einen kurzen Überblick über die Entwicklung des Datenmanagements und der Analytik in der Branche geben:

Datenlager

Von den 1970er bis zu den frühen 2000er Jahren wurden Data warehouses entwickelt, um Daten zu sammeln und in einem geschäftlichen Kontext zu konsolidieren und so Business Intelligence und Analysen zu unterstützen. Mit dem wachsenden Datenvolumen nahmen auch Geschwindigkeit, Vielfalt und Wahrheitsgehalt zu. Data Warehouses standen vor der Herausforderung, diese Anforderungen auf flexible, einheitliche und kostengünstige Weise zu erfüllen.

Datensee

In den frühen 2000er Jahren trieb das wachsende Datenvolumen die Entwicklung von Data Lakes (zunächst vor Ort mit Hadoop und später in der Cloud) voran, einem kosteneffizienten zentralen Speicher, in dem Daten jeden Formats in beliebigem Umfang gespeichert werden können. Aber auch hier ...