Apache Iceberg: Der endgültige Leitfaden

Kapitel 3. Lebenszyklus von Schreib- und Leseabfragen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Das Apache Iceberg-Tabellenformat bietet leistungsstarke Abfragen während des Lesens und Schreibens, so dass du OLAP-Workloads (Online Analytical Processing) direkt auf dem Data Lake ausführen kannst. Ermöglicht wird diese Leistung durch die Art und Weise, wie die verschiedenen Komponenten des Iceberg-Tabellenformats aufgebaut sind. Deshalb ist es wichtig, die Struktur dieser Komponenten zu verstehen, damit Abfrage-Engines sie effektiv für eine schnellere Abfrageplanung und -ausführung nutzen können. Wir haben diese architektonischen Komponenten in Kapitel 2 ausführlich besprochen. Auf einer hohen Ebene können alle diese Komponenten in drei verschiedene Schichten unterteilt werden, wie in Abbildung 3-1 dargestellt.

Abbildung 3-1. Die Komponenten von Apache Iceberg

Schauen wir uns kurz an, wie eine Abfrage-Engine beim Lesen und Schreiben mit diesen Komponenten interagiert:

Katalog-Ebene

Wie du in Kapitel 2 gelernt hast, enthält ein Katalog die Verweise auf den aktuellen Metadatenzeiger, d.h. die neueste Metadatendatei für jede Tabelle. Unabhängig davon, ob du eine Lese- oder eine Schreiboperation durchführst, ist der Katalog die erste Komponente, mit der eine Abfrage-Engine interagiert. Bei ...