Streaming-Systeme

Kapitel 3. Wasserzeichen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Bisher haben wir die Stream-Verarbeitung aus der Perspektive des Pipeline-Autors oder Datenwissenschaftlers betrachtet. In Kapitel 2 wurden Wasserzeichen als Teil der Antwort auf die grundlegenden Fragen eingeführt, wo in der Ereigniszeit die Verarbeitung stattfindet und wann in der Verarbeitungszeit die Ergebnisse realisiert werden. In diesem Kapitel nähern wir uns denselben Fragen, allerdings aus der Perspektive der zugrunde liegenden Mechanik des Stream-Processing-Systems. Die Betrachtung dieser Mechanismen hilft uns, die Konzepte rund um Wasserzeichen zu motivieren, zu verstehen und anzuwenden. Wir erörtern, wie Wasserzeichen beim Ingress der Daten erstellt werden, wie sie sich in der Datenverarbeitungspipeline ausbreiten und wie sie die Zeitstempel der Ausgabe beeinflussen. Außerdem zeigen wir, wie Wasserzeichen die Garantien bewahren, die für die Beantwortung der Frage notwendig sind, wo in der Ereigniszeit Daten verarbeitet werden und wann sie materialisiert werden, während sie mit unbegrenzten Daten umgehen.

Definition

Betrachte eine beliebige Pipeline, die kontinuierlich Daten aufnimmt und Ergebnisse ausgibt. Wir möchten das allgemeine Problem lösen, wann es sicher ist, ein Ereignis-Zeit-Fenster als geschlossen zu bezeichnen, d. h., dass das Fenster keine weiteren Daten mehr erwartet. Dazu möchten wir den Fortschritt, ...