Streaming-Systeme

Kapitel 5. Exakt-einfach und Nebenwirkungen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Wir gehen jetzt von der Diskussion über Programmiermodelle und APIs zu den Systemen über, die sie implementieren. Mit einem Modell und einer API können Nutzer/innen beschreiben, was sie berechnen wollen. Um die Berechnungen tatsächlich in großem Maßstab durchzuführen, ist ein System erforderlich - in der Regel ein verteiltes System.

In diesem Kapitel konzentrieren wir uns darauf, wie ein implementierendes System das Beam-Modell korrekt umsetzen kann, um genaue Ergebnisse zu erzielen. Bei Streaming-Systemen wird oft von einer exakten Verarbeitung gesprochen, d. h. es wird sichergestellt, dass jeder Datensatz genau einmal verarbeitet wird. Wir werden erklären, was wir damit meinen und wie es umgesetzt werden kann.

Als motivierendes Beispiel konzentriert sich dieses Kapitel auf die Techniken, die von Google Cloud Dataflow verwendet werden, um eine effiziente Exact-once-Verarbeitung von Datensätzen zu garantieren. Gegen Ende des Kapitels schauen wir uns auch Techniken an, die von einigen anderen beliebten Streaming-Systemen verwendet werden, um genau einmal zu garantieren.

Warum genau einmal wichtig ist

Es versteht sich fast von selbst, dass für viele Nutzer das Risiko von verlorenen Datensätzen oder Datenverlusten in ihren Datenverarbeitungspipelines inakzeptabel ist. In der Vergangenheit haben viele allgemeine ...