Stream Processing mit Apache Flink

Kapitel 2. Grundlagen der Stream-Verarbeitung

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Bisher hast du gesehen, wie die Stream-Verarbeitung einige der Grenzen der traditionellen Stapelverarbeitung überwindet und wie sie neue Anwendungen und Architekturen ermöglicht. Du weißt auch ein wenig über die Entwicklung der Open-Source-Stream-Verarbeitung und wie eine Flink-Streaming-Anwendung aussieht. In diesem Kapitel wirst du endgültig in die Welt des Streamings einsteigen.

Das Ziel dieses Kapitels ist es, die grundlegenden Konzepte der Stream-Verarbeitung und die Anforderungen an ihre Frameworks vorzustellen. Wir hoffen, dass du nach der Lektüre dieses Kapitels in der Lage bist, die Funktionen moderner Stream-Processing-Systeme zu beurteilen.

Einführung in die Datenflussprogrammierung

Bevor wir uns auf mit den Grundlagen der Stream-Verarbeitung befassen, wollen wir einen Blick auf den Hintergrund der Datenflussprogrammierung und die Terminologie werfen, die wir in diesem Buch verwenden werden.

Datenflussdiagramme

Wie der Name schon sagt, beschreibt ein Datenflussprogramm, wie die Daten zwischen den Operationen fließen. Datenflussprogramme werden in der Regel als gerichtete Graphen dargestellt, wobei die Knoten Operatoren genannt werden und Berechnungen darstellen und die Kanten Datenabhängigkeiten repräsentieren. Operatoren sind die grundlegenden Funktionseinheiten einer Datenflussanwendung. ...