Kafka Verbinden

Kapitel 3. Komponenten in einer Kafka Connect-Datenpipeline

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Eine Kafka-Connect-Pipeline umfasst ein oder mehrere Plug-ins und eine Kafka-Connect-Laufzeitumgebung, die für deren Ausführung verantwortlich ist. Kafka Connect streamt Daten zwischen einem Kafka-Cluster und einem oder mehreren externen Systemen. In der Regel interagiert eine Kafka Connect-Pipeline mit einem einzelnen Kafka-Cluster. Für einen einzelnen Kafka-Cluster gibt es keine Begrenzung für die Anzahl der Kafka-Connect-Pipelines, an denen er beteiligt sein kann.

In diesem Kapitel werfen wir einen genaueren Blick auf die Runtime und jedes der Kafka Connect Connector Plug-ins: Konnektoren, Konverter, Transformationen und Prädikate. Für jede Komponente erklären wir, welche Rolle sie in den Pipelines spielt und wie sie zu verwenden ist. Oft wird der Begriff "Connect" für eine Komponente oder die gesamte Pipeline verwendet, daher führen wir die richtigen Begriffe für jede Komponente ein, damit du sie unterscheiden kannst. Am Ende dieses Kapitels wirst du wissen, wie du eine grundlegende Kafka-Connect-Pipeline mit der offiziellen Kafka-Distribution erstellen, konfigurieren und ausführen kannst.

Kafka Connect Runtime

Im Kern ist Kafka Connect eine Laufzeitumgebung, die Datenpipelines ausführt und verwaltet. Du kannst Kafka Connect ganz einfach auf einem Laptop ausführen, indem du die Skripte, ...