Kafka Verbinden

Kapitel 6. Spiegeln von Clustern mit MirrorMaker

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Der Vorgang des Kopierens von Daten zwischen zwei Kafka-Clustern wird als Spiegelung bezeichnet. Dieser Begriff wird verwendet, um diesen Prozess von dem Begriff "Replikation" zu unterscheiden, der sich normalerweise auf die Art und Weise bezieht, wie Daten in Kafka zwischen Brokern innerhalb des Clusters geteilt werden. In der Community werden jedoch oft beide Begriffe verwendet, wenn es um das Kopieren von Daten zwischen Clustern geht.

Die Idee, Daten zwischen Clustern zu spiegeln, ist fast so alt wie Kafka selbst. Bei der Gründung von Kafka war die Spiegelung eine Funktion des Brokers, bevor sie Anfang 2012 in ein eigenes Tool ausgelagert wurde. Das Tool war eine eigenständige Anwendung namens MirrorMaker, aber aufgrund seines ursprünglichen Designs hatte es eine Reihe von Einschränkungen und war schwer zu bedienen. Daher wurde 2019 über KIP-382 ein neues Spiegelungstool auf Basis von Kafka Connect eingeführt, das MirrorMaker2 heißt. Das ursprüngliche MirrorMaker-Tool ist seit Kafka 3.0 veraltet und wird in Kafka 4.0 (über KIP-720) entfernt; das neue Tool wird jetzt oft einfach MirrorMaker oder MM2 genannt.

In diesem Kapitel behandeln wir nur das neue Tool und nennen es MirrorMaker. Wir stellen Anwendungsfälle vor, die auf die Spiegelung angewiesen sind, erklären, wie die MirrorMaker-Konnektoren ...