Die Self-Service-Daten-Roadmap

Kapitel 11. Datenumwandlungsdienst

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Bisher haben wir in der Build-Phase die Methodik für den Umgang mit polyglotten Datenmodellen und die Abfrageverarbeitung, die für die Implementierung der Insight-Logik erforderlich ist, fertiggestellt. In diesem Kapitel gehen wir näher auf die Implementierung der Geschäftslogik ein, die traditionell dem Muster Extract-Transform-Load (ETL) oder Extract-Load-Transform (ELT) folgt.

Bei der Entwicklung von Transformationslogik gibt es ein paar wichtige Probleme. Erstens: Datennutzer sind Experten für Geschäftslogik, brauchen aber technische Unterstützung, um die Logik in großem Umfang zu implementieren. Das heißt, dass angesichts des exponentiellen Datenwachstums verteilte Programmiermodelle erforderlich sind, um die Logik zuverlässig und performant zu implementieren. Dies verlangsamt oft den Gesamtprozess, da die Datennutzer den Ingenieuren die Geschäftslogik erklären und anschließend die Benutzerakzeptanztests (UAT) durchführen müssen. Zweitens besteht ein zunehmender Bedarf an Echtzeit-Geschäftslogikumwandlungen. Traditionell war die Umwandlung stapelorientiert und umfasste das Lesen aus einer Datei, die Umwandlung des Formats, die Verknüpfung mit verschiedenen Datenquellen usw. Datennutzer sind keine Experten für die Entwicklung von Programmiermodellen, insbesondere für Echtzeiteinblicke. Drittens erfordert die ...