Grundlagen der Beobachtbarkeit von Daten

Grundlagen der Beobachtbarkeit von Daten

by Andy Petrella
Released September 2024
Publisher(s): O'Reilly Media, Inc.
ISBN: 9781098192600

Read it now on the O’Reilly learning platform with a 10-day free trial.

O’Reilly members get unlimited access to books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.

Start your free trial

Book description

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com

Erkenne, behebe und verhindere schnell eine Vielzahl von Datenproblemen durch Datenbeobachtung, eine Reihe von Best Practices, die es Datenteams ermöglichen, einen besseren Einblick in die Daten und ihre Nutzung zu erhalten. Wenn du als Dateningenieur/in, Datenarchitekt/in oder Ingenieur/in für maschinelles Lernen auf die Qualität deiner Daten angewiesen bist, zeigt dir dieses Buch, wie du dich auf die praktischen Aspekte der Einführung von Datenbeobachtung in deiner täglichen Arbeit konzentrieren kannst.

Der Autor Andy Petrella hilft dir, die richtigen Gewohnheiten zu entwickeln, um Datenprobleme wie Datendrifts und schlechte Qualität zu erkennen und zu lösen, damit du ihre Ausbreitung in Datenanwendungen, Pipelines und Analysen stoppen kannst. Du lernst, wie du die Beobachtbarkeit von Daten einführen kannst, einschließlich der Einrichtung eines Rahmens für die Generierung und Sammlung aller benötigten Informationen.

  • Lerne die Grundprinzipien und Vorteile der Datenbeobachtung kennen
  • Datenbeobachtung nutzen, um Datenprobleme zu erkennen, zu beheben und zu verhindern
  • Befolge die Rezepte des Buches, um Beobachtbarkeit in deinen Datenprojekten zu implementieren
  • Nutze Datenbeobachtung, um einen vertrauenswürdigen Kommunikationsrahmen mit Datenkonsumenten zu schaffen
  • Erfahre, wie du deine Kollegen über die Vorteile der Datenbeobachtung aufklären kannst.

Table of contents

  1. Vorwort
    1. Überblick über das Buch
    2. Wer sollte dieses Buch lesen?
    3. In diesem Buch verwendete Konventionen
    4. Code-Beispiele verwenden
    5. O'Reilly Online Learning
    6. Wie du uns kontaktierst
    7. Danksagungen
  2. I. Einführung in die Beobachtbarkeit von Daten
  3. 1. Einführung in die Beobachtbarkeit von Daten
    1. Skalierung von Datenteams
      1. Herausforderungen bei der Skalierung von Datenteams
      2. Getrennte Rollen und Zuständigkeiten und organisatorische Komplexität
      3. Anatomie von Datenproblemen und Konsequenzen
      4. Auswirkungen von Datenproblemen auf die Dynamik von Datenteams
      5. KI-Straßenblockaden bei der Skalierung
    2. Herausforderungen bei den aktuellen Datenmanagement-Praktiken
      1. Auswirkungen von Data Governance im großen Maßstab
      2. Die Beobachtbarkeit der Daten ist die Rettung
      3. Die Bereiche der Beobachtbarkeit
    3. Wie Datenteams die Beobachtbarkeit von Daten jetzt nutzen können
      1. Erkennung von Datenproblemen mit niedriger Latenzzeit
      2. Effiziente Fehlerbehebung bei Datenproblemen
      3. Vorbeugung von Datenproblemen
      4. Dezentrales Datenqualitätsmanagement
      5. Ergänzung bestehender Data Governance-Fähigkeiten
      6. Die Zukunft und darüber hinaus
    4. Fazit
  4. 2. Komponenten der Beobachtbarkeit von Daten
    1. Kanäle der Daten Beobachtbarkeit Informationen
      1. Logs
      2. Traces
      3. Metriken
    2. Beobachtungen Modell
      1. Physischer Raum
      2. Server
      3. Benutzer
      4. Statischer Raum
      5. Dynamischer Raum
    3. Erwartungen
      1. Regeln
      2. Automatische Anomalie-Erkennung
      3. Müll rein, Müll raus verhindern
    4. Fazit
  5. 3. Rollen der Datenbeobachtbarkeit in einer Datenorganisation
    1. Datenarchitektur
      1. Wo passt die Beobachtbarkeit von Daten in eine Datenarchitektur?
      2. Datenarchitektur mit Beobachtbarkeit der Daten
    2. Wie Datenbeobachtung bei Data Engineering hilft Unterströmungen
      1. Sicherheit
      2. Datenmanagement
    3. Unterstützung für Data Meshs Daten als Produkte
    4. Fazit
  6. II. Implementierung der Beobachtbarkeit von Daten
  7. 4. Datenbeobachtungen generieren
    1. An der Quelle
    2. Erzeugen von Datenbeobachtungen an der Quelle
    3. Low-Level-API in Python
      1. Beschreibung der Datenpipeline
      2. Definition des Status der Datenpipeline
      3. Datenbeobachtungen für die Datenpipeline
      4. Erzeugen von kontextbezogenen Daten Beobachtungen
      5. Datenbezogene Beobachtungen generieren
      6. Erzeugen von Beobachtungen zu abstammungsbezogenen Daten
      7. Wrap-Up: Die Daten-Beobachtungs-Daten-Pipeline
      8. Datenbeobachtungen zur Behebung von Fehlern in der Datenpipeline nutzen
    4. Fazit
  8. 5. Automatisiere die Erstellung von Datenbeobachtungen
    1. Strategien der Abstraktion
      1. Ereignis-Listener
      2. Aspektorientierte Programmierung
    2. High-Level-Anwendungen
      1. No-Code-Anwendungen
      2. Low-Code-Anwendungen
    3. Unterschiede zwischen den Überwachungsalternativen
    4. Fazit
  9. 6. Umsetzung der Erwartungen
    1. Erwartungen einführen
      1. Shift-Left Datenqualität
      2. Corner Cases Entdeckung
      3. Anhebung der Service Level Indikatoren
      4. Daten-Profiler verwenden
    2. Erwartungen aufrechterhalten
    3. Übergreifende Praktiken
      1. Fail Fast und Fail Safe
      2. Vereinfachen Sie Tests und erweitern Sie CI/CD
    4. Fazit
  10. III. Datenbeobachtbarkeit in Aktion
  11. 7. Integration von Datenbeobachtung in deinen Datenstapel
    1. Verschlucken Stufe
      1. Ingestion Stage Data Observability Recipes
      2. Airbyte Agent
    2. Transformation
      1. Transformationsphase Daten Beobachtbarkeit Rezepte
      2. Apache Spark
      3. dbt Agent
    3. Dienen
      1. Rezepte
      2. BigQuery in Python
      3. Orchestriertes SQL mit Airflow
    4. Analytik
      1. Rezepte für maschinelles Lernen
      2. Business Intelligence-Rezepte
    5. Fazit
  12. 8. Undurchsichtige Systeme lichtdurchlässig machen
    1. Daten Transluzenz
    2. Undurchsichtige Systeme
      1. SaaS
      2. Nicht anfassen; es funktioniert (irgendwie)
      3. Vererbte Systeme
    3. Strategien zur Datentransparenz
      1. Strategien
      2. Der Data Observability Connector
      3. Beispiel: Aufbau eines dbt Data Observability Connector (SaaS)
    4. Fazit
  13. Nachwort: Zukünftige Beobachtungen
    1. Vereinheitlichung der Verarbeitung
    2. Generative Meilensteine
    3. Vertrauenswürdige, erweiterte Kreativität
    4. Fazit
  14. Index
  15. Über den Autor

Product information

  • Title: Grundlagen der Beobachtbarkeit von Daten
  • Author(s): Andy Petrella
  • Release date: September 2024
  • Publisher(s): O'Reilly Media, Inc.
  • ISBN: 9781098192600