Capítulo 10. Medición y monitoreo del rendimiento de las tuberías
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
Incluso las canalizaciones de datos mejor diseñadas no están pensadas para "instalarse y olvidarse". La práctica de medir y monitorear el rendimiento de los conductos es esencial. Debes a tu equipo y a las partes interesadas establecer y cumplir las expectativas en cuanto a la fiabilidad de tus conductos.
Este capítulo esboza algunos consejos y buenas prácticas para hacer algo que los equipos de datos ofrecen a otros, pero en lo que sorprendentemente no siempre invierten ellos mismos: recopilar datos y medir el rendimiento de su trabajo.
Métricas clave de la tubería
Antes de que puedas determinar qué datos necesitas capturar a lo largo de tus pipelines, primero debes decidir qué métricas quieres seguir.
La elección de las métricas debe empezar por identificar lo que te importa a ti y a las partes interesadas. Algunos ejemplos son los siguientes
-
Cuántas pruebas de validación (ver Capítulo 8) se ejecutan, y qué porcentaje del total de pruebas ejecutadas pasan
-
Con qué frecuencia se ejecuta correctamente un DAG específico
-
El tiempo total de ejecución de un pipeline a lo largo de semanas, meses y años
Get Referencia de bolsillo sobre canalizaciones de datos now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
