Capítulo 97. ¡Tus pruebas de datos han fallado! ¿Y ahora qué?
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
Doctor Sam Bail
Enhorabuena: ¡has implementado con éxito la comprobación de datos en tu pipeline! Ya sea utilizando una herramienta estándar o un código de validación casero, has dado los pasos cruciales para garantizar una información de datos de alta calidad. Pero, ¿tienes también un plan para lo que ocurre cuando tus pruebas fallan realmente? En este capítulo, hablaremos de algunas etapas clave para responder a los fallos de las pruebas de datos y de las preguntas críticas que debes hacerte al desarrollar una estrategia de calidad de datos para tu equipo.
Respuesta del sistema
Las respuestas automatizadas del sistema son la primera línea de respuesta a una prueba de datos fallida. Puede consistir en no hacer nada, aislar los datos "malos" y continuar con la canalización, o detener la canalización.
Registro y alerta
¿Qué errores necesitan alertas y cuáles pueden simplemente registrarse para su uso posterior? ¿Qué medio (correo electrónico, Slack, PagerDuty, etc.) eliges para las alertas para asegurarte de que se reciben? ¿Cuándo se envían (instantáneamente, al final de la ejecución de un pipeline o a una hora fija)? Y, por último, ¿son las alertas lo suficientemente claras como para que los intervinientes ...
Get 97 cosas que todo ingeniero de datos debe saber now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
