Referencia de bolsillo sobre canalizaciones de datos

Capítulo 9. Buenas prácticas para el mantenimiento de las tuberías

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Hasta ahora, este libro se ha centrado en la construcción de canalizaciones de datos. Este capítulo trata de cómo mantener esos conductos a medida que te enfrentas a una mayor complejidad y a los inevitables cambios en los sistemas de los que dependen tus conductos.

Gestión de cambios en los sistemas fuente

Uno de los retos de mantenimiento más comunes para los ingenieros de datos es enfrentarse al hecho de que los sistemas de los que ingieren datos no son estáticos. Los desarrolladores siempre están haciendo cambios en su software, ya sea añadiendo funciones, refactorizando el código base o corrigiendo errores. Cuando esos cambios introducen una modificación en el esquema o el significado de los datos que hay que ingerir, una canalización corre el riesgo de fallar o ser imprecisa.

Como se ha comentado a lo largo de este libro, la realidad de una infraestructura de datos moderna es que los datos se ingieren desde una gran diversidad de fuentes. Como resultado, es difícil encontrar una solución única para gestionar los cambios de esquema y lógica empresarial en los sistemas fuente. No obstante, hay algunas buenas prácticas en las que recomiendo invertir.

Introducir la abstracción

Siempre que sea posible, es mejor introducir una capa de abstracción entre el sistema fuente y el proceso de ingestión. ...