Procesamiento de flujos con Apache Flink

Capítulo 8. Lectura y escritura en sistemas externos

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Los datos pueden almacenarse en muchos sistemas diferentes, como sistemas de archivos, almacenes de objetos, sistemas de bases de datos relacionales, almacenes de clave-valor, índices de búsqueda, registros de eventos, colas de mensajes, etc. Cada clase de sistemas se ha diseñado para patrones de acceso específicos y destaca por servir a un propósito determinado. En consecuencia, las infraestructuras de datos actuales suelen estar formadas por muchos sistemas de almacenamiento diferentes. Antes de añadir un nuevo componente a la mezcla, una pregunta lógica debería ser: "¿Qué tal funciona con los demás componentes de mi pila?".

Añadir un sistema de procesamiento de datos, como Apache Flink, requiere consideraciones cuidadosas porque no incluye su propia capa de almacenamiento, sino que depende de sistemas de almacenamiento externos para ingerir y persistir datos. Por ello, es importante que los procesadores de datos como Flink proporcionen una biblioteca bien equipada de conectores para leer datos de sistemas externos y escribirlos en ellos, así como una API para implementar conectores personalizados. Sin embargo, el mero hecho de poder leer o escribir datos en almacenes de datos externos no es suficiente para un procesador de flujo que quiera ofrecer garantías de consistencia significativas en caso de fallo.