Kafka: La Guía Definitiva, 2ª Edición

Capítulo 14. Tratamiento de flujos

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Kafka se consideraba tradicionalmente un potente bus de mensajes, capaz de entregar flujos de eventos, pero sin capacidades de procesamiento o transformación. Las fiables capacidades de entrega de flujos de Kafka lo convierten en una fuente de datos perfecta para los sistemas de procesamiento de flujos. Apache Storm, Apache Spark Streaming, Apache Flink, Apache Samza y muchos más sistemas de procesamiento de flujos se construyeron con Kafka como única fuente de datos fiable.

Con el aumento de la popularidad de Apache Kafka, primero como un simple bus de mensajes y más tarde como un sistema de integración de datos, muchas empresas tenían un sistema que contenía muchos flujos de datos interesantes, almacenados durante mucho tiempo y perfectamente ordenados, a la espera de que apareciera algún marco de procesamiento de flujos y los procesara. En otras palabras, del mismo modo que el procesamiento de datos era mucho más difícil antes de que se inventaran las bases de datos, el procesamiento de flujos se vio frenado por la falta de una plataforma de procesamiento de flujos.

A partir de la versión 0.10.0, Kafka hace algo más que proporcionar una fuente fiable de flujos de datos a todos los marcos de procesamiento de flujos populares. Ahora Kafka incluye una potente biblioteca de procesamiento de flujos como parte de su colección de bibliotecas ...