Procesamiento de flujos con Apache Flink

Capítulo 3. La arquitectura de Apache Flink

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Enel capítulo 2 se trataron en conceptos importantes del procesamiento distribuido de flujos, como la paralelización, el tiempo y el estado. En este capítulo, ofrecemos una introducción de alto nivel a la arquitectura de Flink y describimos cómo Flink aborda los aspectos del procesamiento de flujos que hemos tratado anteriormente. En concreto, explicamos la arquitectura distribuida de Flink, mostramos cómo gestiona el tiempo y el estado en las aplicaciones de flujo y discutimos sus mecanismos de tolerancia a fallos. Este capítulo proporciona información de fondo relevante para implementar y operar con éxito aplicaciones de streaming avanzadas con Apache Flink. Te ayudará a comprender el funcionamiento interno de Flink y a razonar sobre el rendimiento y el comportamiento de las aplicaciones de streaming.

Arquitectura del sistema

Flink es un sistema distribuido para el procesamiento de flujos de datos paralelos con estado. Una configuración de Flink consta de varios procesos que suelen ejecutarse distribuidos en varias máquinas. Los retos habituales que deben abordar los sistemas distribuidos son la asignación y gestión de recursos informáticos en un clúster, la coordinación de procesos, el almacenamiento de datos duradero y de alta disponibilidad, y la recuperación ante fallos.

Flink no implementa toda esta funcionalidad ...