Procesamiento de flujos con Apache Flink

Capítulo 7. Operadores con estado y aplicaciones

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Operadores con estado y las funciones de usuario son componentes comunes de las aplicaciones de procesamiento de flujos. De hecho, la mayoría de las operaciones no triviales necesitan memorizar registros o resultados parciales porque los datos se transmiten en flujo y llegan con el tiempo.¹ Muchos de los operadores, fuentes y sumideros DataStream incorporados en Flink tienen estado y almacenan registros o mantienen resultados parciales o metadatos. Por ejemplo, un operador de ventana recopila registros de entrada para un ProcessWindowFunction o el resultado de aplicar un ReduceFunction, un ProcessFunction memoriza temporizadores programados, y algunas funciones de sumidero mantienen el estado sobre las transacciones para proporcionar una funcionalidad "exactamente una vez". Además de los operadores incorporados y las fuentes y sumideros proporcionados, la API DataStream de Flink expone interfaces para registrar, mantener y acceder al estado en funciones definidas por el usuario.

El procesamiento de flujo con estado tiene implicaciones en muchos aspectos de un procesador de flujo, como la recuperación de fallos y la gestión de la memoria, así como el mantenimiento de las aplicaciones de flujo. En los capítulos 2 y 3 se trataron los fundamentos del procesamiento de flujo con estado y los detalles relacionados de la ...