Procesamiento de flujos con Apache Spark

Parte II. Streaming estructurado

En esta parte, examinamos el Streaming Estructurado.

Comenzamos nuestro viaje explorando un ejemplo práctico que debería ayudarte a construir tu intuición para el modelo. A partir de ahí, examinamos la API y entramos en los detalles de los siguientes aspectos del procesamiento de flujos:

• Consumir datos utilizando fuentes

• Construir lógica de procesamiento de datos utilizando la rica API Streaming Dataframe/Dataset

• Comprender y trabajar con el tiempo del acontecimiento

• Tratar con el estado en las aplicaciones de streaming

• Aprender sobre transformaciones arbitrarias con estado

• Escribir los resultados en otros sistemas utilizando sumideros

Antes de terminar, ofrecemos una visión general de los aspectos operativos del Streaming Estructurado.

Por último, exploramos los desarrollos actuales de esta nueva y apasionante API de streaming y proporcionamos información sobre áreas experimentales como las aplicaciones de aprendizaje automático y el procesamiento de datos casi en tiempo real con streaming continuo.