Procesamiento de flujos con Apache Spark

Parte III. Spark Streaming

En esta parte, vamos a aprender sobre Spark Streaming.

Spark Streaming fue la primera API de streaming ofrecida en Apache Spark y actualmente la utilizan en producción muchas empresas de todo el mundo. Proporciona una API funcional potente y extensible basada en las abstracciones centrales de Spark. Hoy en día, Spark Streaming es madura y estable.

Nuestra exploración de Spark Streaming comienza con un ejemplo práctico que nos proporciona una sensación inicial del uso de su API y de su modelo de programación. A medida que avanzamos en esta parte, exploramos los distintos aspectos que intervienen en la programación y ejecución de aplicaciones Spark Streaming robustas:

• Comprender la abstracción Flujo Discretizado (DStream)

• Crear aplicaciones utilizando la API y el modelo de programación

• Consumir y producir datos utilizando fuentes de flujo y Operaciones de Salida

• Combinar SparkSQL y otras bibliotecas en aplicaciones de streaming

• Comprender las características de la tolerancia a fallos y cómo crear aplicaciones robustas

• Monitoreo y gestión de aplicaciones de streaming

Después de esta parte, tendrás los conocimientos necesarios para diseñar, implementar y ejecutar aplicaciones de procesamiento de flujos utilizando Spark Streaming. También estaremos preparados para la Parte IV, en la que cubrimos temas más avanzados como la aplicación de estructuras de datos probabilísticas para el procesamiento de flujos y el aprendizaje automático en línea. ...