Aprender Spark, 2ª Edición

Capítulo 2. Descarga de Apache Spark y primeros pasos

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

En este capítulo, te ayudaremos a configurarte con Spark y te explicaremos tres sencillos pasos que puedes seguir para empezar a escribir tu primera aplicación independiente.

Utilizaremos el modo local, en el que todo el procesamiento se realiza en una sola máquina en un intérprete de comandos Spark: es una forma sencilla de aprender el marco, ya que proporciona un rápido bucle de retroalimentación para realizar operaciones Spark de forma iterativa. Utilizando un intérprete de comandos Spark, puedes crear prototipos de operaciones Spark con pequeños conjuntos de datos antes de escribir una aplicación Spark compleja, pero para grandes conjuntos de datos o trabajo real en el que quieras aprovechar los beneficios de la ejecución distribuida, el modo local no es adecuado; en su lugar, querrás utilizar los modos de implementación YARN o Kubernetes.

Aunque el shell de Spark sólo admite Scala, Python y R, puedes escribir una aplicación Spark en cualquiera de los lenguajes admitidos (incluido Java) y emitir consultas en Spark SQL. Esperamos que estés familiarizado con el lenguaje que elijas.

Paso 1: Descargar Apache Spark

Para empezar, ve a la página de descargas de Spark, selecciona "Pre-construido para Apache Hadoop 2.7" en el menú desplegable del paso 2, y haz clic en el enlace "Descargar Spark" del paso 3(Figura ...