Aprendizaje profundo a escala

Capítulo 6. Fundamentos teóricos del aprendizaje profundo distribuido

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Este capítulo presenta los conceptos clave y las formulaciones teóricas del aprendizaje profundo distribuido (DDL), basándose en tu aprendizaje de la Parte I de este libro. Volverás a examinar los sistemas centralizados y descentralizados (descritos en el capítulo anterior) a través de la lente del DDL y explorarás el impacto en el flujo de datos y los gráficos de cálculo cuando se utilizan estas técnicas. En este capítulo, también conocerás los distintos tipos de aprendizaje distribuido y cómo decidir qué tipo de DDL puede ser el más adecuado para escalar tu entrenamiento.

Aprendizaje profundo distribuido

El Capítulo 2 describió el flujo de datos durante el entrenamiento, explicando el flujo de cálculo del gradiente, que implica el paso hacia delante y el paso hacia atrás, y el flujo de actualización de parámetros, que se guía por técnicas de optimización como el descenso de gradiente. En la Figura 6-1 se muestra una presentación pictórica de estos flujos. Como se muestra en esta figura, el flujo de cálculo del gradiente (indicado por las flechas sólidas) es local a los gráficos de cálculo, mientras que el flujo de actualización de parámetros (indicado por las flechas discontinuas) cierra el bucle para completar el aprendizaje de cada paso de optimización.

Figura 6-1. Revisión del flujo de ...