Procesamiento del Lenguaje Natural con Transformadores, Edición Revisada

Capítulo 10. Formar transformadores desde cero

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

En el párrafo inicial de este libro, mencionamos una sofisticada aplicación llamada GitHub Copilot que utiliza transformadores similares a GPT para realizar el autocompletado de código, una función especialmente útil cuando se programa en un nuevo lenguaje o framework o se está aprendiendo a codificar, o para producir automáticamente código repetitivo. Otros productos que utilizan modelos de IA con este fin son TabNine yKite. Más adelante, en el Capítulo 5, vimos más de cerca cómo podemos utilizar modelos de GPT para generar texto de alta calidad. En este capítulo, cerraremos el círculo y construiremos nuestro propio modelo similar a GPT para generar código fuente Python. Al modelo resultante lo llamaremos CodeParrot.

Hasta ahora hemos trabajado sobre todo en aplicaciones con restricciones de datos, en las que la cantidad de datos de entrenamiento etiquetados es limitada. En estos casos, el aprendizaje por transferencia nos ayudó a construir modelos eficaces. Llevamos el aprendizaje por transferencia al límite en el Capítulo 9, donde apenas utilizamos datos de entrenamiento.

En este capítulo pasaremos al otro extremo y veremos qué podemos hacer cuando nos ahogamos en todos los datos que podamos desear. Exploraremos el paso de preentrenamiento propiamente dicho y aprenderemos a entrenar un transformador desde cero. Al ...