Capítulo 3. Anatomía del transformador
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
En el Capítulo 2 vimos lo que se necesita para afinar y evaluar un transformador. Ahora echemos un vistazo a cómo funcionan bajo el capó. En este capítulo exploraremos los principales bloques de construcción de los modelos de transformador y cómo implementarlos utilizando PyTorch. También te orientaremos sobre cómo hacer lo mismo en TensorFlow. Primero nos centraremos en construir el mecanismo de atención, y luego añadiremos las piezas necesarias para que funcione un codificador de transformadores. También echaremos un breve vistazo a las diferencias arquitectónicas entre los módulos codificador y decodificador. ¡Al final de este capítulo serás capaz de implementar tú mismo un modelo de transformador sencillo!
Aunque en general no es necesario un profundo conocimiento técnico de la arquitectura de los Transformadores para utilizar 
Transformers y ajustar los modelos a tu caso de uso, puede ser útil para comprender y navegar por las limitaciones de los Transformadores y utilizarlos en nuevos dominios.
Este capítulo también presenta una taxonomía de los transformadores para ayudarte a comprender el zoo de modelos que han surgido en los últimos años. Antes de sumergirnos en el código, empecemos con una visión general de la arquitectura ...
Get Procesamiento del Lenguaje Natural con Transformadores, Edición Revisada now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
