Procesamiento del Lenguaje Natural con Transformadores, Edición Revisada

Capítulo 11. Orientaciones futuras

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

A lo largo de este libro hemos explorado las potentes capacidades de los transformadores en una amplia gama de tareas de PNL. En este capítulo final, cambiaremos de perspectiva y examinaremos algunos de los retos actuales de estos modelos y las tendencias de investigación que intentan superarlos. En la primera parte exploramos el tema del escalado de los transformadores, tanto en términos de tamaño del modelo como del corpus. Luego dirigimos nuestra atención hacia diversas técnicas que se han propuesto para hacer más eficaz el mecanismo de autoatención. Por último, exploramos el campo emergente y apasionante de los transformadores multimodales, que pueden modelar entradas de múltiples dominios como texto, imágenes y audio.

Transformadores de escala

En 2019, el investigador Richard Suttonescribió un provocador ensayo titulado "La amarga lección" en el que sostenía que:

La mayor lección que puede extraerse de 70 años de investigación en IA es que los métodos generales que aprovechan la computación son, en última instancia, los más eficaces, y por un amplio margen.... Al buscar una mejora que marque la diferencia a corto plazo, los investigadores tratan de aprovechar su conocimiento humano del dominio, pero lo único que importa a largo plazo es el aprovechamiento de la computación. Estos dos enfoques no tienen por qué ser opuestos, ...