Procesamiento del Lenguaje Natural Aplicado en la Empresa

Capítulo 8. BERTología: Ponerlo todo junto

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Juntos, hemos recorrido un largo camino desde que empezamos a juguetear con spacy en el Capítulo 1. Empezamos resolviendo los problemas de PLN más comunes de utilizando el equivalente en microondas de las bibliotecas de aprendizaje profundo, y luego pasamos a los detalles de bajo nivel, incluyendo la tokenización y las incrustaciones. Por el camino, cubrimos las redes recurrentes, incluidas las RNN, las LSTM y las GRU, así como la arquitectura Transformer y los mecanismos de atención.

Este capítulo, en muchos sentidos, es el gran final. Uniremos todas las piezas y seguiremos los pasos que condujeron al llamado momento ImageNet en 2018, que desde entonces ha provocado una oleada de entusiasmo en relación con las posibles aplicaciones comerciales de estos avances en PNL. También abordaremos algunas de estas posibilidades. Empecemos.

ImageNet

Merece la pena tomarse un momento para aclarar lo que queremos decir con "momento ImageNet". ImageNet es un conjunto de datos de visión por ordenador que se publicó originalmente en 2009. Se convirtió en un punto de referencia para el progreso en la clasificación de imágenes, una tarea central de la visión por ordenador, y dio lugar a una competición anual de visión por ordenador para ver qué equipo de investigación podía identificar mejor los objetos de las imágenes del conjunto de ...