Angewandte natürliche Sprachverarbeitung im Unternehmen

Kapitel 8. BERTologie: Das Ganze zusammenfügen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Gemeinsam haben wir einen weiten Weg zurückgelegt, seit wir in Kapitel 1 mit spacy angefangen haben zu tüfteln. Wir begannen damit, die häufigsten NLP-Probleme mit dem Mikrowellen-Äquivalent der Deep-Learning-Bibliotheken zu lösen, und gingen dann zu den Low-Level-Details über, einschließlich Tokenisierung und Einbettung. Auf dem Weg dorthin haben wir uns mit rekurrenten Netzwerken wie RNNs, LSTMs und GRUs sowie mit der Transformer-Architektur und den Aufmerksamkeitsmechanismen beschäftigt.

Dieses Kapitel ist in vielerlei Hinsicht das große Finale. Wir werden alle Teile zusammenfügen und die Schritte zurückverfolgen, die zum sogenannten ImageNet-Moment im Jahr 2018 geführt haben, der seitdem zu einer großen Aufregung über die möglichen kommerziellen Anwendungen dieser Fortschritte im NLP geführt hat. Wir werden auch auf einige dieser Möglichkeiten eingehen. Fangen wir an.

ImageNet

Es lohnt sich, kurz zu klären, was wir mit "ImageNet-Moment" meinen . ImageNet ist ein Computer-Vision-Datensatz, der ursprünglich 2009 veröffentlicht wurde. Er wurde zu einem Maßstab für den Fortschritt bei der Bildklassifizierung, einer Kernaufgabe der Computer Vision, und war der Auslöser für einen jährlichen Wettbewerb, bei dem es darum ging, welches Forschungsteam die Objekte in den Bildern des Datensatzes mit der geringsten ...