Natural Language Processing mit Transformern

KAPITEL 11

Künftige Herausforderungen

Im Verlauf dieses Buchs haben wir die eindrucksvollen Fähigkeiten von Transformern im Rahmen einer Vielzahl von NLP-Aufgaben erkundet. In diesem abschließenden Kapitel wechseln wir nun die Perspektive und befassen uns mit einigen der aktuellen Herausforderungen im Zusammenhang mit diesen Modellen und den Entwicklungen in der Forschung, die darauf abzielen, diese zu überwinden. Im ersten Teil beschäftigen wir uns mit der Skalierung von Transformer-Modellen, sowohl in Bezug auf das Modell als auch auf die Größe des verwendeten Korpus. Anschließend richten wir unsere Aufmerksamkeit auf verschiedene Techniken, die dazu beitragen sollen, den Self-Attention-Mechanismus effizienter zu gestalten. Schließlich sehen ...