Deep Learning im Maßstab

Kapitel 12. Effiziente Feinabstimmung von großen Modellen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Wie in den vorangegangenen Kapiteln dieses Buches erläutert hat, steigt die Kapazität von Deep-Learning-Modellen rapide an. Das Skalierungsgesetz des Deep Learning (siehe Kapitel 1) treibt die (Über-)Parametrisierung immer weiter voran, so dass Modelle auf der Ebene des menschlichen Gehirns mit Hunderten von Billionen von Parametern gebaut wurden.¹ Der allgemeine Trend in der Industrie geht weg von dem bewährten Ansatz, kleine, zweckgebundene Modelle für bestimmte Aufgaben zu entwickeln, und hin zu einer schnellen Anpassung großer, universell einsetzbarer Modelle an die jeweilige Aufgabe durch den Einsatz von Feinabstimmungs- und Meta-Lerntechniken, wie sie in Kapitel 11 beschrieben werden. Dieser neuere Ansatz, über den du in Kapitel 13 mehr erfährst, ist zwar in Bezug auf die Entwicklungskosten wirtschaftlicher, aber seine Wirksamkeit ist noch relativ unerprobt.

Dieser Wandel ist zu begrüßen, denn er hat das Potenzial, die Entwicklungszeit zu minimieren und die Zeit bis zur Produktion zu verkürzen. Gemäß dem "No free lunch"-Theorem bringt sie jedoch auch ihre eigenen Herausforderungen mit sich - zum Beispiel im Umgang mit begrenzten Hardware-Ressourcen. Dieses Kapitel konzentriert sich auf den Ansatz, ein größeres Modell für eine bestimmte Aufgabe anzupassen, und erweitert die Diskussion ...