Deep Learning illustriert

BBackpropagation

In diesem Anhang nutzen wir die formale Notation für neuronale Netzwerke aus Anhang A, um uns die partiellen Ableitungen anzuschauen, die hinter der Backpropagation-Methode stecken, die wir in Kapitel 8 vorgestellt haben.

Beginnen wir damit, einige zusätzliche Notationen zu definieren, die uns dabei helfen sollen. Backpropagation arbeitet rückwärts, die Notation basiert daher auf der letzten Schicht (mit L bezeichnet), und die früheren Schichten werden in Bezug auf diese Schicht annotiert (L-1, L-2, … L-n). Die Gewichte, Bias und Ausgaben aus Funktionen sind entsprechend mit der gleichen, hochgestellten Notation gekennzeichnet. Erinnern Sie sich an die Gleichungen 7–1 und 7–2: Die Aktivierung der Schicht a^L wird durch die Multiplikation ...