Deep Learning – Grundlagen und Implementierung

KAPITEL 6

RNNs – Rekurrente neuronale Netze

In diesem Kapitel befassen wir uns mit rekurrenten (rückkopplungsbasierten) neuronalen Netzen (RNNs), die für die Arbeit mit sequenziellen Daten besonders gut geeignet sind, d.h., die Reihenfolge der Daten spielt eine wesentliche Rolle. Die bisher gesehenen neuronalen Netze haben die übergebenen Batches jeweils als unabhängige Beobachtungen behandelt. Bei den MNIST-Zahlen »wusste« das Netz beispielsweise nicht, welche Zahlen den aktuellen vorangingen oder danach kamen – weder in den vollständig verbundenen Netzen aus Kapitel 4 noch in den faltungsbasierten Netzen in Kapitel 5.

Viele Arten von Daten besitzen eine eigene Ordnung, etwa Zeitreihen, die beispielsweise aus einem finanziellen oder industriellen ...