Deep Learning im Maßstab

Teil II. Verteilte Ausbildung

Dieser Abschnitt geht auf die Details der verteilten Ausbildung ein und bietet ein umfassendes Verständnis der grundlegenden Konzepte und praktischen Anwendungen. Er beginnt mit einer Einführung in verteilte Systeme und die Herausforderungen der Kommunikation, die für eine effektive Skalierung von Hardware-Ressourcen unerlässlich sind. Darauf aufbauend werden die theoretischen Rahmenbedingungen für verteilte Deep-Learning-Trainingstechniken erläutert und die Datenparallelität eingehend untersucht, ergänzt durch praktische Übungen. Darüber hinaus werden Einblicke in die Skalierung des Modelltrainings durch verschiedene Parallelitätstechniken wie Modell-, Pipeline-, Tensor- und Hybrid-Parallelität gegeben und ihre Herausforderungen und Grenzen anhand praktischer Erfahrungen aufgezeigt. Abschließend wird dieses Wissen konsolidiert, indem Fachwissen zur Realisierung von mehrdimensionaler Parallelität für effizientes Deep Learning im großen Maßstab vermittelt wird.