Skalierung von Machine Learning mit Spark

Kapitel 7. Brückenschlag zwischen Spark und Deep Learning Frameworks

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Bisher lag der Schwerpunkt dieses Buches auf der Nutzung der Fähigkeiten von Spark für die Skalierung von Machine Learning Workloads. Aber Spark ist oft eine natürliche Wahl für skalierbare Analyse-Workloads, und in vielen Unternehmen können Datenwissenschaftler die Vorteile der bestehenden Teams nutzen, die Spark unterstützen. In diesem Szenario sind Data Scientists, Data Engineers, Machine Learning Engineers und Analytics Engineers alle Konsumenten und/oder Erzeuger der Daten und teilen sich die Verantwortung für die Machine Learning Infrastruktur. Der Einsatz eines skalierbaren, vielseitigen und generischen Tools wie Apache Spark erleichtert diese Zusammenarbeit.

Doch obwohl Spark eine leistungsstarke Allzweck-Engine mit umfangreichen Funktionen ist, fehlen ihm einige wichtige Funktionen, um skalierbare Deep Learning-Workflows vollständig zu unterstützen. Das ist der natürliche Fluch von Entwicklungsframeworks: In der verteilten Welt muss jedes Framework Entscheidungen auf der Infrastrukturebene treffen, die später die Möglichkeiten der API begrenzen und ihre Leistung einschränken. Die Beschränkungen von Spark sind größtenteils an die zugrundeliegende Prämisse gebunden, dass alle Algorithmusimplementierungen unbegrenzt skalierbar sein müssen, was voraussetzt, dass das Modell ...