Skalierung von Machine Learning mit Spark

Kapitel 6. Modelle mit Spark MLlib trainieren

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Nachdem du nun gelernt hast, wie man Experimente zum maschinellen Lernen verwaltet, ein Gefühl für die Daten bekommt und Features entwickelt, ist es an der Zeit, einige Modelle zu trainieren.

Was bedeutet das genau? Beim Trainieren eines Modells werden die Modellparameter so angepasst oder verändert, dass sich seine Leistung verbessert. Die Idee dabei ist, dein maschinelles Lernmodell mit Trainingsdaten zu füttern, die ihm beibringen, wie es eine bestimmte Aufgabe lösen kann - zum Beispiel ein Objekt auf einem Foto als Katze zu klassifizieren, indem es seine "Katzen"-Eigenschaften identifiziert.

In diesem Kapitel erfährst du, wie Algorithmen für maschinelles Lernen funktionieren, wann du welches Tool verwenden solltest, wie du dein Modell validierst und vor allem, wie du den Prozess mit der Spark MLlib Pipelines API automatisieren kannst.

In diesem Kapitel geht es im Wesentlichen um Folgendes:

• Grundlegende Algorithmen für maschinelles Lernen in Spark

• Überwachtes maschinelles Lernen mit Spark Machine Learning

• Unüberwachtes maschinelles Lernen mit Spark Machine Learning

• Dein Modell evaluieren und testen

• Hyperparameter und Abstimmung deines Modells

• Verwendung von Spark-Pipelines für maschinelles Lernen

• Persistieren von Modellen und Pipelines auf der Festplatte

Algorithmen

Beginnen wir ...