Skalierung von Machine Learning mit Spark

Kapitel 5. Feature Engineering

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Beim maschinellen Lernen ( ) ist das Feature-Engineering der Prozess, bei dem mithilfe von Fachwissen die relevantesten Variablen in den Daten ausgewählt und umgewandelt werden, um das Ziel des maschinellen Lernprozesses zu erreichen. Domänenwissen bezieht sich hier auf das Verständnis der Daten und ihrer Herkunft. In der Datenwissenschaft geht es weniger um die Werkzeuge, sondern mehr um die Daten und das Problem selbst. Im Finanzwesen kann es zum Beispiel darum gehen, mit Finanzbegriffen und den verschiedenen Anwendungsmöglichkeiten der Daten vertraut zu sein, z. B. bei der Kreditwürdigkeitsprüfung. Je nach der Erfahrung des Teams, das an dem Projekt arbeitet, kann es notwendig sein, einen Finanzexperten zu Rate zu ziehen, um eine repräsentative Funktion zur Lösung des Problems zu erstellen. Ähnlich kann es sein, dass du im Gesundheitswesen mit einem Arzt zusammenarbeitest, um die Funktionen zu entwerfen, und dass Kenntnisse über Anatomie, biologische Systeme und medizinische Bedingungen erforderlich sind.

Das Ziel des Feature Engineering ist es, dass die endgültigen Features als Proxys für die Informationen dienen, die die Daten über die Welt oder den spezifischen Kontext, in dem das Problem auftritt, enthalten. Die Erfahrung in deinem Fachgebiet ermöglicht es dir, diese Verknüpfungen herzustellen, oft intuitiv. ...