High Performance Python, 2. Auflage

Kapitel 9. Das Multiprozessor-Modul

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Fragen, die du nach diesem Kapitel beantworten kannst

• Was bietet das Modul multiprocessing?

• Was ist der Unterschied zwischen Prozessen und Threads?

• Wie wähle ich die richtige Größe für einen Prozesspool?

• Wie verwende ich nicht persistente Warteschlangen für die Arbeitsverarbeitung?

• Was sind die Kosten und Vorteile der prozessübergreifenden Kommunikation?

• Wie kann ich numpy Daten mit vielen CPUs verarbeiten?

• Wie kann ich Joblib nutzen, um parallele und gecachte wissenschaftliche Arbeit zu vereinfachen?

• Warum brauche ich eine Sperre, um Datenverlust zu vermeiden?

CPython nutzt standardmäßig nicht mehrere CPUs. Das liegt zum einen daran, dass Python noch in der Single-Core-Ära entwickelt wurde, und zum anderen daran, dass die Parallelisierung ziemlich schwierig sein kann, wenn sie effizient sein soll. Python gibt uns die Werkzeuge dafür an die Hand, überlässt es uns aber, unsere eigenen Entscheidungen zu treffen. Es ist jedoch schmerzhaft zu sehen, wie ein Multicore-Rechner nur eine CPU für einen langlaufenden Prozess verwendet, daher werden wir in diesem Kapitel Möglichkeiten zur gleichzeitigen Nutzung aller Kerne des Rechners untersuchen.

Hinweis

Wir haben gerade CPythonerwähnt - diegängige Implementierung, die wir alle verwenden. Nichts in der Python-Sprache hindert sie daran, Multicore-Systeme ...