Skalierung von Python mit Dask

Kapitel 3. Wie Dask funktioniert: Die Grundlagen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Nachdem du nun deine ersten Aufgaben mit Dask ausgeführt hast, ist es an der Zeit, ein wenig darüber zu lernen, was hinter den Kulissen passiert. Je nachdem, ob du Dask lokal oder dezentral verwendest, kann das Verhalten ein wenig anders sein. Auch wenn Dask viele Details der Ausführung auf mehreren Threads oder Servern gut abstrahiert, kannst du mit einem soliden Verständnis der Funktionsweise von Dask besser entscheiden, wie und wann du es einsetzen willst.

Um mit Dask vertraut zu sein, musst du verstehen:

• Das Deployment Framework, auf dem Dask laufen kann, und seine Stärken und Schwächen

• Die Datentypen, die Dask lesen kann, und wie du mit den Datentypen in Dask interagieren kannst

• Das Berechnungsmuster von Dask und wie du deine Ideen in Dask-Code umsetzt

• Wie man überwacht und Fehler behebt

In diesem Kapitel stellen wir jedes dieser Konzepte vor und werden sie im weiteren Verlauf des Buches vertiefen.

Ausführung Backends

Dask hat viele verschiedene Backends, aber wir finden es am einfachsten, sie in zwei Gruppen zu unterteilen: lokal und verteilt. Mit lokalen Backends bist du auf das beschränkt, was ein einzelner Computer bewältigen kann. Lokale Backends haben auch Vorteile wie die Vermeidung von Netzwerk-Overhead, eine einfachere Bibliotheksverwaltung und geringere Kosten.¹ Das verteilte ...