入門 機械学習パイプライン ―TensorFlowで学ぶワークフローの自動化

11章パイプライン Part 1: Apache BeamとApache Airflow

これまでの章では、TFXを使って機械学習パイプラインを構築するために必要なコンポーネントを紹介してきました。本章では、すべてのコンポーネントをまとめて、2つのオーケストレータ（Apache BeamとApache Airflow）を使ったパイプラインの実行方法を紹介します。「12章 パイプライン Part 2: Kubeflow Pipelines」では、Kubeflow Pipelinesを使ったパイプラインの実行方法も紹介します。これらのツールはどれも似たような原理に従っていますが、細かい部分の違いとサンプルコードを示します。

「1章 イントロダクション」で説明したように、パイプラインオーケストレーションツールは、機械学習パイプラインを自動化するために書かなければならないグルーコードを抽象化するために不可欠です。図11-1に示すように、パイプラインオーケストレータは、これまでの章ですでに述べたコンポーネントの下に位置しています。これらのオーケストレータがなければ、あるコンポーネントが終了したかどうかを確認し、次のコンポーネントを起動し、パイプラインの実行をスケジュールするコードを書く必要があります。幸いなことに、これらのコードで実現する機能はオーケストレータがすべて提供してくれます。

図11-1　パイプラインオーケストレータ

本章では、最初にさまざまなオーケストレーションツールのユースケースについて説明します。次に、インタラクティブなパイプラインから、オーケストレーションツールを使ったパイプラインへ移行するのに必要なコードを段階的に説明します。オーケストレーションツールとして、Kubeflow ...