機械学習による実用アプリケーション構築 ―事例を通じて学ぶ、設計から本番稼働までのプロセス

6章ML問題のデバッグ

前の章では、初期モデルの学習と評価を行いました。

パイプラインを満足できるレベルのパフォーマンスにするのは難しく、何度も反復する必要があります。そうした反復サイクルの中で行うべきことを説明するのがこの章の目的です。この章では、モデリングパイプラインをデバッグするためのツールと、変更を行っても動作し続けることを確認するためのテスト方法について説明します。

ソフトウェアのベストプラクティスでは、セキュリティや入力の解析といった慎重に扱うべきステップについては、定期的にテスト、検証、検査を行うことを推奨しています。これは、従来のソフトウェアに比べてモデルのエラーを検出するのがはるかに困難なMLの場合も同じです。

パイプラインが堅牢であることを確認し、システム全体に障害を発生させることなく、パイプラインを試すことができるようにするためのヒントをいくつか取り上げます。まずはソフトウェアのベストプラクティスを掘り下げてみましょう。

6.1　ソフトウェアのベストプラクティス

ほとんどのMLプロジェクトでは、モデルを構築し、その欠点を分析し、それに対処するというプロセスを何度も繰り返すことになります。また、インフラストラクチャーの各部分を複数回変更することになるので、反復のスピードを上げる方法を見つけることが重要です。

MLにおいても、他のソフトウェアプロジェクトと同様にソフトウェアのベストプラクティスに従わなければなりません。Keep It Stupid Simple（KISS、https://people.apache.org/~fhanik/kiss.html）原則と呼ばれることもありますが、必要なものだけを構築するなど、こうしたベストプラクティスのほとんどはそのままMLのプロジェクトにも適用できます。 ...