8章機械学習システムへの攻撃

黒米 祐馬

本章は日本語版オリジナルの記事である。本章は原著の「Chapter 8: Evading Intrusion Detection Systems（侵入検知システムの回避）」の主旨はそのままに増補・改訂を施したものであり、機械学習システムを取り巻く脅威と機械学習システムへの攻撃方法を詳述する。本章では次のトピックを扱う。

  • 機械学習システムの脅威モデル
  • 攻撃に利用できるライブラリ
  • Copycat CNNによる転移攻撃
  • FGSM、Carlini & Wagner Attack、そしてZOO Attackによる回避攻撃
  • Adversarial TrainingおよびRandomized Smoothingによる回避攻撃対策
  • BadNetsによる汚染攻撃
  • Activation Clusteringによる汚染攻撃対策

8.1　機械学習システムの脅威モデル

これまでの章で紹介してきたとおり、機械学習によってさまざまなセキュリティの問題を解けるようになった。だが一方で、機械学習を採用することで新たに考慮しなければならなくなる問題もある。それが機械学習システムそれ自体のセキュリティだ。

機械学習システムには、データを収集する処理、データを整形する処理、そのデータをもってモデルを訓練する処理、訓練済みのモデルから新たなデータに対する判断結果を得る処理などが含まれうる。本章ではこれらのうち、特にモデルの訓練および訓練済みモデルの運用に関する攻撃手法を紹介する。攻撃手法は次の3種類に大別される。

転移（Transfer）攻撃
訓練済みのモデルから訓練データに関する情報やモデルのパラメータを窃取する攻撃。モデルの機密性に対する脅威となる。たとえば、顔認識システムがどんな顔写真のデータを使って訓練されていたかを特定する攻撃を指す。 ...

Get セキュリティエンジニアのための機械学習 ―AI技術によるサイバーセキュリティ対策入門 now with the O’Reilly learning platform.

O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.

Start your free trial