生成 Deep Learning 第2版 ―絵を描き、物語や音楽を作り、ゲームをプレイする

9章トランスフォーマ

9章の目標

• GPTの起源である、テキスト生成のための強力なデコーダトランスフォーマモデルについて学ぶ。
• 私たちは頭の中で文章中のある単語を他の単語よりも重要視している。この方法を、アテンションメカニズムがどのように模倣しているかを学ぶ。
• クエリー、キー、バリューがどのように作成され、操作されるかを含め、アテンションメカニズムがどのように機能するかを基本原理から掘り下げる。
• テキスト生成タスクにおける因果マスキングの重要性を理解する。
• アテンションヘッドがどのようにマルチヘッドアテンション層にグループ化されるかを理解する。
• マルチヘッドアテンション層が、どのように層の正規化とスキップ接続も含むトランスフォーマブロックを形成するかを理解する。
• トークンの位置と単語トークンの埋め込みを捉える位置エンコーディングを作成する。
• KerasでGPTモデルを構築し、ワインレビューのテキストを生成する。
• アテンションスコアを調べ、モデルがどこを見ているかを調べることで、GPTモデルからの出力を分析する。
• さまざまなタイプのトランスフォーマについて学ぶ。それぞれのトランスフォーマで扱えるタスクの種類の例や、最も有名な最先端の実装についても説明する。
• GoogleのT5モデルのようなエンコーダデコーダアーキテクチャの仕組みを理解する。
• OpenAIのChatGPTの訓練プロセスを探る。

「5章　自己回帰モデル」では、LSTMやGRUなどの再帰型ニューラルネットワーク（RNN）を使って、テキストデータの生成モデルを構築する方法について説明しました。これらの自己回帰モデルは、系列データを一度に1トークンずつ処理し、その入力の潜在表現を捉える隠れベクトルを更新します。RNNは、隠れベクトルに対して全結合層とsoftmax活性化関数を適用することで、系列データの次の単語を予測するように設計することができます。2017年にある論文がテキスト生成の状況を一変させるまでは、これがテキストを生成する最も洗練された方法と考えられていたのです。 ...