DQN(ディーキューエヌ)とは
DQNとは、Deep Q-Networkの略で、行動の良し悪しを学ぶQ学習と、画像などの複雑な入力を扱う深層ニューラルネットワークを組み合わせた強化学習の手法です。画面を見て試行錯誤し、将来の得点につながる行動を選べるよう学ぶ仕組み。
DQNは何を学習するのか？
各場面でボタンを押したとき、将来まで含めてどの程度の得点が見込めるかを数値で見積もります。正解の操作一覧を人が与えるのではなく、行動、結果、次の画面を何度も経験し、見積もりを更新する方式。
学習を安定させるため、過去の経験をためて順不同に学び直す経験再生と、正解に近づくための目標値を別のネットワークで一定期間固定する方法が使われます。直前の経験だけに振り回されない工夫が重要でした。
なぜAI史で重要なのか
DeepMindは2015年2月25日のNature論文で、同じ基本構成を49種類のAtari 2600ゲームへ適用しました。これはChatGPTの一般公開より7年以上前の研究。入力はゲーム画面の画素と得点で、ゲームごとの詳しい攻略法は与えていません。画像認識と強化学習を結び付けた代表例になりました。
ただし、論文の「人間レベル」は決められたゲームと評価条件内での結果。実店舗、工場、経営判断のように失敗費用が高く、状況が変わる業務へそのまま移せる保証はありません。試行錯誤を許せる安全な環境と報酬の設計が実用化の前提です。
Topicブロック崩しでトンネルを発見した
Nature論文の補足映像では、DQNがBreakoutを学ぶ途中、画面端のブロックに穴を開け、ボールを壁の裏側へ回す戦略を見つけています。人が「トンネルを作れ」と教えたのではなく、得点を増やす試行錯誤から現れた行動でした。報酬の置き方によって、設計者が直接書かなかった攻略法が生まれる例です。
DQNに関するよくある質問
- DQNとQ学習は同じですか？
- DQNはQ学習の考え方を使いますが、状態と行動の組み合わせを表で持つ代わりに、深層ニューラルネットワークで価値を見積もります。画像のように状態数が多い課題を扱いやすくします。
- DQNは現在のゲームAIでも使われていますか？
- 研究や一部の課題で使われ、改良手法も多数あります。一方、ゲームの性質によっては探索、模倣学習、別の強化学習手法が適するため、DQNだけが標準とは限りません。
- DQNを業務の意思決定へ使えますか？
- 報酬と安全な試行環境を定義できる狭い課題なら検討できます。顧客や設備へ直接影響する場面では、シミュレーション、人の承認、停止条件が必要です。
