破滅的忘却とは

破滅的忘却とは、AIが新しいタスクを学ぶ過程で、以前に覚えていたタスクの能力を大きく失ってしまう現象です。人間なら新しい部署の仕事を覚えても、前の部署の基本までは急に忘れません。しかしニューラルネットワークでは、追加学習のやり方によって古い知識の上書きが起きます。継続的に学ぶAIを考えるうえで避けて通れない問題です。

新しい学習が古い知識を上書きする

AIの学習では、モデル内部の重みと呼ばれる調整値が変わります。これは、経験を通じて判断のクセを書き換えるようなもの。新しいデータだけで強く調整すると、前のタスクで大事だった重みまで動いてしまい、古い能力が崩れることがあります。机の上に新しい書類を重ねすぎて、前の重要書類が見えなくなるイメージに近いでしょう。

過学習とは別の失敗

破滅的忘却は、過学習と混同されがちな言葉です。過学習は、訓練データに合わせすぎて未知のデータに弱くなる問題を指します。一方、破滅的忘却は、新しいタスクへ適応する途中で、以前できていたタスクを忘れる問題です。新入社員研修の例で言えば、特定の新業務だけを詰め込んだ結果、もともとできていた接客や事務処理が崩れるような違いに近いでしょう。

継続運用のAIで効いてくる

企業利用では、AIを一度作って終わりにするより、新しい商品、規程、顧客対応を反映し続ける場面が増える流れです。そのときに破滅的忘却を放置すると、新しい問い合わせには強くなったが、以前の定番対応が不安定になるという事故が起きます。更新前後でテストセットを残し、古い業務も解けるかを見ることが重要です。

対策には、古いデータの一部を混ぜて再学習する、重要な重みを動かしすぎない、タスクごとに追加部品を分けるなどがあります。経営判断としては、「AIを更新したら良くなるはず」と決めつけず、過去業務の退行テストを予算に入れることが現実的です。

破滅的忘却に関するよくある質問

AI更新の受け入れテストで何を見落としやすいですか？

新しく追加した業務だけを確認し、以前から安定していた定番業務を再確認しないことです。更新前の代表質問や処理例を残し、前回できていたことが落ちていないかを見ます。

企業利用ではどこで問題になりますか？

チャットボットや社内AIを更新するときに問題になります。新しい商品や規程に対応させた結果、以前の定番質問への回答が崩れていないかを確認する必要があります。

防ぐには何を確認すればよいですか？

更新後の新タスクだけでなく、過去に安定していたタスクのテストも残すことが基本です。AIの改修では、改善テストと退行テストをセットで見るのが安全です。