Polysemanticity(ポリセマンティシティ)とは
Polysemanticityとは、AIの内部にあるひとつの要素が、複数の異なる意味や特徴に反応してしまう性質です。人間向けに言えば、ひとつのランプが「猫を見た」ときにも「契約書の期限を見た」ときにも光るような状態です。どの意味で光ったのか分かりにくいため、AIの判断理由を読み解くうえで問題になります。
ひとつの部品が複数の意味を持つ
AI内部のニューロンや特徴を見れば、判断理由がそのまま分かると思いがちです。しかしPolysemanticityがあると、同じ内部要素が文脈によって別々の概念に反応するため、単純な読み取りはできません。部署名の略称が、営業部にもシステム名にも使われているようなものです。表示だけを見ても、どちらの意味かは周囲の文脈がないと判断しにくいでしょう。
Superpositionとの関係
Polysemanticityは、Superpositionと近い関係にあります。内部スペースが限られるため、複数の特徴が重なって表現され、その結果としてひとつの部品が多義的に見える、という説明ができます。AIを監査するときは、単一の部品に単一の意味を割り当てる説明がきれいすぎないかを疑う視点が必要です。
Topicmonoとpolyを見ると意味がほどける
Polysemanticityのpolyは「複数」、semanticは「意味」に関係する語です。反対方向の理想として、ひとつの要素がひとつの意味だけを表すMonosemanticityという考え方があります。AIの中身を読む研究では、「多義的な部品を、なるべく一義的な特徴へほどく」ことが大きなテーマ。英単語の分解だけでも、研究の狙いが少し見えてくるでしょう。
Polysemanticityに関するよくある質問
- Polysemanticityはなぜ問題なのですか？
- AI内部のひとつの要素を見ても、それがどの意味に反応したのか分かりにくくなるためです。判断理由を説明したり監査したりする時に、単純な部品説明が成り立ちにくくなります。
- 説明可能AIの資料でこの言葉が出たら何を確認すべきですか？
- どの内部要素が、どの条件で、どの意味に反応したと確認したのかを見るべきです。ひとつの図だけで判断理由を断定していないかも確認します。
