Mixture of Experts(ミクスチャーオブエキスパーツ)とは

Mixture of Expertsとは、複数の「専門家」役のネットワークを用意し、入力に応じてそのうち一部だけを働かせるAIモデルの仕組みです。MoE、または混合エキスパートとも呼ばれます。巨大なモデルでありながら、毎回すべてを動かすのではなく必要な部分だけを使うことで、大きさと効率を両立させるのが狙いです。

どういう仕組みか

MoEには、役割を分け合う複数の「専門家」ネットワークと、どの専門家に任せるかを振り分ける「ルーター」があります。文章が入ると、ルーターは1語（トークン）ごとに担当の専門家を選んで動かし、残りは休ませる。これを「スパース活性化」と呼びます。おかげで、モデル全体は非常に大きくても、1回の処理で実際に働くのは一部だけで済みます。専門家といっても人ではなく、ネットワークの一部分のことです。

「専門家」の分担も、数学担当・法律担当といった人間の分け方とは限りません。Mistral AIが自社のMixtral 8x7Bで調べたところ、論文・生物学・哲学といった話題ごとの割り当てに、はっきりした違いは見られませんでした。目立ったのはむしろ、プログラムに出てくる「self」のような決まった語や、コードの字下げが同じ専門家へ回るといった、言葉の形に沿った振り分けです。

なぜ注目されるのか

大規模なAIモデルは、賢くしようとするほど計算コストがふくらみます。MoEは総パラメータを増やして賢さを上げつつ、実際に動く部分を絞ってコストを抑えるための仕組みです。たとえばNVIDIAが2026年6月に公開したNemotron 3 Ultraは、総パラメータ5,500億のうち、1語ごとに動くのは550億。公開された重みの名前も「550B-A55B」と、2つの数字を並べています。AIニュースで「総550B・実働55B」のように数字が2つ並ぶのは、この「持っている大きさ」と「毎回使う大きさ」を分けて書いているからです。ただしMixtralの論文が明記するとおり、動かすのに必要なメモリーは総パラメータのほうに比例します。計算は軽くなっても、置き場所は小さくならない点に注意しましょう。

Mixture of Expertsに関するよくある質問

専門家は何人くらいいて、一度に何人が働くのですか？

モデルによって違います。Mixtral 8x7Bは8人のうち2人、DeepSeek-V3は256人のうち8人（ほかに毎回働く共有の1人）が、1語ごと・層ごとに選ばれます。選ばれる顔ぶれは、語が変わるたびに入れ替わります。

特定の専門家ばかりに仕事が集まることはないのですか？

放っておくと起こります。Google Brainの2017年の論文は、振り分け役がいつも同じ少数の専門家を選ぶようになり、選ばれた専門家ほど早く鍛えられてさらに選ばれる、という自己強化を報告しました。そのため各社のモデルは、仕事を均等にならす工夫を組み込んでいます。