MoRとは

MoRとは、文章中の難しい部分だけに追加の計算を回すことを狙うTransformerの提案手法です。Mixture-of-Recursionsの略で、Recursionsは同じ処理を繰り返すことを指します。全員に同じ時間をかけるのではなく、難しい相談だけ上席者がもう一度見るような発想です。

MoRが解こうとする問題

大きなLLMは、すべての入力に同じように深い計算をかけると費用が重くなります。一方で、単純な語句と複雑な推論を同じ扱いにすると無駄が出やすくなります。MoRは、共有した層を再帰的に使い、軽いトークン、つまりAIが文章を区切る小単位は浅く、難しいトークンは深く処理する方向の研究です。処理量を一律に増やすのではなく、必要な場所へ寄せる考え方でしょう。

MoEとの違い

MoEは複数の専門家ネットワークのうち、入力に合う一部を動かす方式です。MoRは専門家を増やすより、同じ処理ブロックを何回使うかに注目します。名前は似ていますが、誰に任せるかを選ぶMoE、何回考え直すかを選ぶMoR。ここを分けると理解しやすいでしょう。

事業で見るときの注意

MoRは2025年の論文提案であり、完成した業務機能名ではありません。経営側にとっての意味は、AIの費用削減が「小さいモデルにする」だけでなく、入力の難しさに応じて計算量を変える方向へ進んでいることです。導入判断では研究名をそのまま評価せず、処理速度、費用、品質の実測を確認する必要があります。

MoRに関するよくある質問

MoRはすでに一般的なLLMで使われていますか？

本文では、確認できる論文に基づく提案手法として扱っています。一般的な商用モデルで広く採用済みとまでは断定せず、効率化研究の一つとして見るのが安全です。

MoRと推論時スケーリングは関係ありますか？

どちらも計算量をどう配分するかに関係します。MoRはモデル内部でトークンごとの処理深度を変える発想、推論時スケーリングは回答時に追加計算を使う運用寄りの考え方です。

MoRはコスト削減だけが目的ですか？

主な狙いは効率ですが、単に安くするだけではありません。難しい部分に計算を寄せることで、同じ計算量でも品質を上げる可能性を探る研究です。