MoE-ViE(モエ・ヴィーイー)とは

MoE-ViEとは、画像や動画を理解する視覚エンコーダーに、入力ごとに必要な専門部分だけを動かす混合エキスパートを組み込んだ、Metaの研究モデル群です。モデル全体を毎回計算せず、画像や動画の断片ごとに少数の専門家を選ぶことで、容量と処理負荷の両立を狙います。

視覚エンコーダーは何をするのでしょうか？

視覚エンコーダーは、画像や動画を、AIが比較や検索に使える特徴へ変換する前段の仕組みです。商品の写真と説明文が合うかを調べる、動画の内容を分類する、VLMへ視覚情報を渡すといった処理の入口になります。MoE-ViEは画像生成や動画生成をするモデルではありません。

一般的な密なモデルは、入力ごとに同じ計算部分を広く使います。MoE-ViEでは、画像を小さく区切った単位ごとにルーターが担当を選び、常に動く共有エキスパートと、選ばれた専門エキスパートへ処理を振り分けます。大きな組織の全員を毎案件へ集めず、共通窓口と必要な専門部署だけで対応するイメージです。

どのモデルが公開されているのか

2026年8月21日時点の公式配布は、B/16の224px、L/16の384px、H/14の448pxという3規模です。最大のH/14モデルは、総パラメータ35億のうち、入力時に11億を活性化し、32のエキスパートから共有分を含む8を使います。総容量と一回の計算量が同じではない点が、混合エキスパートを見る際の要点です。

3種はいずれも、画像と文章の対応を学ぶ対照学習で事前学習されています。あらかじめ用途ごとの正解を追加学習しなくても、候補となる説明文との近さを比べるゼロショット分類や検索へつながる仕組みです。

論文は、画像分類、画像と文章の検索、動画分類、動画と文章の検索で比較結果を示しています。最大モデルについて、1.7倍の規模を持つ比較対象と同等のゼロショット性能を76%の遅延で達成したと報告しました。これは論文内の条件による結果で、任意の業務や機器で同じ速度を保証する数値ではありません。

画像と動画を一つのモデルで扱う工夫

動画は連続する複数の画像として扱える一方、動画向けに学習を加えると、元の画像理解が崩れる場合があります。研究では、フレーム単位の知識蒸留と、学習する部分を選んで固定する仕組みを採用。画像で身に付けた知識を保ちながら、時間方向の情報を学ぶことを狙いました。

さらに、専門家へ仕事が偏らないようにする負荷分散と、処理の遅れを抑える専用カーネルを提案しています。カーネルとはGPUで計算を実行する小さな処理単位のこと。MoEは選択の仕組みを加えるため、専門家を減らせば自動的に速くなるわけではなく、振り分けと実装の効率も必要です。

企業が採用判断で注意する点

MoE-ViEは一般利用者向けのMeta製品でも、クラウドから呼び出すAPIでもなく、研究コードと学習済みモデルです。必要なのはPython 3.10以上と、CUDAに対応したGPU。専門家を切り替える計算部分は、Tritonという仕組みで実行時に専用プログラムへ組み立てられます。自社データでの精度だけでなく、GPU費用、運用できる人材、既存VLMとの接続を試験します。

公式配布のライセンスはCC BY-NC 4.0。非営利の研究利用が前提です。商用サービスへ組み込む判断はライセンス確認なしに進められません。公開モデルだから自由に商用利用できるとは考えず、法務と利用条件を確認してください。実証では、画像だけの精度、動画での精度、処理時間、誤分類時の人による確認を分けて測ります。

MoE-ViEに関するよくある質問

MoE-ViEは動画生成AIですか？

違います。画像や動画を特徴へ変換し、分類や検索、ほかのAIへの入力に使う視覚エンコーダーです。

MoE-ViEはどの規模から試すべきですか？

公式配布ではB/16が最小です。ただし、必要な解像度と精度、GPUメモリー、処理時間を同じデータで比べて選びます。

MoE-ViEは一般的なパソコンで試せますか？

公式手順はCUDA対応GPUとTritonカーネルを必要とします。対応GPU、メモリー、ライブラリの組み合わせを先に確認します。