WeMM-Videoとは
WeMM-Videoとは、動画の映像と元の音を合わせて読み取り、内容についての質問に文章で答える、TencentのWeChat Visionが開発したAIモデル群です。

英語表記:WeMM-Video
研究チームは2026年11月19日に論文を投稿しました。たとえば製品の操作説明を撮影した動画なら、画面に出た操作と、担当者が口頭で付け加えた注意を一緒に読み取る使い方が考えられます。公式に案内されている応答言語は中国語と英語です。
何を渡すと、何が返ってくる?
入力は文章、画像、音声、動画。音付きの動画では、連続する画像と元の音声を手がかりにでき、出力は文章です。このように複数の種類の情報を扱う仕組みをマルチモーダルと呼びます。
研修動画に「実演の後、講師がどんな例外を説明したか」と質問する場面を考えてみましょう。音声認識で作った文字起こしには講師の言葉が残りますが、説明だけでは、画面のどのボタンを指しながら話したかが取れないこともあります。
一方、映像だけを渡すと、手順は見えても実演中の注意は拾えません。何が映り、何が聞こえたかを同じ質問に使える点が、音付きの素材をそのまま使う理由です。音声が入っていない動画や、音声だけのファイルも受け付けます。
動画生成AIと比べると、成果物の違いがはっきりします。WeMM-Videoが返すのは見た内容についての文章。既存動画を調べる工程で役立ち、映像を新しく作る工程には別の道具が必要です。
モデルの大きさと公開範囲
公開されているのは2B、4B、9B、35B-A3Bの4系統です。土台にはAlibabaのQwen3.5(35B-A3BはQwen3.6)を使い、音を聞き取る部分もQwen2.5-Omniを出発点に調整しています。Bは10億を表し、モデルの内部にある調整値の数を示す目安。35B-A3Bは、全体で約350億の調整値のうち1回の計算で働くのは約30億という意味で、問題に応じて計算を担う部分を選ぶ混合エキスパート方式。問い合わせごとにモデル全体を動かす必要を減らす考え方です。
小さい2Bでも、標準の配布ファイルだけで約6.6GBあり、容量を抑えた軽量版も別に配布されています。ダウンロード容量と、動画を処理する際のメモリー使用量は別なので、現場の機器で動かせるかは、使うモデルに実物の素材を入れて確かめるのが先決。公式の標準の手順はNVIDIA製GPUのある環境が前提で、公式の使用例は最大16コマに絞った短い動画の設定です。長い研修動画をそのまま渡せるかは、公式資料からは読み取れません。
実行用コードと、学習で得られた係数をまとめた重みが提供されています。4つの大きさとも、配布元はApache License 2.0(使用料なしで使え、研究用などへの用途の限定がない、広く使われる許諾)を案内しています。土台に使ったQwenやWhisperなど第三者の部品は元の条件のままですが、列挙されたものはいずれも同じApache 2.0です。権利表示を残すなどの条件は守る必要があります。
既存動画の確認に取り入れるなら
大量の説明動画を人が一から見直す代わりに、社内の用語が聞こえたか、該当する製品の型番が映ったかといった質問を用意し、確認する箇所を絞る使い方が考えられます。入力に映る個人情報や社外秘の内容に応じて、素材を処理する場所も先に決めておきましょう。
答え合わせでは、映像だけで分かる設問、音だけで分かる設問、両方を照らす設問を分けて評価します。言っていない注意や、映っていない操作を言い足した回答も記録しておくと、どこまで担当者の確認を減らせるか見えてくるでしょう。
開発陣の論文では、最大の35B-A3Bが音付き動画のいくつかの試験でGoogleのGemini-3.0-Flashに迫る一方、差が大きい試験もあります。比較相手の点数は、公式の値があればそれを使い、無ければ開発陣が測ったものです。日本語に対応するとは公式資料に書かれていないため、日本語の聞き取りや社内用語の扱いは、自社の素材に人が付けた正答と照らして判断する必要があります。
見直しの負担も測っておきます。回答を作る時間が減っても、出力を見て元動画の場面を探す作業が増えれば、確認にかかる時間は縮まりません。
Topic動画の説明文だけで答えが伝わるかも試した
開発陣は評価の一つとして、WeMM-Videoに動画の説明文を書かせ、別のAIがその説明文だけを読んで動画についての問いに答えられるかも調べました(先行研究が考えた方式)。説明文に必要な情報が欠けていれば、答えられずに不正解になります。文章が読みやすくても、話していた人や何が先に起きたかを落としていれば、後から読んだ人は答えにたどり着けません。
議事メモを評価するときにも応用できる発想です。文章の滑らかさと一緒に、その資料だけで「次の人が必要な質問に答えられるか」を確かめます。
WeMM-Videoに関するよくある質問
- 短い質問をたくさん投げる場合、応答の仕方を選べますか?
- 公開実装では、質問に直接答えるInstructと、段階を踏んで考えるThinkingを選べます。処理時間も含め、同じ設問で答えを比べると用途に合う設定を判断できます。
- 配布されている2Bを入手するとすぐにクラウドで使えますか?
- Hugging Faceの配布ページは、同サイトの推論サービスへの配備が無いと表示しています。配布されたファイルを使うには自社で実行環境を用意する必要があり、公式の標準の手順はNVIDIA製GPUのある環境を前提にしています。