マルチモーダルとは

マルチモーダルとは、テキスト・画像・音声・動画など、種類の異なる複数の情報をまとめて扱えるAIの性質のことです。文章だけ、画像だけといった一種類に限らず、いろいろな形の情報を一つのAIが横断して理解・生成できます。人が見る・聞く・読むを同時に使うように、AIも複数の“入り口”を持つイメージです。

扱えるのは、この4つのモード

マルチモーダルの「モード(モダリティ)」とは、情報の種類のこと。代表的なのは次の4つです。

• テキスト：文章や文字。
• 画像：写真・図・イラスト。
• 音声：話し声や音。
• 動画：動きのある映像。

これらを組み合わせて扱えるので、たとえば写真を見せて「これは何?」と声で聞く、といったことができます。

ユニモーダルとの違い

対になる言葉が「ユニモーダル」です。文章だけ、画像だけ、と一種類しか扱えないAIを指します。以前は、文章を読むAI、画像を見分けるAIと、役割ごとに分かれているのが普通でした。マルチモーダルは、それらを一つにまとめた形といえます。複数の情報を突き合わせられるぶん、より深く、自然に内容をつかめるのが強みです。グラフの画像を見せて、その意味を文章で説明させる、といった芸当もこなします。

どうやって種類をまたぐのか

では、種類のちがう情報を、AIはどう結びつけているのでしょうか。ざっくり言えば、大量のデータから「この画像と、この言葉は、よく一緒に登場する」といった対応関係を学びます。たとえば犬の写真に「犬」という説明が何度も添えられていれば、画像と言葉が同じものを指すと少しずつ覚えていく。こうして、見たものを言葉で説明したり、言葉から絵を思い浮かべたりできるようになります。規模でいえば、ChatGPT登場の前年にあたる2021年にOpenAIが発表したCLIPの練習台は、インターネットから集めた4億組の画像と説明文。どの説明がどの画像のものかを当て続けて、対応関係を身につけました。

つなぎ方は、大きく分けて2通り。種類ごとに別々の部品を学習させて後からつなぐ作り方と、最初から複数の種類をまとめて学習させる作り方です。Googleは2023年12月にGeminiを発表した際、前者がそれまでの標準で、画像の説明のような個別の作業は得意なこともある一方、概念的で込み入った問いを考え抜くのは苦手だったと書き、Geminiは後者で作ったと説明しました。同じ「マルチモーダル対応」でも、中身がどちらの作りかで得意・不得意が変わりうるわけです。

身近な使われ方

マルチモーダルは、すでに身近なサービスで使われています。OpenAIが2024年5月に発表したGPT-4oは、文章・画像・音声を1つのモデルでまとめて扱う設計です。GoogleのGeminiも同じく、複数の種類の情報をまとめて扱えます。写真の内容を説明させる、資料を読み取って要約させる、声で会話する。こうした使い方が、もはや特別なことではなくなってきました。

ビジネスでの活用が広がる

マルチモーダルは、仕事の進め方も変えつつあります。文字と図表が混じった資料をそのまま読み取って要約する、商品写真から説明文を作る、会議の録音を文字に起こして要点をまとめる。こうした作業を、一つのAIにまとめて任せやすくなりました。これまで情報の形ごとに別々のツールや人手を使っていた手間が、ぐっと減ります。情報がバラバラの形でも、AIがまとめて受け止めてくれるのが、マルチモーダルの実用的な価値です。

マルチモーダルに関するよくある質問

「マルチモーダル対応」とあれば、最初から画像も音声も使えるのですか？

そうとは限りません。GPT-4oも、2024年5月の発表当日に公開されたのは文章と画像の入力と文章の出力で、音声などほかの形は、その後の数週間から数か月で順に公開されました。導入前には、いま実際に使える入力と出力の組み合わせを確かめましょう。

マルチモーダルと生成AIは同じ意味ですか？

いいえ、別の軸の言葉です。マルチモーダルは扱える情報の種類の話で、生成AIは新しい文章や画像を作り出す働きの話です。たとえばOpenAIのCLIP（2021年）は画像と説明文を結びつけるモデルで、文章や画像を作り出すものではありません。