進化的モデルマージとは

進化的モデルマージとは、すでにある複数のAIモデルを、生物の進化をまねた計算で自動的に掛け合わせ、新しいモデルを生み出す手法のことです。日本のSakana AIが提唱しました。一から訓練するのではなく、公開済みのモデルを賢く組み合わせる点に特徴があります。

「自然選択」で良い組み合わせを残す

この手法は、たくさんの組み合わせ方を試し、成績の良いものを次の世代に残す、という進化のような探索を行います。組み合わせる対象は、どのモデルのどの層を使うかと、重みをどう混ぜるかの2つです。世代を重ねるうちに、人の手では思いつきにくい配合が見つかります。ゼロから巨大モデルを訓練する場合に比べ、計算資源をはるかに節約できるのが利点です。

日本語に強いモデルづくりに活用

Sakana AIは2024年3月にこの手法を公開し、2025年1月には学術誌で論文が掲載されました。実際に、日本語が得意なモデルと数学が得意なモデルを掛け合わせ、両方をこなす日本語モデルを作る成果を示しています。手元に巨大な計算設備がなくても、既存の資産を組み替えて目的に合うモデルへ近づけられるという考え方です。

進化的モデルマージに関するよくある質問

普通のモデル開発と何が違うのですか？

一から巨大モデルを訓練するのではなく、すでに公開されている複数のモデルを賢く組み合わせて新しいモデルを生み出します。生物の進化をまねて多くの組み合わせを試し、成績の良いものを次世代に残すため、計算資源をはるかに節約できます。

どんな成果がありますか？

日本のSakana AIが2024年3月に公開し、2025年1月に学術誌へ論文が掲載されました。実際に、日本語が得意なモデルと数学が得意なモデルを掛け合わせ、両方をこなす日本語モデルを作る成果を示しています。

「交配」とはどういうことですか？

既存モデルを生き物のように掛け合わせて「子」を作るという発想です。設計図を人が引くのではなく、良い個体を選んでいくと結果として優れた配合に行き着く、という進化に近い作り方で、人の直感では見落とす意外な組み合わせも見つかります。