ドメイン特化型言語モデルとは

ドメイン特化型言語モデルとは、医療、金融、製造、法律など特定分野の文書や表現に合わせて追加学習事前学習を行った言語モデルです。汎用LLMが幅広い会話に対応するのに対し、専門用語、書式、判断基準、業界特有の言い回しへ寄せて作られます。

英語表記: Domain-specific language model

汎用LLMを専門現場へ近づける

通常のLLMは、日常会話、文章要約、一般的な調査には強い一方、専門分野では用語の意味を取り違えることがあります。たとえば医療の略語、契約条項、製造現場の不良分類は、一般文脈とは違う意味で使われる場合もあるでしょう。ドメイン特化型言語モデルは、その分野の文書を多く読ませ、用語の使われ方や文書構造を学ばせる考え方です。

ファインチューニングやRAGとの違い

ファインチューニングでは、既存モデルに特定の出力形式や判断傾向を覚えさせます。RAGでは、回答時に外部資料を検索して根拠を足します。ドメイン特化型言語モデルは、モデル自体の言語理解を分野に寄せる点が特徴です。実務では、この3つは競合ではなく組み合わせで考えます。専門用語の理解はモデル側、社内規程の参照はRAG側、回答形式はファインチューニング側で補う設計もあります。

業務での見方

経営者が見るべきなのは、専用モデルを作るほどのデータ量、継続更新コスト、評価方法があるかです。専門分野だからすぐ専用モデルが必要とは限りません。まずは汎用LLMとRAGで業務上の精度を測り、誤りが専門用語の理解不足に集中する場合に、ドメイン特化を検討するのが現実的でしょう。規制産業では、モデル性能だけでなく、説明責任やデータ利用許可も合わせて確認する必要があります。

Topic専門モデルの流れは生成AIブーム以前からある

2020年に公開された医療NLPの論文では、人手で正解の印をつけていない大量の医療文書(未ラベル文書)が豊富にある分野では、分野内文書から事前学習したモデルが有力な土台になると議論されています。これはChatGPT一般公開の2022年11月30日より前の話。専門分野の言語をモデルに覚えさせる発想は、生成AIブーム以前から研究されていました。

ドメイン特化型言語モデルに関するよくある質問

ドメイン特化型言語モデルは自社専用AIと同じですか?
必ずしも同じではありません。業界や分野に特化したモデルもあれば、特定企業の文書や業務に合わせて調整したモデルもあります。対象範囲を分けて考える必要があります。
RAGがあればドメイン特化型言語モデルは不要ですか?
RAGは根拠資料を検索して補う仕組みですが、専門用語の解釈や文書の読み方そのものが弱い場合は、モデル側の分野適応が必要になることがあります。
導入判断で最初に見るべきことは何ですか?
汎用LLMで起きる誤りが、最新情報不足なのか、社内資料不足なのか、専門用語の理解不足なのかを切り分けてください。原因によってRAG、ファインチューニング、専用モデルの選択が変わります。

あわせて読みたい記事