BERT(バート)とは
BERTとは、2018年にGoogleが発表した、文章の意味を読み取ることに特化したAIモデルです。ChatGPTのように文章を書き出すのではなく、書かれた言葉が文脈の中で何を指しているのかを見極める役割を担います。私たちが毎日使うGoogle検索の裏側でも、2019年から使われてきました。
英語表記：Bidirectional Encoder Representations from Transformers
前後の文脈から意味を読む
英語のbankには「銀行」と「川岸」という2つの意味があります。発表時のGoogleのブログは「I accessed the bank account（銀行口座にアクセスした）」という文を例に、この見分け方を説明しました。文を前から順に読むだけのモデルは、bankの意味を手前の「I accessed the」だけから決めるしかなく、後ろにあるaccountを手がかりにできません。BERTはbankの前と後ろの両方を同時に見るので、ここでは「銀行」の意味だと判断できる、というわけです。
この読み方を身につけるため、BERTは大量の文章で「穴埋め問題」を解く形の学習を受けています。論文によると、文の中の語を15%ほどランダムに隠し、前後に残った語から隠れた語を当てさせる、という問題です。正解は元の文そのものなので、人が1問ずつ答えを付けなくても学習を進められる点が利点で、こうした学び方は自己教師あり学習と呼ばれます。
ChatGPTの「GPT」とは、どういう関係？
BERTも、ChatGPTの「GPT」も、2017年にGoogleの研究者が発表したTransformerという仕組みを土台にしています。違いは、文を読む向き。BERTの論文は、GPTでは各語が自分より左側、つまり前の文脈しか参照できないと指摘し、前後の両方を見る自らの設計と対比しました。前から順に読んで次の語を予測するGPTは、続きを書くのが得意です。一方のBERTは、読み取った結果を分類や検索に生かす作りで、ChatGPTのように文章を書き起こす用途には向きません。同じ土台から「書く」のが得意な系統と「読む」のが得意な系統に分かれた、と捉えるとわかりやすいでしょう。発表時のGoogleのブログは、BERTが土台にした先行研究の1つとして、OpenAIの初代GPT（2018年6月）を挙げています。ChatGPTの一般公開は2022年11月30日なので、BERTはその4年前に登場した技術にあたります。
Google検索では、今も使われている？
Googleは2019年10月25日、米国の英語検索の10件に1件で、検索語の理解にBERTを役立て始めたと発表しました。例に挙げたのは「2019 brazil traveler to usa need a visa（2019年、ブラジルの旅行者が米国へ行くのにビザは要るか）」という検索です。それまでは小さな単語「to」が示す向きを読み取れず、米国人がブラジルへ行く場合の情報を返していたといいます。2020年10月には、英語のほぼすべての検索でBERTを使っていると公表しました。検索の順位付けに使う仕組みをまとめたGoogleの公式ガイドは、2025年12月の更新時点でも、現役の仕組みの1つとしてBERTを載せています。ChatGPTが話題になるずっと前から、AIは検索の裏側で働いていたのです。
2018年の技術が、今も使われているのはなぜ？
理由は、小さく速く、安く動かせることにあります。発表時のGoogleのブログは、BERTを使って質問に答える仕組みを、GPU1枚なら数時間で作れると紹介していました。AIモデルの公開サイトHugging Faceでは、英語版の標準モデルが2026年9月時点でも、直近1か月に約4,100万回ダウンロードされています。2024年12月に後継モデルを発表した開発者たちは、BERT型のモデルが日々使われる場面として、社内の資料から関係する文書を探す検索、不適切な投稿の振り分けのような分類、文章から人名や社名などを抜き出す作業を挙げました。文章を書く必要がない仕事なら、大きな生成AIより、BERTのような小さなモデルのほうが速く安く、データを社外に出さずに済む場合がある、というのが実務上の意味でしょう。検索の分野では、BERTを土台にしたColBERTのような方式も生まれました。ただし一度に読める長さは最大512トークンと短く、長い文書は区切って読ませる必要があります。
Topicセサミストリート風の名前は、ある父親の思いから始まった
AIの言語モデルには、子ども向け番組「セサミストリート」の登場キャラクターと同じ名前がいくつもあります。始まりは、アレン人工知能研究所などのチームが2017年10月にネットで公開したELMo（エルモ）。筆頭著者のマシュー・ピーターズ氏は2019年、米The Vergeの取材に対し、名前はエンジニアのジョエル・グルス氏の案で、当時3歳ほどだった長男に論文を捧げる意味も込めたと明かしています。ところが翌年のBERTについて、Googleは同サイトの再三の問い合わせにも名前の由来を語らず、記事は「ELMoのチームと同じく、マペットを意識したと広く考えられている」と書くにとどめました。一方、中国のBaiduが2019年に発表したモデルは、論文の要旨で正式名を「Enhanced Representation through kNowledge IntEgration」と綴っています。頭文字でもないNとEをわざわざ大文字にしてあり、並べると番組でバートの相棒を務めるアーニーと同じ「ERNIE」になります。
BERTに関するよくある質問
- BERTは日本語の文章にも使えますか？
- 使えます。2018年11月初めの公開時は英語版だけでしたが、Googleは同じ月のうちに、日本語を含む104言語をまとめて学習した多言語版も公開しました。日本語の文章だけで学習し直した版も、東北大学の研究グループが公開しています。
- BERTを会社で使うのに、使用料はかかりますか？
- Googleが公開したBERTのプログラムと学習済みモデルは、Apache 2.0という利用条件で配布されていて、商用でも使用料はかかりません。ライセンス文を残すなどの条件はあります。東北大学の日本語版も同じApache 2.0です。ただし、動かすためのサーバー代や、自社の用途に合わせて追加で学習させる作業の費用は別にかかります。
