Transformer(トランスフォーマー)とは

Transformerとは、2017年にGoogleの研究者が発表した、いまの生成AIの土台になっているAIの設計（仕組みの骨組み）のことです。ChatGPTの「T」は、このTransformerの頭文字。文章を扱うAIが一気に賢くなったのは、この設計が生まれたからだと言われています。映画やおもちゃの「トランスフォーマー」とは関係なく、AIの内部構造を指す言葉です。

Transformerの仕組み

Transformerの心臓部にあるのが、Attention(アテンション＝注意)と呼ばれる仕組みです。これは、文章の中でどの言葉とどの言葉が関係し合っているかを、まとめて見渡すはたらきをします。たとえば「それ」が何を指すのかを、前後の文脈から重みづけして捉える。人が文章を読むときに、大事な語へ自然と注意を向けるのに少し似ています。

もう一つの強みが、処理の速さです。Transformer以前の主流だった仕組みは、文章を前から一語ずつ順番に読む必要がありました。これに対しTransformerは、文全体をまとめて並行して処理できる。そのおかげで学習を大きく速められ、桁違いに大量のデータで訓練することが可能になりました。この「大規模化のしやすさ」が、のちの巨大なAIへの道を開いたわけです。

設計と製品の違い

ここは混同しやすいので整理しておきます。Transformerは、あくまで「設計図」にあたるもの。私たちが直接使うChatGPTやGeminiといった製品は、その設計図をもとに作られた具体的なAIです。家にたとえるなら、Transformerが建築の工法で、ChatGPTが実際に建った家、という関係でしょう。

もう一点、時代の感覚も添えておきます。Transformerが登場したのは2017年で、ChatGPTが世間に広まる(2022年11月)より5年も前のこと。生成AIブームは突然やってきたように見えて、その骨組みはずいぶん前に用意されていました。AI＝ChatGPTと最近のものだけで捉えると、この流れを見落としやすいかもしれません。

いまのAIを支える土台

Transformerが画期的だったのは、特定の用途だけでなく、さまざまなAIの共通の土台になった点にあります。Transformerをもとに作られた代表的なAIには、ChatGPT・Gemini・Claudeといった対話型AIや、検索などで活躍したBERTがあります。いずれも内部はTransformer系です。

経営の視点でおさえておきたいのは、いま話題の主要な生成AIは、ほぼ共通の設計思想の上に立っているということ。だからこそ進化が業界全体で同時に進みやすく、各社の競争も激しくなっています。個々の製品名に振り回されず、その下にある共通の土台を知っておくと、ニュースの見通しがよくなるはずです。

Transformerに関するよくある質問

なぜ「Attention Is All You Need」という題なのですか？

論文が主張したことが、まさにそれだからです。それまでの主流は、文章を前から順に読む再帰型の仕組みや、畳み込みと呼ばれる仕組みでした。この論文はそれらを「完全に取り払い」、注意(Attention)の仕組みだけで組み立てた設計を提案しています。題名は気の利いた比喩ではなく、設計方針そのものを述べたものです。

順番に読まないのなら、語順はどう扱っているのですか？

語順の情報を、別に足しています。論文は「このモデルには再帰も畳み込みもないので、並びの順序を使えるようにするには、語の位置についての情報を注入しなければならない」と述べ、それぞれの語に位置を表す値を加える方式をとりました。文全体を一度に見渡す代わりに、「何番目の語か」を明示的に教えているわけです。語順を入れ替えた文の意味の違いを扱えるのは、この工夫があるからです。

長い文章を入れると急に重くなるのは、なぜですか？

設計上の性質です。論文の比較表によれば、Attentionの計算量は語数の2乗に比例して増えます。100語が200語になると、計算は4倍。文全体の語どうしを総当たりで見比べる仕組みなので、長くなるほど負担が跳ね上がります。論文の結びでも、著者たちは「大きな入力を効率よく扱うために、注意を局所的に制限する仕組みを調べたい」と次の課題に挙げていました。長い資料を丸ごと渡すと待ち時間や費用が増えるのは、ここに理由があります。