エンコーダとは

エンコーダとは、Transformer(トランスフォーマー)で、入力された文章をまとめて読み取り、意味を理解する側の部品のことです。出力する文章を1語ずつ作り出すデコーダと対になる存在で、AIが「文章を読んで理解する」働きを担います。

文章を、前後まとめて理解する

エンコーダの特徴は、文章を頭から順に追うのではなく、入力された全ての語を一度にまとめて見渡し、それぞれの語に前後の文脈を織り込んだ表現を作る点にあります。ある単語の意味を、その前にある語だけでなく後ろにある語からも同時に判断できるため、文全体の意味を深くつかむのが得意です。

デコーダとの役割分担

もとのTransformerは、入力を理解するエンコーダと、出力を生成するデコーダの2つで成り立っていました。エンコーダは「読む・理解する」係、デコーダは「書く・生成する」係と整理すると分かりやすいでしょう。この組み合わせ方で、AIは大きく3つの型に分かれます。

代表的なのが、エンコーダだけのBERT(理解・分類が得意)、デコーダだけのGPT(文章生成が得意)、両方を持つ翻訳や要約向けの型です。文章を生み出すChatGPTのような大規模言語モデルは、このうちデコーダ側を中心に組み立てられています。

エンコーダに関するよくある質問

エンコーダは文章をどう読むのが得意なのですか？

文章を頭から順に追うのではなく、全ての語を一度に見渡し、ある単語の意味を前にある語だけでなく後ろの語からも同時に判断します。前後まとめて文脈を織り込むため、文全体の意味を深くつかむのが得意です。

私たちが使うGoogle検索にも、エンコーダは関係していますか？

はい。エンコーダだけで作られた代表例がBERT（2018年登場）で、Googleは2019年10月からこれを検索に取り入れ、入力された言葉の意図をより正確に読み取るのに使っています。「生成する」より「理解する」ことに強い、エンコーダの性質が活きた一例です。

エンコーダとデコーダはどう役割分担しているのですか？

エンコーダは「読む・理解する」係、デコーダは「書く・生成する」係です。この組み合わせ方でAIは、エンコーダだけのBERT（理解・分類が得意）、デコーダだけのGPT（生成が得意）、両方を持つ翻訳・要約向けの型に分かれます。ChatGPTのような大規模言語モデルはデコーダ側を中心に組み立てられています。