バックプロパゲーションとは

バックプロパゲーションとは、ニューラルネットワークが出した答えの誤差をもとに、内部の無数の調整つまみ(重み)を少しずつ正しい方向へ直していく学習アルゴリズムです。日本語では誤差逆伝播法と訳され、出力側で生じた誤差を入口へ向けて逆向きにたどることから、この名前が付きました。今の生成AIブームよりずっと前、1986年に広く知られるようになった、ディープラーニングの土台といえる考え方なのです。

答え合わせを、逆向きにたどる

ニューラルネットワークは、入力から出力に向けて何層もの計算を重ねて答えを出します。バックプロパゲーションの勘どころは、その答えと正解とのズレ(誤差)を、出口から入口へ逆向きにたどりながら、どのつまみをどれだけ動かせば誤差が縮むかを一気に割り出すこと。坂道を下って谷底(誤差が最小になる地点)を目指すように、重みを少しずつ更新していくイメージでしょうか。つまみを一つずつ手で調整するのに比べて桁違いに効率がよく、層が深く大きなネットワークでも現実的な時間で学習を進められます。

「AIの冬」を越えた立役者

この仕組みが注目された背景には、初期のニューラルネットワーク(単層パーセプトロン)がぶつかった壁がありました。1969年に示されたXOR問題のように、単純な構造では解けない課題が見つかり、研究は一度下火になります(第一次AIの冬)。その後、隠れ層を挟んだ多層のネットワークをバックプロパゲーションで学習させれば、こうした壁を越えられると分かりました。1986年にラメルハート、ヒントン、ウィリアムズらの論文が大きな反響を呼び、広く使われるようになったのです。経営の視点では、AIが「学習する」という言葉の中身がこの誤差の修正作業だと知っておくと、AI導入時に「どんなデータでどう学ばせるか」が効いてくる理由も腹落ちしやすいでしょう。

Topic教科書のアルゴリズムが、ノーベル賞につながった話

バックプロパゲーションの普及を支えた研究者の一人、ジェフリー・ヒントン氏は2024年にノーベル物理学賞を受賞しました。受賞理由は、人工ニューラルネットワークによる機械学習を可能にした基礎的な発見への貢献です。1980年代には「見込みのない研究」とまで言われた分野が、約40年を経て今のAIブームを生み、物理学賞という形で報われた。技術の芽がどこで育つかは、本当に分からないものですね。

バックプロパゲーションに関するよくある質問

バックプロパゲーションと機械学習は何が違いますか?
機械学習はデータから規則性を学ぶ技術の総称で、バックプロパゲーションはその中でニューラルネットワークを効率よく訓練するための計算手順の一つです。学習全体ではなく「学ばせ方」を担う部品にあたります。
AIが「学習する」とは、人間の学習と同じ意味ですか?
同じではありません。ここでの学習は、答えのズレが小さくなるように内部の数値(重み)を少しずつ自動で調整する計算のことで、人が意味を理解して覚える営みとは別物です。
この仕組みは今のAIにも使われていますか?
使われています。広まったのは1986年ですが、画像認識から大規模言語モデルまで、ニューラルネットワークを訓練する土台として今も中心的な役割を担っています。

あわせて読みたい記事