パラメータとは
パラメータとは、AIのモデルが学習を通じて自分で調整していく、内部の無数の数値のことです。機械学習では、大量の訓練データを読み込みながらこれらの数値を少しずつ変え、答えが合うように近づけていきます。AIの「知識」や「クセ」が詰まっている部分だと考えるとわかりやすいでしょう。
学習で決まる値と、人が決める値
パラメータは、よく「調整つまみ」にたとえられます。大規模言語モデル(LLM)では、このつまみが数百億から数千億個にのぼることもあります。たとえば2020年に登場したGPT-3は、約1750億個のパラメータを持つことで知られていました。
紛らわしいのが、人があらかじめ決める設定値「ハイパーパラメータ」との違いです。パラメータはAIが学習しながら自動で調整する値、ハイパーパラメータは学習の前に人が決める設定。名前は似ていますが、値を決める主体が異なります。
Topic数千億個のつまみを、人が回しているわけではない
パラメータが数千億個と聞くと、技術者がそれを一つずつ設定しているように思えるかもしれません。実際は逆です。これらの数値は、AIが膨大なデータを読みながら自動で少しずつ調整したもので、人が手で決めているわけではありません。人間が用意するのは学習の仕組みやデータであって、最終的なつまみの値はAI自身が学習の中で見つけ出していきます。だからこそ、なぜその値になったのかを人があとから完全には説明しきれない、という難しさも生まれます。
関連用語
パラメータに関するよくある質問
- パラメータとハイパーパラメータは何が違いますか？
- パラメータはAIが学習しながら自動で調整する値、ハイパーパラメータは学習の前に人が決める設定値です。名前は似ていますが、値を決める主体が異なります。
- 数千億個のパラメータは、人が設定しているのですか？
- いいえ。これらの数値はAIが膨大なデータを読みながら自動で調整したもので、人が手で決めているわけではありません。だからこそ、なぜその値になったのかを人があとから完全には説明しきれない、という難しさも生まれます。大規模言語モデルではこのつまみが数百億〜数千億個にのぼり、2020年のGPT-3は約1750億個を持つことで知られました。