テンソルコアとは

テンソルコアとは、NVIDIAのGPUの中に組み込まれた、AIの計算で多用される「行列のかけ算」を専門に高速処理する演算ユニットです。GPUは多くの計算部品の集まりですが、その一画にAI向けの専門係を置いたものと考えると分かりやすいでしょう。テンソルコアは、いまのAIの学習や推論の速さを内側から支えている部品になります。

テンソルコアは何をしているのか

AIの学習や推論は、つきつめると大量の数字を並べた表どうしのかけ算と足し算の繰り返しです。GPUにはもともとCUDAコアという何でも屋の計算部品がありますが、テンソルコアはこの「表の計算」だけに役割を絞りました。さらに、答えの精度をあえて少し割り切る「混合精度」という方式を使い、その代わりに桁違いの速さと省電力を引き出します。経営の言葉に置き換えれば、同じ電力でより多くのAI処理をこなす燃費の良さを生む部品だといえるでしょう。

GoogleのTPUと混同しやすい

では、よく名前が似ているGoogleのTPUとは何が違うのでしょうか。実は両者はまったくの別物です。テンソルコアはNVIDIAのGPUの「中の一部分」、TPUはGoogleが独自に作った「独立したAI専用チップ」。部品の中の機能なのか、別個のチップそのものなのか、という違いです。AIの応答が速いか、電気代を抑えられるかは、こうしたチップ内部の専用ユニットがどれだけ効率よく計算をさばけるかに左右されます。表には出ない部品が、AIのコスト構造を静かに決めているわけです。

テンソルコアに関するよくある質問

テンソルコアとCUDAコアはどう違いますか？

CUDAコアは何でもこなす汎用の計算部品、テンソルコアは行列のかけ算に特化した専門部品です。1つのGPUに両方が同居しており、AIの処理ではテンソルコアが速さを受け持ちます。

テンソルコアは利用者が自分で操作するものですか？

いいえ、人が直接触るものではなく、AIの学習・推論を行うソフトが裏側で自動的に活用します。どのGPUを選ぶかで、その恩恵の大きさが変わってきます。