LPUとは

LPUとは、米国のAI半導体スタートアップであるGroq（グロック）が開発した、文章を生成するAIの「応答」を高速にこなすことに特化した専用チップです。AIの処理は大きく、AIを育てる「学習」と、できあがったAIに質問して答えさせる「推論」に分かれます。LPUはこのうち推論、とくにLLM（大規模言語モデル）が文章を吐き出す部分だけに設計を絞った点が特徴です。

GPUと何が違うのか

いまのAIの多くは、汎用的な計算が得意なGPUで動いています。GPUは学習にも推論にも使える万能選手ですが、その分むだも生まれやすい部品です。LPUは逆に、用途を推論1点へ絞り込みました。処理の順番をあらかじめ固定する「決定論的」な設計で待ち時間を削り、データをチップの外へ取りに行かず内部の高速メモリで回します。結果としてGroqは、代表的なLLMを毎秒1,600トークン超で生成できると公表しています。トークンとはAIが文章を区切る細かな単位で、ざっくり言えば長い文章をほぼ一瞬で書き出すような速さでしょう。

経営から見たときの意味

AIサービスの使い勝手は、答えが返ってくる速さで大きく変わります。問い合わせ対応や社内検索でAIの返答がもたつくと、現場の利用は伸びません。推論を速く安くこなせるチップは、AIの応答速度と運用コストを直接左右するカードになります。GPU一強だった計算基盤に、用途を絞った専用チップという別の選択肢が出てきたことが、LPUの大きな意味でしょう。ただし学習までこなす万能チップではない点は、誤解しないでおきたいところ。

LPUに関するよくある質問

LPUはAIの「学習」にも使えますか？

LPUは推論（できあがったAIに答えさせる工程）に特化したチップで、AIをゼロから育てる学習向けには設計されていません。学習には引き続きGPUなどが使われ、LPUはその後の応答を速くする役割を担います。

LPUは自社で買って使うものですか？

多くの場合、GroqがクラウドとしてLPUの計算力を提供する形で利用します。チップ単体を購入するより、その基盤を使うサービス経由でAIの応答を高速化するのが一般的な使い方です。