レイテンシとは
レイテンシとは、何かを要求してから応答が返ってくるまでの「待ち時間（遅延）」のことです。AIの文脈では、質問を送ってからAIが答え始めるまでの時間を指し、この時間が短いほど快適に使えます。
スループットとの違い
レイテンシと混同しやすいのが「スループット」です。レイテンシは1回の応答の速さ、スループットは一定時間にどれだけ大量に処理できるかを表します。レストランにたとえれば、料理が出てくるまでの待ち時間がレイテンシ、店全体が1時間にさばける客数がスループット、というイメージでしょう。対話AIでは、この待ち時間の短さが使い心地を大きく左右します。
Topic「一瞬」にも光の速さの限界がある
クラウド上のAIが即座に答えているように見えても、データは物理的にデータセンターまで往復しているのです。通信のレイテンシは光の速さに縛られており、光ファイバーの中ではおよそ1キロメートルあたり5マイクロ秒かかります。地球の裏側のサーバーとやり取りすれば、その分の遅延は確実に積み上がる。どんなに速いAIにも、物理法則という超えられない床があるわけです。
関連用語
レイテンシに関するよくある質問
- スループットとは何が違うのですか？
- レイテンシは1回の応答の速さ（待ち時間）、スループットは一定時間にどれだけ大量に処理できるかを表します。レストランでいえば、料理が出るまでの待ち時間がレイテンシ、店が1時間にさばける客数がスループットにあたります。
- AIの応答に物理的な限界はあるのですか？
- あります。クラウド上のAIでもデータは物理的にデータセンターまで往復しており、通信のレイテンシは光の速さに縛られます（光ファイバー内でおよそ1キロあたり5マイクロ秒）。地球の裏側のサーバーとやり取りすれば、その分の遅延は確実に積み上がります。