プレフィックスキャッシュとは
プレフィックスキャッシュとは、複数の依頼で共通する「プロンプトの先頭部分」の計算結果を保存しておき、同じ先頭を持つ次の依頼で使い回すことで、AIの応答を速く・安くする仕組みです。プレフィックスは「接頭辞＝前に付く共通部分」という意味。毎回まったく同じ前置きを読み直す無駄を省く、と考えると分かりやすいでしょう。
英語表記：Prefix Caching
どう動くのか
AIへの依頼には、毎回ほぼ同じ前置きが付くことがよくあります。たとえば、ぜんぶのユーザーに共通する長い指示文や、社内ルールの説明文など。プレフィックスキャッシュは、この共通する先頭部分について一度おこなった計算（KVと呼ばれる中間データ）を保存し、次に同じ先頭で始まる依頼が来たら、その部分の計算をまるごと省きます。省けるのは先頭の共通部分だけで、続く本題は通常どおり計算する形。答えの中身は変わらず、出だしまでの待ち時間と計算量だけが減ります。
KVキャッシュ・プロンプトキャッシュとの違い
名前が似た3つを混同しやすいので整理します。KVキャッシュは、1回の生成の中で過去の単語の計算を使い回す土台の仕組み。プレフィックスキャッシュは、それを複数の依頼にまたがって応用し、共通の先頭部分を使い回す発展形です。そしてプロンプトキャッシュは、この考え方をAI事業者がAPIの機能として商品化した呼び名。つまり、土台がKVキャッシュ、その応用がプレフィックスキャッシュ、製品化された機能名がプロンプトキャッシュ、という関係になります。
経営から見た意味
この仕組みが効くのは、同じ前置きを大量の利用者・大量の依頼に繰り返し送るサービスです。たとえば社内向けのAIチャットや、決まった指示で大量の文書を処理する業務。先頭の重い計算を1回で済ませられるぶん、応答が速くなり、GPUの使用量も減ってサーバ代の節約につながります。「なぜ共通の指示文を使い回す設計にするとAIが速く・安くなるのか」を理解しておくと、AI導入のコスト見積もりで役立つはずです。
Topicなぜ「前」だけで、途中はダメなのか
名前のとおり、使い回せるのは文章の「前から連続する共通部分」だけです。AIは文章を前から順に読み、ある単語の計算は「それより前の単語すべて」に左右されます。だから先頭が一文字でも違えば、その先の計算はすべてやり直し。逆に、途中や末尾だけがたまたま同じでも使い回せません。共通なのが「頭からひと続き」のときに限り再利用が成り立つ、という制約が、この技術が「プレフィックス（接頭辞）」と呼ばれる理由です。長い前置きをなるべく文頭にそろえる工夫が効くのは、このためなのです。
プレフィックスキャッシュに関するよくある質問
- プレフィックスキャッシュを使うと、AIの答えの内容は変わってしまいますか？
- 変わりません。先頭の共通部分の計算を省くだけで、出力そのものには影響しない高速化の仕組みです。速さとコストだけが改善し、答えの質は同じです。
- プレフィックスキャッシュは、どんなサービスでも自動でいつも効きますか？
- いつでも効くわけではありません。依頼の先頭に共通部分があるときだけ効く仕組みで、毎回まったく違う前置きを送ると再利用できません。同じ指示文を多くの利用者へ繰り返す使い方でとくに効果が出ます。
