1,200ドルの衝撃：なぜPrompt Cachingが不可欠になったのか
先月、あるRAGベースのチャットボットが、わずか48時間でスタートアップの予備予算を使い果たしそうになりました。50ページもの法的文書をフォローアップの質問ごとに再処理していたため、APIコストが一夜にして400%も急増したのです。ユーザーは、モデルが既読のテキストを読み直している間、18秒間もローディング画面を見せられることになりました。私たちは実質的に、自社のデータの冗長性に対して「トークン税」を支払っていたのです。
Prompt Cachingはこの問題を解決します。静的なデータを再処理するために資金を浪費する代わりに、計算されたプロンプトの状態をプロバイダーのサーバーに保存します。これをトラフィックの多い商用アプリに実装したところ、クエリあたりのコスト削減だけでなく、UIの応答も一瞬に感じられるようになりました。
KVキャッシュの仕組み
Prompt Cachingは、テキストを読み取った後のモデルの数学的な状態である「KVキャッシュ」を固定することで機能します.LLMがクエリのたびに4万語の技術マニュアルをゼロから解析するのではなく、保存されたスナップショットから再開するのです。AnthropicとGoogleの両社がこの機能を提供していますが、永続化の処理方法が異なります。Anthropicは短期間の「エフェメラル（一時的）」キャッシュを使用し、Googleは専用のリソースIDによる長期保存を可能にしています。
インストールと環境設定
開始するには、最新バージョンのSDKが必要です。キャッシュ機能は頻繁に更新されるため、古いライブラリでは動作しない可能性があります。他のAIフレームワークとの競合を避けるため、仮想環境に依存関係を分離することをお勧めします。
# キャッシュサポートのために最新バージョンであることを確認する
pip install -U anthropic google-generativeaiスクリプトを実行する前に、APIキーを環境変数にエクスポートしてください.Claudeでのキャッシュ利用にはTier 2以上のアカウントが必要です。GeminiのキャッシュはVertex AIまたはGoogle AI Studioを通じて利用可能ですが、キャッシュされたコンテンツはストレージ制限にカウントされるため、プロジェクトのクォータ（割り当て）に注意してください。
実装：Claude 3.5でのPrompt Caching
Anthropicは「プレフィックス一致（prefix matching）」システムを採用しています。プロンプトの冒頭が以前のリクエストと一致する場合、システムはキャッシュヒットをトリガーします。cache_controlパラメータを使用して、キャッシュするブロックを明示的に定義する必要があります。
キャッシュされるセグメントは、SonnetおよびHaikuでは最低1,024トークンである必要があることに注意してください。これは、大規模なシステム指示や膨大なコンテキストウィンドウに最適です。以下は、ドキュメントアシスタント用の簡略化された実装例です：
import anthropic
client = anthropic.Anthropic()
# 10,000トークンの技術マニュアル
technical_docs = "... (膨大なテキストブロック) ..."
response = client.beta.prompt_caching.messages.create(
model="claude-3-5-sonnet-20240620",
max_tokens=1024,
system=[
{
"type": "text",
"text": "あなたはシニアシステムエンジニアです。"
},
{
"type": "text",
"text": technical_docs,
"cache_control": {"type": "ephemeral"} # これによりキャッシュがトリガーされる
}
],
messages=[{"role": "user", "content": "ロードバランサーの設定について説明してください。"}]
)最初のリクエストでは、標準の入力よりも通常25%高い「キャッシュ書き込み」料金が発生します。しかし、5分以内の後続のリクエストはすべて90%割引で請求されます。10万トークンのプロンプトの場合、メッセージあたりの支払いは0.30ドルからわずか0.03ドルになります。
実装：Gemini 1.5でのContext Caching
Googleのアプローチはより永続的です。指定した期間（TTL）存続するCachedContentリソースを作成します。これは、数時間または数日間静的なままのナレッジベースに対して非常に効率的です。
import google.generativeai as genai
from google.generativeai import caching
import datetime
# 2時間存続するキャッシュを作成
cache = caching.CachedContent.create(
model='models/gemini-1.5-flash-001',
display_name='legal_corpus_v1',
system_instruction='これらの文書を高い精度で分析してください。',
contents=["ここに5万語の法的文書を挿入..."],
ttl=datetime.timedelta(hours=2),
)
# キャッシュされたコンテンツIDを使用してモデルを初期化
model = genai.GenerativeModel.from_cached_content(cached_content=cache)
response = model.generate_content("セクション4の責任条項は何ですか？")
print(response.text)Geminiはマルチモーダルなキャッシュに優れています。2時間の動画ファイルをアップロードした場合、動画全体のステートをキャッシュできます。これにより、ユーザーは動画フレームを毎回再処理するのを待つことなく、特定のタイムスタンプに関する数十の質問を投げかけることができます。
パフォーマンスとコストの監視
キャッシュを盲目的にデプロイしないでください。システムプロンプト内の1文字の変更（偶発的なスペースなど）でも、プレフィックスの一致が崩れ、完全な再処理が強制されます。実際にキャッシュがヒットしているかを確認するために、レスポンスのメタデータを監視する必要があります。
Claudeの使用状況の検証
Claudeのレスポンスオブジェクトには、キャッシュのパフォーマンスに関する特定のフィールドが含まれています。実際のROIを計算するには、cache_read_input_tokensを監視してください。この数値が一貫してゼロである場合、リクエスト間でプレフィックスが変更されている可能性があります。
# これらの値をオブザーバビリティプラットフォームに記録する
print(f"キャッシュ書き込み: {response.usage.cache_creation_input_tokens}")
print(f"キャッシュヒット: {response.usage.cache_read_input_tokens}")戦略の最適化
- 構造が重要： 静的なコンテンツ（ドキュメント、指示）は常にプロンプトの最初に配置してください。ユーザーの現在の質問のような動的なコンテンツは、最後に配置する必要があります。
- TTLに注意： Geminiは100万トークンあたり1時間のストレージ料金を課します。トラフィックが少ない場合、ストレージコストがトークンごとの節約額を上回る可能性があります。
- プロンプトのバージョン管理： キャッシュされたコンテンツをデータベースのように扱います。表示名にバージョン管理を使用して、ドキュメントのどのイテレーションが現在キャッシュ内で「ホット」であるかを追跡します。
RAGパイプラインをこのアーキテクチャに移行したことで、複雑なクエリの平均レイテンシが14秒から約2.2秒に短縮されました。LLMエンジニアリングの世界において、これは予算を抑えつつスケールさせるための最も効果的な方法です。アプリケーションが長いコンテキストを扱う場合、キャッシュは単なる機能ではなく、プロダクションにおける必須要件です。
