Gateway が保存するもの
Gateway はプロンプトや応答のテキストを保存しません。記録するのは、誰がリクエストを送ったか、どのモデルが応答したか、トークン数、費用、所要時間、リクエスト本文のフィンガープリントです。
プロンプトと応答は保存しません#
ホスト型の Gateway は、リクエストのプロンプトとモデルの応答をメモリ上で受け渡すだけです。どちらもデータベース、ログ、トレースには書き込みません。リクエストについてプロバイダーが書いたエラーはそのまま返し、ログには残しません。
記録するもの#
Gateway はリクエストの試行ごとに次のものを記録します。
| 記録するもの | 理由 |
|---|---|
| リクエストと試行の ID、日時、状態 | 使用量のページにリクエストを表示し、確定するため。 |
| キーとその部門 | 正しい予算に計上するため。 |
| エンドユーザー(リクエストが示した場合) | 人ごとの支出を報告・制限するため。識別子だけで、それ以外は記録しません。 |
| タグ(リクエストが送った場合) | 使用量を分けて絞り込むため。送られたキーと値だけです。 |
| モデルと、それを選んだ理由 | 何が応答したかを示すため。auto の場合は判断のラベル(analysis/multi_step など)。 |
| トークン数と価格の区分 | 価格を計算するため。 |
| 拒否された場合はその理由 | コードと上限の数値。プロバイダーの文面は記録しません。 |
| 本文の SHA-256 フィンガープリント | 再送されたリクエスト(同じ Idempotency-Key)と別のリクエストを見分けるため。ここから元のテキストに戻すことはできません。 |
auto の判断は、リクエストの限られた抜粋(最大 8 KiB)を、それ自体のモデル呼び出しで読みます。抜粋も保存しません。判断結果は、同じやり取りの残りで同じモデルを使えるよう、抜粋のハッシュをキーとして処理中のプロセスのメモリに 30 分間保持されます。
モデルプロバイダー#
リクエストは引き続きモデルプロバイダー(Anthropic、OpenAI、または自社ネットワーク内のモデル)に送られ、そのプロバイダー自身のデータ規約が適用されます。/v1/responses では Gateway が store: false を送るので、プロバイダーは後から取得するための応答を保持しません。
セルフホストの Gateway#
自社で運用する Gateway は、同じ記録を自社の PostgreSQL データベースに保存します。トレースのエクスポートは、自社のコレクターを指定しない限りオフで、指定した場合も同じ限られた属性だけをエクスポートします。イメージには、テストの再生用にプロンプトと応答をそのまま保存するモデル通信の記録機能があります。運用者が FRANKY_MODEL_TAPE_MODE を設定しない限りオフで、ホスト型の Gateway でオンになることはありません。