Gateway 儲存哪些資料
Gateway 不儲存任何提示詞或回覆內容。它記錄誰送出請求、哪個模型回答、token 數、費用和耗時，以及請求 body 的指紋。
不儲存提示詞和回覆#
託管的 Gateway 只在記憶體裡傳遞請求的提示詞和模型的回覆，兩者都不會寫進資料庫、記錄或追蹤資料。供應商針對你的請求所寫的錯誤訊息，會轉回給你，但不會記錄下來。
記錄了什麼#
每一次請求嘗試，Gateway 會記錄：
| 記錄的內容 | 為什麼 |
|---|---|
| 請求和嘗試的 id、時間、狀態 | 用來在用量頁顯示請求，並結算它。 |
| 金鑰和它所歸屬的部門 | 用來扣對的預算。 |
| 終端使用者（請求有註明時） | 用來依人回報和限制花費。只有識別碼，沒有其他內容。 |
| 標籤（請求有送時） | 用來拆分和篩選用量。只有你送的鍵和值。 |
| 模型，以及選它的原因 | 用來顯示是誰回答的。使用 auto 時，記錄判斷的標籤，例如 analysis/multi_step。 |
| token 數和價格層級 | 用來計價。 |
| 被拒絕的原因（如果有） | 代碼和額度的數字，絕不記錄供應商的原文。 |
| body 的 SHA-256 指紋 | 用來分辨重送的請求（相同 Idempotency-Key）和不同的請求。無法從指紋還原出文字。 |
auto 的判斷會用另一次模型呼叫，讀取請求中有長度上限的一段摘錄（最多 8 KiB）；這段摘錄同樣不會儲存。判斷結果會以摘錄的雜湊值為索引，保留在執行中程序的記憶體裡 30 分鐘，讓同一輪的後續步驟使用同一個模型。
模型供應商#
請求仍然會送到模型供應商（Anthropic 或 OpenAI，或你自己網路裡的模型），並適用該供應商自己的資料條款。在 /v1/responses 上，Gateway 會送出 store: false，所以供應商不會保留回應供日後取回。
自行架設的 Gateway#
你自己執行的 Gateway，會把同樣的紀錄存在你自己的 PostgreSQL 資料庫。它的追蹤匯出預設關閉，除非你指向自己的 collector，而且開啟後匯出的也是同樣有範圍限制的屬性。映像檔裡有一個用來重播測試的模型交換錄製器，會逐字儲存提示詞和回覆；除非操作人員設定 FRANKY_MODEL_TAPE_MODE，否則它是關閉的，而且在託管的 Gateway 上絕不會開啟。