Gateway 額度與預算
送出前，Gateway 會把每個請求最多可能的費用預留在工作區與部門的上限裡。速率上限限制每分鐘的請求數和 token 數，每種拒絕各有自己的 429 代碼。
送出前先預留#
請求送到模型之前，Gateway 會算出它最多可能花多少：估算的提示詞，加上請求要求的輸出量（max_tokens 或 max_completion_tokens），以請求要求的價格計算。這筆金額會連同本月已經花掉的、以及其他進行中請求預留的金額，一起預留在每一個適用的額度裡。放不下，請求就會在送出前被拒絕，不收任何費用。放得下的請求會並行執行。
回答回來後，預留的金額會換成實際量到的用量。如果供應商一直沒有回報用量（例如連線中斷），請求會在送出 15 分鐘後以估計值結算：Messages 串流中斷前已經回報的用量；沒有的話就用預留的金額。擁有者或管理員可以在 AI Gateway › 用量裡該請求的那一列，修正一次估計值。
每月額度#
| 額度 | 計算什麼 | 在哪裡看 |
|---|---|---|
| 工作區每月花費 | 美元，以每個模型的目錄價格計算 | AI Gateway › 用量 › 每月額度 |
| 每月 token 數和請求數 | 工作區所有的 Gateway 請求 | AI Gateway › 用量 › 每月額度 |
| 部門上限 | 歸屬到該部門的金鑰花掉的美元 | 設定 › 使用量 |
| 滾動時段 | 最近 6 小時的 token 數，以及每把金鑰占的份量 | 拒絕訊息會寫出是哪一個 |
| 每把金鑰的終端使用者 | 金鑰的單一終端使用者本月花掉的美元（選用） | 金鑰的設定 |
每月額度在下個月第一天（UTC）重設。歸屬到部門的金鑰，會同時算進每個部門和工作區；以最緊的那個額度為準。
速率上限#
每把金鑰和每個工作區也各有每分鐘請求數和每分鐘 token 數的上限。預設值來自工作區的方案，而且設得比模型供應商自己的每分鐘上限還高，所以直接連線時能用的工具，不會先撞到我們的上限。擁有者和管理員可以替某把金鑰調低，例如給批次作業用的金鑰，也可以調低整個工作區的上限。
所有 Gateway 伺服器共用同一份計數，所以一把金鑰的上限套用在它所有請求的總和上。超過速率上限的請求會在送出前被拒絕，不會預留任何費用。
金鑰也可以設定並行請求的上限。你沒設就沒有。
三種 429#
| 代碼 | 意思 | 要重試嗎？ | 怎麼辦 |
|---|---|---|---|
provider_rate_limited | 模型供應商忙碌中。 | 要。會轉傳供應商的 Retry-After。 | 不用處理；官方 SDK 會自己等待並重試。 |
gateway_rate_limited | 這把金鑰或工作區送得太快。 | 要。會送出 Retry-After 和 X-Should-Retry: true。 | 等一下，或調高金鑰或工作區的速率上限。 |
inference_allowance_exceeded | 某個每月額度或上限已經用完。 | 不要。會送出 X-Should-Retry: false。 | 請擁有者或管理員調高額度，或等額度重設。 |
訊息會寫出是哪一個額度、已經用了多少，如果是每月額度，還會寫出重設的日期，例如：This workspace reached its monthly spend limit (US$60.00 of US$60.00). Resets 2026-11-01. Ask a workspace admin to raise it.
提醒#
每月額度或部門上限用到 80% 和 100% 時，擁有者和管理員會在 AI Gateway 看到橫幅，工作區的通知目的地（電子郵件和簽章 webhook，在設定 › 通知設定）每個月對每個額度、每個門檻各通知一次。