Gateway の上限と予算
送信前に、各リクエストの最大費用をワークスペースと部門の上限に対して確保します。レート制限は 1 分あたりのリクエスト数とトークン数を制限し、拒否の種類ごとに 429 コードがあります。
送信前に確保する#
リクエストをモデルに送る前に、Gateway はそのリクエストにかかりうる最大の費用を計算します。推定したプロンプトと、リクエストが求める出力（max_tokens または max_completion_tokens）を、リクエストが求める価格で計算したものです。この金額を、今月すでに使った分と、処理中の他のリクエストが確保している分と合わせて、適用されるすべての上限に対して確保します。収まらない場合、リクエストは送信前に拒否され、費用はかかりません。収まるリクエストは並列に実行されます。
応答が届くと、確保した金額は実測の使用量に置き換わります。プロバイダーが使用量を報告しなかった場合（接続が切れた場合など）、リクエストは送信から 15 分後に推定値で確定します。推定値は、Messages のストリームが止まる前に報告していた使用量、なければ確保した金額です。オーナーまたは管理者は、AI Gateway › 使用量 のそのリクエストの行で、推定値を一度だけ修正できます。
月間上限#
| 上限 | 数える対象 | 確認する場所 |
|---|---|---|
| ワークスペースの月間支出 | 各モデルのカタログ価格による USD | AI Gateway › 使用量 › 月間上限 |
| 月間のトークン数とリクエスト数 | ワークスペースのすべての Gateway リクエスト | AI Gateway › 使用量 › 月間上限 |
| 部門の上限 | その部門に計上されたキーが使った USD | 設定 › 使用量 |
| ローリングウィンドウ | 直近 6 時間のトークン数と、そのうちの各キーの割合 | 拒否のメッセージに表示されます |
| キーごとのエンドユーザー | キーの 1 人のエンドユーザーが今月使った USD（任意） | キーの設定 |
月間上限は翌月 1 日（UTC）にリセットされます。部門に計上されたキーは、その各部門とワークスペースの両方に計上され、最も厳しい上限が適用されます。
レート制限#
キーとワークスペースには、1 分あたりのリクエスト数 と 1 分あたりのトークン数 の制限もあります。既定値はワークスペースのプランで決まり、モデルプロバイダー自身の 1 分あたりの制限より高く設定されているため、直接接続で動くツールが先にこちらの制限に達することはありません。オーナーと管理者は、キーごと（バッチ処理用など）またはワークスペース全体で、この値を下げられます。
カウントはすべての Gateway サーバーで共有されるため、キーの制限はそのキーのすべてのリクエストの合計に適用されます。レート制限を超えたリクエストは送信前に拒否され、何も確保しません。
キーには同時実行数の上限も設定できます。設定しない限り、上限はありません。
3 種類の 429#
| コード | 意味 | 再試行 | 対処 |
|---|---|---|---|
provider_rate_limited | モデルプロバイダーが混み合っています。 | 可。プロバイダーの Retry-After がそのまま渡されます。 | 対処は不要です。公式 SDK が待ってから再試行します。 |
gateway_rate_limited | このキーまたはワークスペースの送信が速すぎます。 | 可。Retry-After と X-Should-Retry: true が送られます。 | 待つか、キーまたはワークスペースのレート制限を引き上げます。 |
inference_allowance_exceeded | 月間上限または部門の上限に余裕がありません。 | 不可。X-Should-Retry: false が送られます。 | オーナーまたは管理者に上限の引き上げを依頼するか、リセットを待ちます。 |
メッセージには、どの上限か、そのうちどれだけ使ったか、月間上限の場合はリセットされる日が書かれます。例：This workspace reached its monthly spend limit (US$60.00 of US$60.00). Resets 2026-11-01. Ask a workspace admin to raise it.
アラート#
月間上限または部門の上限が 80% と 100% に達すると、オーナーと管理者には AI Gateway にバナーが表示されます。また、ワークスペースの通知先（設定 › 通知 で設定するメールと署名付き Webhook）に、上限としきい値ごとに毎月 1 回通知されます。