ขีดจำกัดและงบประมาณของ Gateway
ก่อนส่ง ค่าใช้จ่ายสูงสุดของแต่ละคำขอจะถูกกันไว้กับขีดจำกัดของเวิร์กสเปซและแผนก ขีดจำกัดอัตราคุมคำขอและโทเค็นต่อนาที การปฏิเสธแต่ละแบบมีรหัส 429 ของตัวเอง
กันไว้ก่อนส่ง#
ก่อนส่งคำขอไปยังโมเดล Gateway จะคำนวณค่าใช้จ่ายสูงสุดที่เป็นไปได้ คือพรอมต์ที่ประเมินไว้บวกกับเอาต์พุตที่คำขอขอ (max_tokens หรือ max_completion_tokens) ในราคาที่คำขอขอ จำนวนนี้จะถูกกันไว้กับทุกขีดจำกัดที่เกี่ยวข้อง รวมกับยอดที่ใช้ไปแล้วในเดือนนี้และยอดที่คำขออื่นที่กำลังทำงานกันไว้ ถ้าไม่พอ คำขอจะถูกปฏิเสธก่อนส่งและไม่เสียค่าใช้จ่าย คำขอที่พอจะทำงานแบบขนานกันได้
เมื่อได้คำตอบ ยอดที่กันไว้จะถูกแทนที่ด้วยการใช้งานที่วัดได้จริง ถ้าผู้ให้บริการไม่รายงานการใช้งานเลย (เช่น การเชื่อมต่อขาด) คำขอจะถูกปิดยอดด้วยค่าประมาณ 15 นาทีหลังส่ง โดยใช้การใช้งานที่สตรีม Messages รายงานไว้ก่อนหยุด ถ้าไม่มีจะใช้ยอดที่กันไว้ เจ้าของหรือผู้ดูแลแก้ค่าประมาณได้หนึ่งครั้ง ที่แถวของคำขอนั้นใน AI Gateway › การใช้งาน
ขีดจำกัดรายเดือน#
| ขีดจำกัด | นับอะไร | ดูได้ที่ |
|---|---|---|
| ค่าใช้จ่ายรายเดือนของเวิร์กสเปซ | USD ตามราคาในแค็ตตาล็อกของแต่ละโมเดล | AI Gateway › การใช้งาน › ขีดจำกัดรายเดือน |
| โทเค็นและคำขอรายเดือน | คำขอ Gateway ทั้งหมดของเวิร์กสเปซ | AI Gateway › การใช้งาน › ขีดจำกัดรายเดือน |
| เพดานของแผนก | USD ที่คีย์ซึ่งคิดค่าใช้จ่ายกับแผนกนั้นใช้ไป | การตั้งค่า › การใช้งาน |
| ช่วงเวลาเลื่อน | โทเค็นใน 6 ชั่วโมงล่าสุด และสัดส่วนของแต่ละคีย์ | ระบุไว้ในข้อความปฏิเสธ |
| ผู้ใช้ปลายทาง ต่อคีย์ | USD ที่ผู้ใช้ปลายทางหนึ่งคนของคีย์ใช้ในเดือนนี้ (ไม่บังคับ) | การตั้งค่าของคีย์ |
ขีดจำกัดรายเดือนจะรีเซ็ตในวันแรกของเดือนถัดไปตามเวลา UTC คีย์ที่คิดค่าใช้จ่ายกับแผนกจะนับกับทุกแผนกนั้นและกับเวิร์กสเปซด้วย ขีดจำกัดที่เข้มที่สุดเป็นตัวตัดสิน
ขีดจำกัดอัตรา#
แต่ละคีย์และแต่ละเวิร์กสเปซยังมีขีดจำกัด คำขอต่อนาที และ โทเค็นต่อนาที ค่าเริ่มต้นมาจากแผนของเวิร์กสเปซ และตั้งไว้สูงกว่าขีดจำกัดต่อนาทีของผู้ให้บริการโมเดลเอง เครื่องมือที่ใช้ได้เมื่อเชื่อมต่อโดยตรงจึงไม่ชนขีดจำกัดของเราก่อน เจ้าของและผู้ดูแลลดค่าได้สำหรับคีย์ใดคีย์หนึ่ง เช่น งานแบบแบตช์ หรือสำหรับทั้งเวิร์กสเปซ
ตัวนับใช้ร่วมกันในทุกเซิร์ฟเวอร์ Gateway ขีดจำกัดของคีย์จึงใช้กับคำขอทั้งหมดของคีย์รวมกัน คำขอที่เกินขีดจำกัดอัตราจะถูกปฏิเสธก่อนส่งและไม่กันยอดใด ๆ
คีย์ยังกำหนดเพดานคำขอพร้อมกันได้ด้วย ถ้าไม่ตั้งไว้ก็จะไม่มี
429 ทั้งสามแบบ#
| รหัส | ความหมาย | ลองใหม่ไหม | ต้องทำอะไร |
|---|---|---|---|
provider_rate_limited | ผู้ให้บริการโมเดลไม่ว่าง | ได้ ส่งต่อ Retry-After ของผู้ให้บริการ | ไม่ต้องทำอะไร SDK ทางการจะรอแล้วลองใหม่เอง |
gateway_rate_limited | คีย์หรือเวิร์กสเปซนี้ส่งเร็วเกินไป | ได้ ส่ง Retry-After และ X-Should-Retry: true | รอ หรือเพิ่มขีดจำกัดอัตราของคีย์หรือเวิร์กสเปซ |
inference_allowance_exceeded | ขีดจำกัดรายเดือนหรือเพดานไม่เหลือที่ว่าง | ไม่ได้ ส่ง X-Should-Retry: false | ขอให้เจ้าของหรือผู้ดูแลเพิ่มขีดจำกัด หรือรอการรีเซ็ต |
ข้อความจะระบุขีดจำกัด ปริมาณที่ใช้ไป และวันรีเซ็ตสำหรับขีดจำกัดรายเดือน เช่น This workspace reached its monthly spend limit (US$60.00 of US$60.00). Resets 2026-11-01. Ask a workspace admin to raise it.
การแจ้งเตือน#
เมื่อขีดจำกัดรายเดือนหรือเพดานของแผนกถึง 80% และ 100% เจ้าของและผู้ดูแลจะเห็นแถบแจ้งเตือนใน AI Gateway และปลายทางการแจ้งเตือนของเวิร์กสเปซ (อีเมลและ webhook ที่มีลายเซ็น ตั้งค่าได้ที่ การตั้งค่า › การแจ้งเตือน) จะได้รับแจ้งหนึ่งครั้งต่อขีดจำกัดและเกณฑ์ในแต่ละเดือน