Agent Lab · 企業 AI Gateway

一把 key 接所有模型，
每一筆都先算過錢。

雲端或地端模型都能接。Claude Code、Codex 改一個網址就用，誰花了多少都查得到。

申請開通看怎麼接

先說清楚

AI Gateway 是什麼？

AI Gateway（也叫 LLM Gateway）是公司和 AI 模型之間的關口：所有工具經過它呼叫模型，由它選模型、管預算、留紀錄。

模型: 雲端的 Claude、GPT，或你的地端模型
格式: OpenAI 與 Anthropic API
工具: Claude Code、Codex、OpenAI／Anthropic SDK
選模型: 指定，或用 auto 依難度挑
上限: 工作區月預算、部門上限
紀錄: 每筆記下 key、部門、模型、費用

為什麼需要

各拿一把模型 key，帳單就失控

沒有上限

跑錯的腳本，月底才看到帳單。

算不到部門

共用一把 key，分不出誰花的。

出事查不到

只有總數，不知道是哪個工具。

模型各設各的

要換模型，每個工具都得改。

怎麼運作

每一次呼叫，都走同一條路

驗 key
每把 key 算到一個部門。
選模型
指定的照用，auto 自動挑。
先扣預算
超過上限就不送。
記帳
花多少都留紀錄。

auto 自動選模型

簡單的用便宜模型，難的才用強的

任務	用哪個模型	例如
多步驟	較強的	改好幾個檔案
分析、寫程式	標準	解釋一段程式
聊天、翻譯、抽資料	最便宜的	從文件抽欄位
判斷不出來	標準	不會偷偷變便宜

預算用過 80% 後，難的任務也改用標準模型。CLI 加一個 X-AgentLab-Routing: auto header 就能用。

預算與上限

先扣錢再送出，不是月底才算

月預算

加上 6 小時滾動上限。

部門上限

每個部門各自的美元上限。

先扣後退

同時送出也不會一起超支。

80%、100% 提醒

主控台通知 owner。

接上

接上 Claude Code、Codex 和 OpenAI SDK

Anthropic Messages

Claude Code

最後那行開啟 auto。

export ANTHROPIC_BASE_URL=https://api.agentlab.cresclab.com
export ANTHROPIC_AUTH_TOKEN=<你的 API key>
export ANTHROPIC_CUSTOM_HEADERS="X-AgentLab-Routing: auto"
claude

OpenAI Responses

Codex

寫進 ~/.codex/config.toml。

model_provider = "agentlab"

[model_providers.agentlab]
name = "Agent Lab"
base_url = "https://api.agentlab.cresclab.com/v1"
wire_api = "responses"
env_key = "AGENTLAB_API_KEY"
http_headers = { "X-AgentLab-Routing" = "auto" }

Chat Completions

OpenAI SDK

Anthropic SDK 一樣換 base_url。

client = OpenAI(
    base_url="https://api.agentlab.cresclab.com/v1",
    api_key=os.environ["AGENTLAB_API_KEY"],
)
client.chat.completions.create(model="auto", messages=[...])

開通後，主控台會產生這些設定。

紀錄與稽核

每一筆呼叫都查得到

請求紀錄

key、部門、模型、費用。

花費報表

可以篩到單一把 key。

key 只存雜湊

隨時撤銷，有稽核紀錄。

斷線也結算

15 分鐘後自動結算。

比較

跟其他 AI Gateway 比一比

	部署	預算怎麼擋	自動選模型	適合
Agent Lab AI Gateway	我們代管；雲端、地端模型都能接	送出前先扣	auto 依難度	不想自己維運的企業
LiteLLM	開源，自己架	送出前預留	Auto Router（beta）	想自己架的工程團隊
Portkey（現為 Prisma AIRS AI Gateway）	SaaS、混合、自架	每把 key 上限	條件規則	重視 log 與 guardrails
Cloudflare AI Gateway	Cloudflare 代管，核心免費	完成後才記費	Auto Router	已用 Cloudflare
Kong／Azure APIM	延伸既有 API 管理	Kong 下一筆才算；Azure 只限 token	負載平衡	已用它們管 API
TrueFoundry	SaaS，企業版可自架	依使用者、模型	權重、延遲	也要部署模型

依各家官方文件，2026-10-21 查核：LiteLLM、Portkey、Cloudflare、Kong、Azure、TrueFoundry。

常見問題

AI Gateway 常見問題

AI Gateway 是什麼？

AI Gateway（LLM Gateway）是公司和 AI 模型之間的關口。所有工具經過它呼叫模型，由它選模型、管預算、留紀錄。

可以接地端模型嗎？

可以。地端模型只要提供 OpenAI 相容 API（例如 vLLM、Ollama），就能和雲端的 Claude、GPT 一起接，用同一套預算和紀錄。

跟 LiteLLM 差在哪？

LiteLLM 開源、要自己架和維運。Agent Lab 由我們代管，開通就能用。兩者都會在送出前先扣預算。

跟 Cloudflare AI Gateway 差在哪？

Cloudflare 核心功能免費，但費用在請求完成後才記入。Agent Lab 送出前就先扣，同時送出也不會一起超支。

auto 會讓答案變差嗎？

只有簡單任務用便宜模型，判斷不出來就用標準模型。指定的模型不會被換掉。

可以省多少錢？

看任務組成，不保證固定比例。報表有每個完成請求的平均成本，接上前後一比就知道。

申請開通，
先接一個工具試

現在用哪些模型、工具
每月大概用量
開通後建 key 就能接

已經開通？登入主控台。

一把 key 接所有模型，每一筆都先算過錢。