โฮสต์ Gateway เอง
รัน Gateway ในเครือข่ายของคุณเองเป็นอิมเมจคอนเทนเนอร์เดียวในโหมด Gateway อย่างเดียว ใช้ PostgreSQL และโมเดลของคุณ ตั้งค่าร่วมกับ Crescendo Lab เป็นรายโครงการ
สิ่งที่คุณรัน#
Gateway ที่โฮสต์เองเป็นอิมเมจเดียวกับที่เราโฮสต์ โดยเริ่มทำงานในโหมด Gateway อย่างเดียว ให้บริการเฉพาะ endpoint /v1 ในข้อมูลอ้างอิง API พร้อมคีย์ auto ขีดจำกัด บัญชีแยกประเภท และรหัสข้อผิดพลาดชุดเดียวกัน ไม่มีการลงชื่อเข้าใช้ คอนโซล หรือผลิตภัณฑ์อื่นของ Agent Lab อยู่ข้างใน
| ส่วนประกอบ | รายละเอียด |
|---|---|
| คอนเทนเนอร์ Gateway | รันด้วยผู้ใช้ที่ไม่ใช่ root บนระบบไฟล์แบบอ่านอย่างเดียว ไม่มีเส้นทางออกอินเทอร์เน็ต และไม่มี Docker socket |
| PostgreSQL | ของคุณเอง เก็บคีย์ บัญชีแยกประเภท และบันทึกการใช้งาน เข้าถึงได้จากเครือข่ายจัดเก็บข้อมูลของ Gateway เท่านั้น |
| โมเดล | เซิร์ฟเวอร์โมเดลที่เข้ากันได้กับ OpenAI ของคุณเอง (vLLM, Ollama และอื่น ๆ) บนเครือข่าย inference ภายใน โปรไฟล์นี้ไม่มีเส้นทางออกอินเทอร์เน็ต โมเดลบนคลาวด์จึงต้องตกลงการตั้งค่ากับเรา |
| ทางเข้า (Ingress) | พร็อกซีแยกต่างหากเผยแพร่ Gateway บนพอร์ตภายในเครื่อง ชื่อสาธารณะและ TLS เพิ่มโดย reverse proxy ของคุณเอง |
| การกำหนดค่า | ไฟล์ดีพลอยที่ระบุโมเดลและ endpoint ของโมเดล และความลับที่เก็บไว้นอกอิมเมจ |
ความพร้อม#
GET /v1/gateway/readiness ตอบ 200 เมื่อเซิร์ฟเวอร์มีฐานข้อมูลและการกำหนดค่าที่เผยแพร่แล้ว และตอบ 503 ระหว่างเริ่มทำงาน โหลดใหม่ หรือกำลังระบายคำขอ ไม่ได้ตรวจว่าโมเดลตอบได้ เมื่อการกำหนดค่าใหม่ไม่ถูกต้อง เซิร์ฟเวอร์จะใช้การกำหนดค่าที่ถูกต้องล่าสุดต่อไป และรายงาน configuration: rejected_replacement
การตั้งค่าเริ่มต้น#
การโฮสต์เองตั้งค่าร่วมกับ Crescendo Lab เราจัดเตรียมอิมเมจที่ตรวจสอบแล้วโดยระบุ digest โปรไฟล์การดีพลอย และการจัดเตรียมเวิร์กสเปซ คีย์ และแค็ตตาล็อกโมเดลของคุณ และตกลงเรื่องการอัปเกรดและการสำรองข้อมูลร่วมกับคุณ ติดต่อ info@cresclab.com
สิ่งที่ถูกเก็บ และตัวบันทึกหนึ่งตัวที่ต้องปิดไว้ ดูได้ในการจัดการข้อมูล