สิ่งที่ Gateway เก็บ

Gateway ไม่เก็บข้อความของพรอมต์หรือคำตอบ แต่บันทึกว่าใครส่งคำขอ โมเดลใดตอบ โทเค็น ค่าใช้จ่าย และเวลา รวมถึงลายนิ้วมือของเนื้อหาคำขอ

ไม่เก็บพรอมต์และคำตอบ#

Gateway ที่เราโฮสต์ส่งพรอมต์ของคำขอและคำตอบของโมเดลผ่านหน่วยความจำเท่านั้น ไม่เขียนลงฐานข้อมูล บันทึก หรือ trace ข้อผิดพลาดที่ผู้ให้บริการเขียนเกี่ยวกับคำขอของคุณจะส่งกลับให้คุณ และไม่ถูกบันทึก

สิ่งที่บันทึก#

สำหรับความพยายามส่งคำขอแต่ละครั้ง Gateway บันทึก

การประเมินของ auto อ่านข้อความบางส่วนของคำขอที่จำกัดขนาด (ไม่เกิน 8 KiB) ด้วยการเรียกโมเดลแยกต่างหาก และไม่เก็บข้อความส่วนนั้นเช่นกัน ผลการตัดสินจะเก็บไว้ในหน่วยความจำของโปรเซสที่ให้บริการเป็นเวลา 30 นาที ภายใต้ค่าแฮชของข้อความส่วนนั้น เพื่อให้ส่วนที่เหลือของรอบเดียวกันใช้โมเดลเดียวกัน

ผู้ให้บริการโมเดล#

คำขอยังคงส่งไปยังผู้ให้บริการโมเดล (Anthropic หรือ OpenAI หรือโมเดลในเครือข่ายของคุณเอง) และข้อกำหนดด้านข้อมูลของผู้ให้บริการนั้นมีผลกับคำขอ บน /v1/responses Gateway ส่ง store: false ผู้ให้บริการจึงไม่เก็บคำตอบไว้เรียกดูภายหลัง

Gateway ที่โฮสต์เอง#

Gateway ที่คุณรันเองเก็บบันทึกชุดเดียวกันไว้ในฐานข้อมูล PostgreSQL ของคุณเอง การส่งออก trace ปิดอยู่จนกว่าคุณจะชี้ไปยัง collector ของคุณเอง และเมื่อเปิดจะส่งออก attribute ชุดเดียวกันที่จำกัดไว้ อิมเมจมีตัวบันทึกการแลกเปลี่ยนกับโมเดลสำหรับเล่นซ้ำในการทดสอบ ซึ่งเก็บพรอมต์และคำตอบแบบคำต่อคำ ตัวบันทึกนี้ปิดอยู่จนกว่าผู้ดูแลระบบจะตั้ง FRANKY_MODEL_TAPE_MODE และไม่เคยเปิดใน Gateway ที่เราโฮสต์