Gateway のセルフホスト
Gateway は、Gateway 専用モードの 1 つのコンテナイメージとして、自社の PostgreSQL と自社のモデルを使って自社ネットワーク内で動かせます。導入は案件ごとに Crescendo Lab と一緒に行います。
運用するもの#
セルフホストの Gateway は、ホスト型と同じイメージを Gateway 専用モードで起動したものです。API リファレンスにある /v1 エンドポイントだけを提供し、キー、auto、上限、台帳、エラーコードはホスト型と同じです。サインイン、コンソール、その他の Agent Lab 製品は含まれません。
| 構成要素 | 詳細 |
|---|---|
| Gateway コンテナ | root 以外のユーザーで、読み取り専用のファイルシステムで動きます。インターネットへの外向きの経路も Docker ソケットもありません。 |
| PostgreSQL | 自社のものを使います。キー、台帳、使用量の記録を保持します。Gateway のストレージ用ネットワークからのみ到達できます。 |
| モデル | 内部の推論用ネットワーク上にある、自社の OpenAI 互換モデルサーバー（vLLM、Ollama など）。このプロファイルにはインターネットへの経路がないため、クラウドのモデルを使うには当社と合意した構成が必要です。 |
| イングレス | 別のプロキシが Gateway をローカルのポートで公開します。公開用の名前と TLS は、自社のリバースプロキシで追加します。 |
| 設定 | モデルとそのエンドポイントを記したデプロイ用ファイルと、イメージの外で管理するシークレット。 |
準備状態#
GET /v1/gateway/readiness は、サーバーがデータベースと公開済みの設定を持った時点で 200 を返し、起動中、再読み込み中、ドレイン中は 503 を返します。モデルが応答するかどうかは確認しません。新しい設定が無効な場合、サーバーは最後の有効な設定で処理を続け、configuration: rejected_replacement を報告します。
導入の進め方#
セルフホストは Crescendo Lab と一緒に導入します。当社は検証済みのイメージをダイジェスト指定で提供し、デプロイのプロファイル、ワークスペース・キー・モデルカタログの準備を行い、アップグレードとバックアップについてお客様と取り決めます。info@cresclab.com までご連絡ください。
保存されるものと、オフのままにしておく必要がある記録機能については、データの取り扱いをご覧ください。