SGLang Model Gateway 0.2 发布：企业级一体化AI原生编排

市面上有不少 GPU 内核和推理引擎优化项目，也有从传统云原生进化来的 AI 网关，但一体化AI原生的编排解决方案却几乎没有。实际生产部署时，大多是开发者自己拼凑出来的"缝合怪"。Oracle 和 SGLang 团队瞄准这一方向，推出了生产就绪的 SGLang Model Gateway 0.2。

SGLang Model Gateway 架构图

SGLang Model Gateway 0.2 从去年的 SGL-Router 完全重构而来。名字变了，能力也升级了几个档次。

核心升级包括多模型推理网关模式（IGW）：一个网关管理多个模型，每个都有自己的路由策略、健康检查和负载均衡。就像在一个屋檐下运行多个路由器，共享可靠性和监控能力。

Rust gRPC 驱动绕过慢悠悠的 Python 和 HTTP 运行时，实现极速流式处理。支持 OpenAI 兼容 API，还有缓存分词功能。gRPC 路由器直接用 Rust 运行，分词器、推理解析器、工具解析器都在进程内。

可插拔存储和隐私保护让对话和响应历史存储在路由器层（内存、无存储或 Oracle ATP）。同样的历史可以为多个模型或 MCP 循环服务，不会把数据泄露给上游厂商。所有对话历史、/v1/responses 状态和 MCP 会话都保留在路由器内。

可靠性和监控方面，内置重试机制，支持指数退避和抖动、每个工作节点的断路器、令牌桶限流和 FIFO 排队。还有 Prometheus 指标、结构化追踪、请求 ID 传播和详细的任务队列统计。

架构分三层：控制平面负责工作节点管理，发现能力、追踪负载、注册和移除工作节点。数据平面包含 HTTP 路由器（常规和 PD）、gRPC 路由器和 OpenAI 路由器。存储层把历史记录集中管理，避免数据外泄。

部署方式很灵活。可以联合启动路由器和 SGLang 工作节点，适合单节点或快速开始。

python3 -m sglang_router.launch_server \
  --host 0.0.0.0 \
  --port 8080 \
  --model meta-llama/Llama-3.1-8B-Instruct \
  --tp-size 1 \
  --dp-size 8 \
  --grpc-mode \
  --log-level debug \
  --router-prometheus-port 10001 \
  --router-tool-call-parser llama \
  --router-health-success-threshold 2 \
  --router-health-check-timeout-secs 6000 \
  --router-health-check-interval-secs 60 \
  --router-model-path meta-llama/Llama-3.1-8B-Instruct \
  --router-policy round_robin \
  --router-log-level debug

也可以分离启动，工作节点独立运行。

# Worker nodes
python -m sglang.launch_server --model meta-llama/Meta-Llama-3.1-8B-Instruct --port 8000
python -m sglang.launch_server --model meta-llama/Meta-Llama-3.1-8B-Instruct --port 8001

# Router node
python -m sglang_router.launch_router \
  --worker-urls http://worker1:8000 http://worker2:8001 \
  --policy cache_aware \
  --host 0.0.0.0 --port 30000

想要最高吞吐量，就用 SRT gRPC 工作节点。还支持预填充/解码分离和 OpenAI 后端代理。

Kubernetes 集成通过 pod 选择器自动发现工作节点。向后兼容方面，所有 0.1.x 版本的 CLI 标志和 API 都能继续工作，重命名是向后兼容的。

感兴趣的读者，特别的sglang作为推理后端的，可以尝试使用。