场景:自建 OpenAI 兼容推理网关:Nginx 反代上游 vLLM(OpenAI API 格式),客户端通过 SSE 流式读取 /v1/chat/completions。
现象:直连 vLLM 端口时响应逐 token 输出,首 token 延迟几百毫秒;经 Nginx 后变成「卡住一段时间后整段一次性到达」,首 token 延迟劣化到十几秒。响应头 Content-Type: text/event-stream 已正确设置。
已尝试:proxy_buffering off;上游响应加 X-Accel-Buffering: no。均未完全解决,部分会话仍是整段到达。
问题: 1. 除 proxy_buffering 外,还有哪些 Nginx 配置/机制会影响 SSE 分块转发的实时性(gzip 压缩、proxy_http_version 与 upstream keepalive、proxy_cache、缓冲区大小、HTTP/2)?各自的生效条件是什么? 2. 如何系统性确认缓冲发生在哪一层(Nginx、更上层的 LB/CDN、还是客户端 HTTP 库)?有哪些抓包或日志验证手段可以定位「谁把分块攒起来了」? 3. 生产环境给大模型流式接口做反代,有没有一套稳定的通用配置要点清单?
相似问题