首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >大模型流式响应被 Nginx 缓冲成整段,如何排查?

问大模型流式响应被 Nginx 缓冲成整段,如何排查?

提问于 2026-11-09 21:28:52
回答 4关注 0查看 155

场景:自建 OpenAI 兼容推理网关:Nginx 反代上游 vLLM(OpenAI API 格式),客户端通过 SSE 流式读取 /v1/chat/completions。

现象:直连 vLLM 端口时响应逐 token 输出,首 token 延迟几百毫秒;经 Nginx 后变成「卡住一段时间后整段一次性到达」,首 token 延迟劣化到十几秒。响应头 Content-Type: text/event-stream 已正确设置。

已尝试:proxy_buffering off;上游响应加 X-Accel-Buffering: no。均未完全解决,部分会话仍是整段到达。

问题: 1. 除 proxy_buffering 外,还有哪些 Nginx 配置/机制会影响 SSE 分块转发的实时性(gzip 压缩、proxy_http_version 与 upstream keepalive、proxy_cache、缓冲区大小、HTTP/2)?各自的生效条件是什么? 2. 如何系统性确认缓冲发生在哪一层(Nginx、更上层的 LB/CDN、还是客户端 HTTP 库)?有哪些抓包或日志验证手段可以定位「谁把分块攒起来了」? 3. 生产环境给大模型流式接口做反代,有没有一套稳定的通用配置要点清单?

回答

和开发者交流更多问题细节吧,去 写回答
相关文章

相似问题

相关问答用户
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档