场景:后端用 Python 调用腾讯云混元大模型的流式(Stream=true)对话接口,再通过 SSE 转发给前端。用户在生成过程中关闭页面或点击停止,我们的服务端会检测到下游连接断开。 环境:Python 3.10,tencentcloud-sdk-python,服务部署在 CVM 上,前面有 CLB 转发。 遇到的现象: 1. 下游断开后,我主动停止了迭代响应,但控制台的 Token 用量统计看起来仍按完整回答计入,没有明显减少。 2. 不确定直接关闭底层 HTTP 连接,是否会让混元服务端立即停止生成。 想请教: 1. 流式调用中途主动断开,计费是按已生成的 Token 还是按完整输出? 2. SDK 里推荐的取消方式是什么?是否需要显式关闭响应对象? 3. 有没有办法在调用前限制 MaxTokens 或超时来控制最坏成本?
相似问题