问题:后端 vLLM 服务间歇性返回 400 JSON decode error 错误信息:POST /v1/chat/completions -> {'type': 'json_invalid', 'input': {}, 'msg': 'JSON decode error', 'ctx': {'error': 'Expecting value'}} 定位:/root/miniconda3/envs/ds4/lib/python3.12/site-packages/vllm/entrypoints/serve/utils/api_utils.py:40 现象:每次工具调用后,vLLM 有概率收到空请求体 {},返回 400
就是当我使用服务器本地部署的deepseek时候,他只要读取我电脑的某个文件,就会返回报错400,其他的正常对话都可以,不过涉及文件的读取就不行,很苦恼啊

相似问题