大模型推理的延迟和吞吐量如何优化？

1. 显存与 KV Cache 优化

KV Cache 是大模型推理中显存占用的主要来源。优化方向包括：PagedAttention（vLLM 首创）将 KV Cache 分页管理，消除显存碎片，显存利用率从传统方法的 20%–40% 提升至 90% 以上；Prefix Caching 对多用户共享的提示词前缀（如系统提示词）的 KV Cache 进行跨请求复用，避免重复计算；KV 量化将 KV Cache 的存储精度从 FP16 压缩至 INT8 或更低，显存占用可缩减 50%–75%；滑动窗口 KV 在超长上下文场景中仅保留最近若干词元的 KV Cache，防止显存溢出。

2. 量化推理

量化是通过降低模型权重和激活值的数值精度来减小模型体积、降低显存占用和提升推理速度的核心技术。主流精度梯度包括：FP16（无损优化，几乎所有部署的默认选项）、INT8（显存减半，精度损失轻微，企业上线标配）、INT4（显存压缩 75%，适合本地部署和边缘部署）、FP4（Blackwell 架构 GPU 的新特性，在蒸馏后的小模型上精度损失可控制在 3%–5% 以内）。2026 年，结合 Blackwell GPU + FP4 量化的推理方案可将 700 亿参数模型的推理成本降低 90%–95%，同时保持 95% 以上的原始性能。主流量化算法包括 GPTQ、AWQ 和 SqueezeLLM，分别适用于不同的硬件环境和精度要求。

3. 连续批处理（Continuous Batching）

传统静态批处理要求一批请求全部完成生成后，才能处理下一批请求，导致 GPU 在等待过程中大量空闲。连续批处理（亦称动态批处理）则允许请求随时加入或离开当前批次：已完成生成的请求立即释放显存和资源，新到达的请求即刻插入批次，GPU 利用率始终维持在高位。这一技术是目前高并发推理服务的标准配置，与 PagedAttention 结合使用时效果尤为显著。vLLM、TensorRT-LLM 和 SGLang 均原生支持连续批处理，在线上生产环境中可将有效吞吐提升 2–5 倍。

4. 推测解码（Speculative Decoding）

推测解码的核心思路是：用一个小而快的"草稿模型"预先猜测若干词元的生成结果，再用大模型一次性验证这些猜测。如果猜测正确，则相当于一次前向计算生成了多个词元，提升了并行效率；如果猜测错误，则回退到大模型的正常生成路径，不会引入错误输出。2026 年，推测解码技术已从最初的"单词元验证"演进至"词元块预测"和"扩散式生成"（如 DFlash 方法），在保持输出质量的前提下可实现 20%–40% 的延迟降低。结合 Medusa、EAGLE 等改进方案，推测解码已成为实时对话类应用的核心加速技术之一。

5. 系统级协同优化

除了单点技术优化之外，系统级协同优化在 2026 年已成为推理工程的主流方向。PD 分离（Prefill-Decode 分离）架构将 Prefill 和 Decode 两个阶段部署在不同的硬件实例上，分别针对计算密集型和显存带宽密集型任务进行独立优化，避免相互干扰，已在 Mooncake、Dynamo 等工业级方案中落地。MoE 大 EP（Expert Parallelism）优化针对混合专家模型架构，通过跨节点专家并行和 PD+EP 结合，显著提升超大规模推理集群的利用率。SLO 感知调度（如 SuperInfer 的旋转调度器）根据每个请求的服务等级目标动态分配计算和显存资源，在不牺牲吞吐量的前提下将 P99 延迟降低 40%。企业在部署大模型推理服务时，应综合考量模型压缩、推理引擎选型、调度策略和系统架构多个层面，实现"精度-性能-成本"的协同最优。