推理加速框架主要解决哪些推理性能瓶颈？

1. 显存瓶颈

• 模型权重与 KV 缓存占用大量显存，限制可并发的请求数量与上下文长度
• 通过量化压缩与高效的 KV 缓存管理缓解

2. 延迟瓶颈

• 首字延迟（Time To First Token, TTFT）与逐 token 生成间隔（Time Per Output Token, TPOT）影响交互体验
• 通过推测解码、PD 分离、连续批处理等技术缩短

3. 吞吐瓶颈

• 单位时间处理的请求数与 token 数（QPS / 吞吐量）决定服务容量
• 通过连续批处理、并行注意力内核提升

4. 成本瓶颈

• GPU 利用率不足意味着算力闲置与费用浪费
• 通过提升并发与批处理效率，降低单位 token 的算力成本