选择推理加速框架时应评估哪些关键指标？

1. 吞吐与延迟

• 关注吞吐量（tokens/s、QPS）、首字延迟（TTFT）与逐 token 延迟（TPOT），不同业务侧重点不同

2. 显存效率

• 评估相同硬件下可支撑的并发数与最大上下文长度

3. 硬件与模型覆盖

• 是否支持目标硬件（NVIDIA GPU / CPU / 国产芯片）、目标模型架构与量化格式

4. 接口与生态

• 是否提供 OpenAI 兼容 API、是否支持流式输出与可观测性，决定集成成本

5. 运维成熟度

• 是否具备前缀缓存、推测解码、自动扩缩容、监控等生产所需能力