推理加速框架与模型训练框架有什么本质区别？

1. 目标不同

• 训练框架（如 PyTorch 分布式训练、DeepSpeed、Megatron）侧重前向 + 反向传播、梯度计算与分布式训练，目标是产出模型权重
• 推理框架侧重前向计算的服务化优化，目标是以低延迟、高吞吐交付已训练好的模型

2. 计算负载不同

• 训练需维护优化器状态、激活值、梯度与检查点，显存与计算开销大
• 推理仅需前向计算与 KV 缓存，需重点优化显存复用、批处理与内核效率

3. 系统关注点不同

• 训练框架关注收敛效率、并行策略与容错；推理框架关注请求调度、延迟、并发与成本