推理加速框架的吞吐量与延迟应当如何权衡？

1. 批大小是核心调节杠杆

• 增大批大小（max-num-batched-tokens、max-num-seqs 等参数）提升吞吐，但会增加逐 token 延迟；减小批大小则相反

2. 按业务特征取舍

• 实时对话、代码补全类场景更看重低延迟；离线批处理、大规模文档生成更看重高吞吐

3. 用连续批处理软化矛盾

• 连续批处理在不牺牲低延迟的前提下提升并发吞吐，使多数业务无需在两者间做极端取舍