推理加速框架支持哪些模型量化精度？

1. 基准精度

• FP16 / BF16 是多数模型推理的默认基准精度

2. 低精度量化

• FP8：8 位浮点，在新一代 NVIDIA GPU 上由专用张量核心支持，兼顾精度与吞吐，是 TensorRT-LLM 等框架的重点能力
• INT8：8 位整数，常配合 SmoothQuant 做激活量化
• INT4：4 位整数，配合 AWQ / GPTQ 等方法，可将模型显存压缩约 4 倍

3. 更激进的位宽

• 部分框架（如 TensorRT-LLM）已支持 FP4 等更低精度，适用于对精度容忍度较高的场景

4. 量化与缓存结合

• 除权重量化外，KV 缓存也可做 FP8 量化，进一步降低长上下文场景的显存压力