推理加速框架中的量化技术如何降低显存占用？

1. 降低数值精度

• 将模型权重从 FP16（16 位浮点）压缩到 FP8（8 位）、INT8（8 位整数）或 INT4（4 位整数）
• 例如一个 70B 参数模型，FP16 下权重约需 140 GB 显存，量化到 INT4 后约需 35 GB，可装入单张高显存 GPU

2. 主流量化方法

• AWQ / GPTQ：面向权重的低位量化方法，在尽量保持精度的前提下大幅压缩模型体积
• SmoothQuant（INT8）：通过权重平滑与激活量化，兼顾性能与精度
• FP8：在新一代 NVIDIA GPU（Hopper / Ada / Blackwell）上由专用张量核心原生支持，兼顾精度与速度

3. 显存与带宽收益

• 量化同时减少显存占用与显存带宽压力，使更大模型能在更少或更低规格的硬件上运行