模型大小和显存大小的关系

模型尺寸（参数量）与显存需求之间，存在一个明确的量化关系，但远比“参数量越大，显存越大”要复杂。理解这种关系，是合理规划硬件、高效落地VLA项目的基础。

模型尺寸、显存与优化技术三者是动态平衡的关系，更大的模型通常意味着更强的能力，但落地成本也会急剧增加。

PART 01

核心关系：模型大小与显存消耗

模型对显存的消耗主要分为 推理 和 训练 两个阶段，前者需求较低，后者则成倍增长。

1. 推理显存计算

推理时，显存主要用于存放 模型权重 。一个简单通用的估算公式是：

推理显存 ≈ 参数量（Billion）× 每参数占用字节数

其中，每参数占用字节数由数值精度决定，主流选项如下：

• FP32 ：4 字节/参数，精度最高，占用最大，适用于对精度有极致要求的科学计算。
• FP16 / BF16 ：2 字节/参数， 目前推理的默认精度 ，在精度和效率间取得了最佳平衡。
• INT8 ：1 字节/参数，通过量化技术实现，常用于边缘计算和移动端部署。
• INT4 ：0.5 字节/参数，极致的量化方案，能在显存受限的设备上运行大模型。

例如，一个FP16格式的7B模型，其权重显存需求约为7 × 2 = 14 GB。此外，还需额外预留20%-30%的显存用于 KV Cache （存放已生成文本的中间状态，随上下文长度增长）和系统开销。

2. 训练显存计算

模型训练的内存消耗是推理的数倍，因为除了模型参数外，还需要额外显存来存储 梯度 和 优化器状态 。

以Adam优化器为例，训练时的显存消耗可概括为 参数、梯度、优化器状态 三部分：

• 参数 ：如果使用FP16混合精度训练，则保留一份FP16的参数副本，占用2 × 参数量(B)字节。
• 梯度 ：通常使用FP32精度存储，占用4 × 参数量(B)字节。
• 优化器状态 ：Adam优化器需要存储FP32格式的参数副本、动量（momentum）和方差（variance），总共占用4 × 参数量(B) + 4 × 参数量(B) + 4 × 参数量(B) = 12 × 参数量(B)字节。

这三者相加，总系数为18，因此，一个7B（70亿）参数的模型，其训练显存需求高达 7 × 18 = 126 GB ，远超单张消费级显卡的容量。

PART 02

算力与效果的权衡

同一系列模型（如Qwen、LLaMA、DeepSeek）通常会发布不同参数量的版本，这本身就是在 性能 与 成本 之间做的平衡。

• 大尺寸（如70B、72B、671B） ：知识更渊博，能处理复杂逻辑和多模态任务，但需要 服务器级多卡集群 ，不适合本地部署。
• 中尺寸（如7B、13B、14B、32B） ：性能与成本的“甜点区”，在消费级显卡上（如RTX 4090 24GB）通过量化即可流畅运行，非常适合企业级开发。
• 小尺寸（如1.5B、2B、4B） ：为了极致的部署效率而生，专为手机、车载等 边缘计算 设备设计，是追求实时性和低功耗的首选。

PART 03

不同场景下的显存策略

下表汇总了不同模型尺寸在各种场景下的典型显存需求，方便根据自身硬件条件进行选择。

1. 首选 FP16/BF16 精度推理 ：这是在不显著降低模型性能的前提下，节省显存最直接的方法。
2. 优先使用量化技术部署 ：INT8或INT4量化是 在消费级显卡上运行更大模型的关键 。例如，Llama 3 70B通过INT4量化后，仅需约35GB显存即可运行。
3. 微调首选参数高效微调（PEFT） ： 全量微调（Full Fine-tuning）对资源要求极高 ，应优先采用 LoRA 或 QLoRA， QLoRA技术可以在单张48GB显存的显卡上微调65B的大模型，极大降低了门槛。
4. 使用分布式推理框架 ：对于超大模型或高并发场景，使用 vLLM 、 TensorRT-LLM 等推理框架，能通过PagedAttention等技术显著优化KV Cache，提升吞吐量。

对于VLA清洁机器人项目，现阶段可以先从7B-14B规模、采用INT8/FP16量化的模型入手，并使用QLoRA技术进行微调，这可能是兼顾效果与落地成本的最优解。

补充说明：

另外，解释下模型参数的单位B是指参数的个数（10亿单位），显存GB的单位是字节数，不是直接等号关系，是通过每个参数的字节数作为桥梁转换的，下面展开这个转换关系。

详细计算过程

参数数量：7B = 7 × 10⁹ = 7,000,000,000（70亿）个参数。

精度与字节/参数：

使用 INT8 精度时，每个参数占用 1字节。

使用 FP16 或 BF16 精度时，每个参数占用 2 字节。

使用 FP32 精度时，每个参数占用 4 字节。

显存占用（INT8为例）：

7B × 1 字节/参数 = 7 × 10⁹ 字节。

单位换算：

1 GB = 10⁹ 字节（十进制，硬盘厂商常用）

1 GB = 2³⁰ ≈ 1.074×10⁹ 字节（二进制，操作系统/显存常用）

通常近似：7 × 10⁹ 字节 ≈ 7 GB（或约 7 GiB）。

所以 “参数量(B)” 中的第一个 B 是指 十亿个参数，第二个 B 是推导后得到的 字节数，两者并非同一单位，而是通过“每个参数1字节”这一系数建立联系。