- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型成长之路
【大模型学习 | 量化】pytorch量化基础知识（1）
.支持INT8量化，可以降低4倍的模型大小以及显存需求，加速2-4倍的推理速度通俗理解：降低权重和激活值的精度（FP32→INT8），从而提高模型大小以及显存需求。 2.1 对称量化 & 非对称量化⚙️ 区别对称量化（Symmetric Quantization）非对称量化（Affine Quantization）特性 对称量化（Symmetric Quantization notePTQ 是直接对训练后的模型参数进行量化，因此适合于快速部署；QAT是通过插入伪量化节点，在训练过程中模拟量化误差以达到更高的精度，因此需要重新训练。 ⚙️ 区别特性 PTQ（训练后量化） QAT（量化感知训练） 训练阶段仅FP32训练 插入伪量化节点训练反向传播❌ 不支持 ✅ 通过STE支持 精度损失较大（尤其小模型）通常更小 model, qconfig_mapping, example_inputs)model_quantized = quantize_fx.convert_fx(model_prepared) 核心功能：在模型的每一个
83510编辑于 2025-06-25 - 来自专栏机器学习与统计学
纯离线安装大模型推理引擎，部署量化大模型
大家好，我是 Ai 学习的老章 继续介绍大模型推理引擎+Llama.cpp，前文我写了# 内网部署 llama.cpp，运行量化大模型，详细介绍了 llama.cpp 这个推理引擎，内网离线 cmake 本文我们用个更省事儿的内网离线部署方式——Docker，然后用其部署量化大模型，其中踩坑若干，才有如此精炼、极简教程 1、联网环境拉取 llama.cpp 镜像并保存 选择镜像最好是官方，比如 llama.cpp server-cuda https://github.com/ggml-org/llama.cpp/blob/master/docs/docker.md 市面上有很多个人打包的镜像，大多都是阉割版 费老大劲搞进去，发现大模型无法加载 /dir 再传入内网： llama.cpp 服务需要模型文件才能运行，在你的 Linux 服务器上创建一个目录，用来存放 GGUF 格式的模型文件。 5、启动大模型 docker run --rm --runtime nvidia -e TZAsia/Shanghai --gpus "device=2" -v /opt/data/ai/GGUF:/models
2.8K10编辑于 2025-10-11 - 来自专栏AI工程落地
大语言模型--KV Cache量化论文
，新阶段生成的添加到全精度组，当全精度组达到上限R个token，则按channel方向量化并与量化组合并，清空全精度组。 ，并且再rope之前做量化 2.提出了一种新的非均匀量化方法，再离线校准集上可以得到很好的效果 3.在推理阶段，实现了一个自定义cuda算子做量化 4.前面的token对精度影响更大，第一个token 这类特定词元上的离群值会导致LLM将大量的自注意力得分分配到这些词元上 2.先使用全精度模型生成关键词元的无损KV cache并将其缓存下来（i.e., IntactKV），量化模型在推理时就能直接使用无损的关键词元表征 ，从而有效提升量化模型精度。 ，需要对key、value开发单独的量化方法 2.提出基于attention-aware的量化方法 3.对异常值做特殊处理，异常值做高比特量化
2.2K10编辑于 2024-07-18 - 来自专栏大模型成长之路
【大模型学习 | BERT 量化实战（1）】
加载训练后BERT模型和tokenizer model_name = ". original_model = AutoModelForSequenceClassification.from_pretrained(model_name).to('cuda') # 2. 8-bit量化加载模型 加载原始模型 model_name = ". 将模型移到 CPU（Eager 模式量化推荐在 CPU 上执行） model.to('cpu') # 3. （存在bug） 目前的这种量化方式还有bug存在，并且还找不到错误，希望有大哥帮助一下，主要的问题是模型可以成功量化，但是量化后的模型推理时会报错误,而且量化结果的大小也很奇怪：Original BERT
1.1K10编辑于 2025-06-27 - 来自专栏Java技术进阶
基于LMDeploy部署大模型和量化
背景 大模型具有庞大的参数量，内存开销大，7B模型仅权重就需要14+G内存，采用自回归生成token，需要缓存Attention 的k/v带来巨大的内存开销；动态shape，请求参数不固定，Token逐个生成 包括模型轻量化、推理和服务。 列并行 行并行 简单来说，就是把一个大的张量（参数）分到多张卡上，分别计算各部分的结果，然后再同步汇总。 我想直接在自己的 Python 项目中使用大模型功能。推荐使用 TurboMind推理 + Python（2.5）。 我想在自己的其他非 Python 项目中使用大模型功能。 3 模型量化 本部分内容主要介绍如何对模型进行量化。主要包括 KV Cache 量化和模型参数量化。总的来说，量化是一种以参数或计算中间结果精度下降换空间节省（以及同时带来的性能提升）的策略。
3.1K00编辑于 2024-03-01 - 来自专栏大模型成长之路
【大模型学习 | BERT 量化实战（2） 】
BERT 量化实战分析前言：在【大模型学习 | 量化实战（1）】-腾讯云开发者社区-腾讯云中基于BERT实现了情感分析系统以及量化的实现，但是量化的结果导致了模型的精确度急剧下降，从90%降到了54%， 为此，在本章中，尽可能的分析导致量化后模型精度下降的原因上期问题 在量化过程中，发现无法采用export量化，但是 Eager Mode 成功了， Eager Mode 只对线性层进行了量化，而没有对 量化分析方法为了进一步的优化量化模型，可以从以下方法进行分析： Calibration Range 分析 逐层敏感性分析 层级 fallback 到 FP32 误差传播分析 具体样本误差对比 Calibration ）、分布近似 scale过大scale的计算如下所示：scale=\frac{max(w)-min(w)}{255} , 个别层的权重有离群值，会导致scale非常大，严重丢失精度。 ，观察精度下降情况误差传播分析对 float32 模型 和 量化模型，输入相同的样本；逐层提取中间层输出；对每层输出计算误差（如 MSE、Cosine 距离等）；画出误差随层数变化的曲线 → 看是否有层明显放大了误差
93810编辑于 2025-06-27 - 来自专栏AI SPPECH
54_模型优化：大模型的压缩与量化
深度解析大模型瘦身技术与工程实践 大模型优化技术演进 ├── 早期阶段(2018-2020): 基本剪枝、8位量化，性能损失明显 ├── 发展阶段(2021-2023): 知识蒸馏、结构化剪枝，平衡效率与精度 本文将深入剖析大模型压缩与量化的核心技术、最新进展及工程实践，探讨如何通过创新技术让大模型在保持高性能的同时实现轻量化部署，为企业和开发者提供全面的技术指导。 本文核心要点 要点 描述 互动思考 量化技术 从FP32到INT4的精度优化策略 你在部署中最常使用哪种量化方式？ 知识蒸馏 小模型如何继承大模型能力 蒸馏过程中的最大挑战是什么？ 知识蒸馏辅助量化 结合知识蒸馏技术进行量化 利用大模型指导小模型的量化过程 在极低精度下仍能保持较好性能 # 混合精度量化的简化实现示例 import torch import copy def mixed_precision_quantization GPTQ - 大模型量化工具 针对大型语言模型的量化方法 支持INT4/INT8精度量化 保持较高的生成质量 与流行的LLM框架兼容 2.
1.4K10编辑于 2025-11-16 大语言模型压缩：剪枝、蒸馏与量化
推理时显存主要被两块吃掉：占用性质增长方式典型优化手段Weights（权重）静态模型加载即占满，规模由参数量决定（FP16 约 2 byte/param）量化、剪枝、蒸馏KV cache（键值缓存）动态随 ）Compute（结构剪枝能真正减少运算量）蒸馏 Distillation训练一个小模型去模仿大模型的输出分布Memory + Compute（直接换小模型）能力会有损失，需蒸馏技巧补回量化 Quantization 权重 / 激活从 FP16/FP32 降到 INT8/INT4Memory（显存占用与带宽大减）Compute（低精度运算更快，但需硬件支持）速记 & 串联剪枝减体积，蒸馏换小模型，量化降精度。 三者可组合使用：QLoRA、GPTQ、AWQ = 量化 + 高效推理；DistilLLaMA 类 = 蒸馏 + 量化。 三种压缩（剪枝/蒸馏/量化）主要打 Weights；KV cache 的压缩是另一套打法（GQA / PagedAttention / KV 量化）。
21210编辑于 2026-09-24- 来自专栏机器学习与统计学
量化大模型，本地部署，效果不打折
大家好，我是 AI 学习的老章 Unsloth 出圈是 DeepSeek-R1 爆火的时候，它发布了最小 1.58 位量化版本的 R1，把 DeepSeek-R1 这个非常大的模型（它有 6710 亿个参数 ，也就是 671B）通过“量化”把原本 720GB 的模型压缩到只有 131GB 的大小。 这标志着模型量化技术的一个重要突破：极低的比特数不再意味着性能的大幅牺牲。 结论 Unsloth 的动态量化技术证明，通过智能的、非均匀的量化策略，我们可以在大幅压缩模型体积的同时，保持甚至超越 SOTA 模型的性能。 对于追求本地化、低成本部署高性能模型的用户来说，Unsloth 的动态量化模型无疑是当前最值得关注的方案之一。
1.5K10编辑于 2025-11-29 - 来自专栏大模型应用
大模型应用：轻量化视觉语言模型（VLM）：基于多模态视觉大模型实践.87
超紧凑视觉语言模型的出现，正是大模型技术走向普惠化、轻量化与端侧化的重要突破。 它以轻量化架构、精简参数和高效跨模态融合为核心，在保留大模型核心能力的同时，大幅降低部署门槛，让普通设备也能实现本地、实时、低延迟的图文交互。 今天我们就由浅入深完整讲解超紧凑 VLM 的技术逻辑，并结合简单的示例，直观展示轻量化多模态大模型的工作方式，理解大模型如何从云端走向终端，为智能设备、离线应用、隐私计算与低成本 AI 部署提供可行的路径参考 VLM 的三大核心组件 轻量级VLM本质是“轻量化视觉模块 + 轻量化语言模块 + 高效跨模态融合层”的组合体，每个组件都做了针对性的精简优化，以Qwen2-VL-2B为例：视觉编码器：Qwen2 VLM的核心逻辑：把图片转成特征、和文字特征对齐，再用轻量化大模型生成回答，看似简单的流程，藏着参数精简、模型量化、知识蒸馏这些关键技术。
1.3K22编辑于 2026-04-25 - 来自专栏DeepHub IMBA
大语言模型量化方法对比：GPTQ、GGUF、AWQ
分片 在我们进入量化策略之前，我们先介绍一个前置的方法：分片。通过分片可以将模型分割成小块，每个分片包含模型的较小部分，通过在不同设备上分配模型权重来解决GPU内存限制。 虽然它没有任何的压缩和量化，但是这种方法算是一个最简单的加载大模型的方案。 比如Zephyr-7B-β，实际上已经分片了! 4GB的分片 量化 大型语言模型由一堆权重和激活表示。 预量化(GPTQ、AWQ、GGUF) 我们已经探索了分片和量化技术。但是量化是在每次加载模型时进行的，这是非常耗时的操作，有没有办法直接保存量化后的模型，并且在使用时直接加载呢？ 但是如果你的GPU无法处理如此大的模型，那么从GPTQ开始切换到以cpu为中心的方法(如GGUF)是绝对值得的。
13.8K71编辑于 2023-11-20 - 来自专栏GiantPandaCV
AffineQuant: 大语言模型的仿射变换量化
量化是一种有效的方法，通过将权重和激活映射到低比特表示来实现。 然而，量化经常会带来性能损失，尤其是在模型较小或使用低比特设置时。 因此，后训练量化（PTQ）成为了一种受到关注的策略，它允许在不进行模型重训练的情况下进行优化，但这需要巧妙地处理量化过程中的误差和信息损失。 方法 3.1 AffineQuant AffineQuant 是一种利用仿射变换来优化后训练量化（PTQ）的方法，它在大型语言模型（LLMs）中应用，以减少量化误差并保持模型性能。 通过这种方式，AffineQuant 不仅能够减少模型在量化后的性能损失，而且能够扩展模型在边缘设备上的应用，为大型模型的部署提供了新的可能性。 维持或提升量化后的模型性能： 如表格所示，即便在较低的位宽（例如4/4位量化）下，AffineQuant方法在多个性能指标上仍然优于或接近全精度模型的表现，显示出较好的量化抗性和模型鲁棒性。
1.1K10编辑于 2024-05-13 从 0 到 1 开发轻量化私有大模型：选型、微调、量化、部署
显存预算：7B 模型 QLoRA 微调约需 16–24GB，1.5B 只需 8GB。 vllm fastapi uvicorn二、数据工程：决定上限私有大模型的价值全在数据。 四、合并与量化部署前把 LoRA 合并回基座，再转 GGUF 做 4-bit 量化，体积可压到原模型的 1/4。 七、常见坑数据格式不跟 chat template 对齐导致效果暴跌；全参数微调硬上消费卡；量化后不重测；只测“看起来对”不做留出集；忽略 -100 掩码导致模型学会复述问题。 把这两件做扎实，1.5B 的小模型在内网场景完全可以替代通用大模型。
16410编辑于 2026-10-22- 来自专栏机器之心
字节开源大模型量化新思路，2-bit量化模型精度齐平fp16
随着深度学习大语言模型的越来越火爆，大语言模型越做越大，使得其推理成本也水涨船高。模型量化，成为一个热门的研究课题。 背景 大模型的迅速发展，使得推理成本越来越高。模型量化，作为一个降低推理成本的技术方案，得到了越来越多的关注与研究。然而，在传统的量化范式下，模型的精度在极低比特下会迅速下降。 基于此，作者们提出了一种新的量化思路，将模型参数解耦为整数部分和浮点部分，从数学优化的角度来对量化任务建模，使得在极低比特下，模型依然能保持较高的精度。 我们将一个大模型量化完毕以后，交付给下游引擎同学的时候，只需要知道 (3) 式中的 和 (s,z) 即可。 进一步挖掘 (3) 式中，我们可以将一个大模型的参数，解耦 (decouple) 成整数部分 和浮点部分 (s,z)。
1.6K10编辑于 2024-05-14 - 来自专栏大模型应用
大模型应用：TextRank+混元大模型：轻量化算法与大模型协同的文本摘要实践.99
句子向量化：将每个句子转化为“数值向量”，比如用 TF-IDF、词袋模型，目的是量化句子的语义； 类比：把“我喜欢吃苹果”转化为 [1,0,1,1,0,...] 粗摘结果格式化：将粗摘的句子和关键词整理为标准格式，如JSON，便于大模型理解5. 构造大模型提示词：设计Prompt模板，将粗摘结果作为上下文，要求大模型进行精炼、润色6. 调用大模型API：向大模型发送请求，传入构造好的提示词，等待返回结果7. 大模型输出精摘/润色结果：大模型返回优化后的摘要文本，语言更流畅、重点更突出8. 构造大模型提示词提示词是大模型输出质量的核心，初学者需遵循 “清晰、具体、有场景” 的原则。 六、大模型在融合方案中的价值TextRank 的粗摘结果存在“碎片化、语义孤立、无场景适配”的问题，大模型可针对性解决：1.
53210编辑于 2026-05-07 - 来自专栏机器学习、深度学习
模型量化
下图显示不同量化策略对速度的提升影响 ? 量化卷积过程 ? 加速策略： AND, XOR and bitcount operations 训练过程 ? 分类性能对比 ?
1K10发布于 2019-05-26 - 来自专栏为了不折腾而去折腾的那些事
CPU 混合推理，非常见大模型量化方案：“二三五六” 位量化
看过前两篇文章《零一万物模型折腾笔记：官方 Yi-34B 模型基础使用[1]》、《本地运行“李开复”的零一万物 34B 大模型[2]》的同学知道，类似 34B 的模型，如果想不怎么量化直接跑起来，大概需要 如果我们进行效果损失比较小的 8 位量化，那么也需要 46GB 左右，如果是 4 位量化模型，那么也需要 21GB 左右的显存。 虽然模型能跑了，但是有可能模型效果“打了骨折”。 准备材料 关于模型量化需要准备两个素材，一个是模型，另外一个是量化使用的计算设备。 量化使用的硬件 而量化模型使用的硬件，需要 CPU 计算能力相对强一些的机器，如果你有 GPU，那么将会极大的提升模型量化速度，如果没有也没有关系。 -34b.html [2] 本地运行“李开复”的零一万物 34B 大模型: https://soulteary.com/2023/11/26/locally-run-the-yi-34b-large-model-of-kai-fu-lee.html
2.1K10编辑于 2023-12-14 - 来自专栏澜舟科技 NLP
大模型轻量化实践路径 之 澜舟孟子预训练模型
在上周发布的《一文看懂预训练最新进展》中，澜舟科技创始人兼 CEO 周明和澜舟科技大模型技术负责人王宇龙分享了大模型技术发展背景和近期百花齐放的大模型及新应用、新趋势。 本文继续为大家深入介绍“大模型轻量化”趋势以及澜舟的 5 个实践路径。以下内容根据澜舟科技算法研究员华菁云在「澜舟NLP分享会」演讲整理。全文约 4800 字，预计阅读时长 6 分钟。 如图 1 右侧所示，训练一个大模型代价是巨大的，GPT-3 训练需要 460 万美金，此外，大模型落地部署的代价也极大，在工业界实际应用中不得不考虑部署的成本。 我们的轻量化技术结合了模型蒸馏、剪枝和量化，将大模型进行压缩得到轻量化模型，显著提升模型推理速度，改善用户体验。3.1 蒸馏图片不同的落地业务（如：在线业务，离线业务），对模型有不同尺寸需求。 第一期分享会于2022 年 7 月 16 日举办，主题为《认知智能时代，大模型轻量化技术与应用》，邀请了来自微软研究院、清华大学、同花顺的专家一起探讨前沿技术和实践，累计近 1400 位观众收看了本期直播
2.2K10编辑于 2022-07-29 - 来自专栏为了不折腾而去折腾的那些事
CPU 混合推理，非常见大模型量化方案：“二三五六” 位量化
看过前两篇文章《零一万物模型折腾笔记：官方 Yi-34B 模型基础使用》、《本地运行“李开复”的零一万物 34B 大模型》的同学知道，类似 34B 的模型，如果想不怎么量化直接跑起来，大概需要 76～85GB 如果我们进行效果损失比较小的 8 位量化，那么也需要 46GB 左右，如果是 4 位量化模型，那么也需要 21GB 左右的显存。 虽然模型能跑了，但是有可能模型效果“打了骨折”。 准备材料 关于模型量化需要准备两个素材，一个是模型，另外一个是量化使用的计算设备。 况且，即使是从社区下载量化版本，模型体积也很大，需要来来回回测试模型是否合适，重复下载也非常消耗时间和宽带成本，远不如自己量化来的方便。 关于模型程序下载，方法很多。 量化使用的硬件 而量化模型使用的硬件，需要 CPU 计算能力相对强一些的机器，如果你有 GPU，那么将会极大的提升模型量化速度，如果没有也没有关系。
2.5K20编辑于 2023-12-12 - 来自专栏云计算与大数据
模型量化算法详解：从 PTQ 到 AWQ 的大模型压缩实战指南
关键词: 模型量化, PTQ, QAT, GPTQ, AWQ, GGUF, 大模型部署, 边缘计算 一、引言：为什么需要模型量化？ 1.1 大模型部署的痛点 随着 GPT、LLaMA、DeepSeek 等大语言模型的兴起，模型规模呈指数级增长： 模型 参数量 FP16 显存占用 推理成本 GPT-2 1.5B 3 GB 低 LLaMA • 推理延迟: 大模型生成速度慢，用户体验差 • 部署成本: 云端推理费用高昂，边缘部署困难 • 能耗问题: 大模型推理功耗高，不利于移动设备 1.2 模型量化的核心思想 模型量化（Model Quantization 精度损失: 低精度表示导致模型能力下降 2. 动态范围: 激活值分布范围广，难以均匀量化 3. 异常值: 大模型中存在离群值（outliers），影响量化效果 4. 5.1 背景：大模型量化的挑战 LLM（大语言模型）的量化面临独特挑战： 1.
66510编辑于 2026-07-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号