开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >专栏 >3.7 万 star 的 AirLLM：不量化、不蒸馏，它靠"一次只让一层上 GPU"把 671B 塞进 12GB

3.7 万 star 的 AirLLM：不量化、不蒸馏，它靠"一次只让一层上 GPU"把 671B 塞进 12GB

作者头像

阿特拉斯

发布于 2026-10-13 09:12:29

发布于 2026-10-13 09:12:29

130

举报

概述

当你听说"在单张 4GB 显卡上跑 70B 模型"时，第一反应多半是量化——4bit、8bit，把权重压扁换显存。但 GitHub 上 3.7 万 star 的 AirLLM 走了一条完全不同的路：它根本不量化。它的核心只有一句话——任意…

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

腾讯云架构师技术同盟