27B 模型压缩到 3.9GB，PrismML 的 Bonsai 把大模型塞进了浏览器和手机

昨天，Apple智能获批，引发广泛关注，最受期待的就是能是苹果自家的本地端侧模型。

也是昨天，PrismML 开源了端侧模型 Bonsai 27B，基于 Qwen3.6 27B，并把它压到了能塞进手机的程度。

Bonsai 出了两个变体：

• Ternary Bonsai 27B：5.9GB，每个权重 1.71 有效比特，面向笔记本，适合需要推理能力的场景。
• 1-bit Bonsai 27B：3.9GB，每个权重 1.125 有效比特，面向手机，iPhone 17 Pro 上能跑。

要知道想要把27B的模型放进手机有多难？27B 模型在 16-bit 精度下要占 54GB，4-bit 量化也得 18GB。3.9GB 是什么概念？一个稍微大点的视频文件。另外，手机不会把全部内存给 App 用。一台 12GB 的 iPhone 实际能分给模型的只有 6GB 左右，还得和 KV cache、activation 共享。传统 27B 模型无论怎么量化都过不了这道门槛。1-bit Bonsai 是第一个。

更离谱的是，这玩意儿在 Math 500 上拿了 99.2%。这个数据集最早由 OpenAI 在 "Let's verify step by step" 论文中引入。

排行榜上，它排在 DeepSeek-R1、Kimi K2 和 GLM-4.5 前面。

Xenova 用 Fable 5 和 GPT 5.6 Sol 写的自定义 WebGPU 内核，让这个模型直接在浏览器里跑了。打开网页就能用，不需要买显卡，不需要装 CUDA。

PrismML 放出了 15 项基准测试的结果：

Ternary 版保留了 95% 的完整精度能力，1-bit 版保留 90%。数学和编程几乎没掉，工具调用也在可接受范围内，这正是 agent 场景最依赖的能力。

Tim Carambat 拿到早期访问权后，把它和 OpenRouter 上的 Qwen3.6 27B 做对比测试，结论是 100% 可比。他在 M4 Pro 上跑了大概 40 tokens/s，用 llama.cpp 的 fork 就能跑。

他还演示了用 Bonsai 做 deep research 和 agentic 调用：

有人实测用 AMD RX 7800 XT，在 90k context、不带 vision 和 dspark 的情况下，可以压到 13GB 显存，跑 40 tok/s。

但更值得关注的不是这些细节，而是 PrismML 提出的"智能密度"概念：1-bit Bonsai 27B 每 GB 承载 0.53 的智能密度，是完整精度基线的 10 倍以上。

本地推理的拐点

Agent 场景和传统 chat 有本质区别：一个 agent 不是调用一次模型就完事，它要做几百次调用，每次都带着上下文、输出结构化结果、为下一步提供输入。

云端 API 当然有它的位置。但纯云端的 agent 意味着每一步都是远程请求，每 token 成本随迭代累积，用户的隐私数据每次都要过网线。

当模型能装在设备上，agent 就可以住在产品里：一百步循环的边际成本为零，用户数据不出设备。离线助手、本地文档推理、隐私敏感的场景，这些原本受限于模型大小的用例，现在有了可行的方案。

PrismML 背后是 Caltech 的研究团队，拿到了 Khosla Ventures、Cerberus 和 Google 的支持，三星也在跟进。这不是一个小团队在玩票。

模型依旧是 Apache 2.0，256K 上下文，支持多模态输入。

你可以从这里拿到：

• HuggingFace 模型集 (https://huggingface.co/collections/prism-ml/bonsai-27b)
• llama.cpp 分支 (https://github.com/PrismML-Eng/llama.cpp)
• MLX 分支 (https://github.com/PrismML-Eng/mlx)
• 浏览器 Demo (https://huggingface.co/spaces/webml-community/bonsai-webgpu-kernels)
• 技术报告 (https://paperswithcode.co/paper/103979)