ECCV 2026 | 让3DGS实时跑在手机上！Flux-GS：移动端3D重建的突围

Project Page: https://xiaobiaodu.github.io/flux-gs-project/ Code(移动端与训练代码均已开源): https://github.com/xiaobiaodu/Flux-GS 在 3D 计算机视觉的宏大演变中，2023 年注定是被 3D 高斯泼溅（3DGS） 点亮的一年。这项技术以其显式的点云表达和惊艳的微分渲染，在桌面级高性能显卡上掀起了一场视听风暴，让静态照片跃升为可任意穿梭的真实动态场景。然而，当科学家们试图将这套华丽的视觉盛宴移植到人人都有的移动端（手机、平板）时，却迎头撞上了一堵由算力与显存构成的冷酷高墙。 由悉尼科技大学、百度以及阿德莱德大学的研究团队共同撰写的最新论文 Flux-GS，就讲述了一场让 3D 真实场景在资源受限的边缘设备上实现“瘦身与狂飙”的突围故事。他们带来的新主角 Flux-GS，成功突破了移动端性能的层层围剿。

一、 沉重的背包与盲目的工匠：移动端的两大梦魇

要想理解 Flux-GS 的破局之智，我们必须先回到传统 3DGS 曾置身其中的“泥潭”。在移动端渲染的微观世界里，有两个致命的瓶颈像大山一样压在手机 GPU 上：

1. 不堪重负的球谐函数（SH）背包

为了在不同的观看视角下呈现出物体表面水润的反光、金属的色泽以及细腻的高光，传统的 3DGS 为每个高斯点都装备了一个多达 三阶的球谐函数（SH） 背包。这意味着，哪怕只是渲染一个极其微小的几何碎屑，都必须强行附带 48 个浮点数参数。当一个复杂的场景容纳了数百万个高斯点时，这个背包就会膨胀为数百兆乃至数吉字节的“内存巨兽”，在手机纤细的内存带宽通道里引发严重的交通瘫痪。

2. 盲人摸象的“单视角”工匠

在场景构建（稠密化）阶段，传统算法就像一个缺乏全局视野的工匠。它每次只盯着一张图片的渲染误差进行修补，一旦发现哪里画得不够精细，就盲目地在该区域疯狂堆砌新的高斯点。这种“单视角梯度驱动”的短视策略，导致场景中充斥着海量结构重复、视角过拟合的冗余高斯点。它们不仅拖慢了训练速度，更让手机渲染时每秒传输的帧数（FPS）直接跌入个位数的冰点。

二、 破局者的解构主义：Flux-GS 的三大核心战术

面对这头“性能怪兽”，研究团队没有选择硬碰硬的硬件对抗，而是像精密的解构主义大师，用数学和逻辑对 3DGS 进行了大刀阔斧的重构。

战术一：蒙特卡洛镜面能量聚合（MC-SEA）—— 优雅的打包压缩

如果为了追求速度直接丢弃高阶球谐函数，原本波光粼粼的金属和镜面就会瞬间变成粗糙的哑光水泥，这在视觉体验上是无法接受的。

• 破局思路：Flux-GS 提出了一个极具智慧的折中方案。它让模型在训练初期（前 3000 次迭代）自由地使用高阶 SH 来捕捉高频的光影细节。
• 核心数学操作：随后，它在单位球面上均匀布下 个采样点，利用蒙特卡洛球面采样（Uniform Spherical Sampling）精准计算出高阶与低阶 SH 之间的“光影残差”。它摒弃了冗余的全球扰动，通过球面投影将这些散落的高频镜面能量精确提炼为第一阶方向矩，打包压缩进一个极为紧凑的潜在空间里。
• 结果：原本 Bulky 的高阶参数被无情剥离，取而代之的是极为轻量的一阶 SH 表达（每个通道只需 4 个系数），成功为高斯点的物理内存踩了一脚暴减 61% 和 26% 的深刹车，同时奇迹般地保住了视点依赖的镜面反光。

战术二：属性条件增强 —— 隐形的“静态烘焙”补丁

参数压缩难免会带来微小的色彩和细节损失，如何补救？

• 破局思路：团队设计了一个Attribute-Conditioned SH Enhancement（属性条件 SH 增强）模块。它通过一个 4 层的轻量级多层感知机（MLP），根据高斯点本身的位置、缩放、旋转以及不透明度等内在几何属性，动态预测出一个用于修正一阶 SH 的“细节补丁”（Offset）。
• 惊艳的架构设计：妙就妙在，这些属性完全是高斯点固有的，与你的相机在哪、从哪个角度看毫无关系。因此，在模型正式交付运行（推理）之前，这个细节补丁就已经被一次性解码并静态烘焙（Bake）到了显式的高斯点参数中。在手机端渲染时，该模块对应的网络完全不需要参与实时计算，实现了真正的零推理计算成本！

战术三：多视角协同审视 —— 全局眼光精准删点

为了把高斯点数的预算压到极致，Flux-GS 彻底解雇了那个“单视角工匠”，换上了具有全局视野的“协同审查委员会”。

• 分层相机采样：算法首先把 3D 场景按方位角和仰角划分为多个格子，从训练相机阵列中精心挑选出 6 个角度分散度最大的代表性视角，形成一个具有全局 geometric 覆盖的相机子集。
• 多视角 Alpha 累积：在训练中，它在 CUDA 内核层面对这 6 个视角的渲染误差进行联合审查，并结合高斯点对像素颜色的 Alpha（不透明度）可见性贡献进行加权误差累积。
• 精准增删：它设立了严苛的门槛（设置分位数阈值 和 ）。只有在多个视角下都被反复证明“对高误差区域有重大视觉贡献”的高斯点，才允许被克隆或分裂；而对于那些滥竽充数、对画面贡献极低或者处于低误差（已重建完好）区域的高斯点，则给予温和但坚决的裁剪。通过这种多视角联动，高斯点云的膨胀被彻底遏制，留下的全是最精炼的几何骨干。

三、 在骁龙 8 Gen 3 上的性能狂飙

这场技术突围的最终成效如何？在搭载高通骁龙 8 Gen 3 GPU 的商用智能手机上，以及 Mip-NeRF 360、Tanks and Temples 等主流评测数据集中，Flux-GS 展现出了令人惊叹的工业级性能表现。

我们可以通过下面这张详实的数据表，直观地感受这场技术变革带来的震撼：

从具体的实测中，我们可以读出三个颠覆性的结论：

1. 从 11 到 151 的速度神话：在传统的 3DGS 下，由于巨大的显存带宽压力，骁龙手机每秒只能艰难地吐出 11 帧画面（如同幻灯片般卡顿）。而 Flux-GS 凭借极致精简的一阶 SH 和紧凑的点云结构，直接将速度推上了 151 FPS 的极速巅峰，甚至超越了去掉了实时 MLP 推理开销的 Mobile-GS 变体（137 FPS）。
2. 画质的无损坚守：在把模型体积从 478MB 甚至几百兆的庞大身躯斩落至区区数兆字节后，Flux-GS 的画面渲染质量（室内 PSNR 达 30.21dB）依然能够与未压缩的三阶 3DGS 原型（30.14dB）难分伯仲，机械结构和局部纹理结构清晰可辨，完全没有出现其他轻量级方法常见的严重模糊现象。
3. 开发效率的断崖式跃升：由于多视角剪枝策略从根本上削减了高斯点的庞大基数，Flux-GS 在台式机 RTX 4090 上的单场景训练收敛时间被狠狠压缩到了 10 至 13 分钟左右。相比之下，之前行业标杆 Mobile-GS 依赖繁重的知识蒸馏（Teacher-Student Distillation），训练一个场景动辄耗时 100 到 150 分钟，Flux-GS 带来了接近 10 倍的效率飞跃。

四、 未来

Flux-GS 的出现，无疑为空间计算（Spatial Computing）走向大众日常硬件铺平了一条黄金通道，更通过无缝适配 WebGL 技术，让用户无需下载任何 App，只需在手机网页浏览器里动动手指，就能流畅探索高画质的 3D 虚拟世界。

然而，没有任何一项技术是绝对完美的，论文在结尾也展现了客观的学术诚实，指出了 Flux-GS 的几点局限：

• 极端镜面的能力上限：由于基底被强制约束在一阶 SH，面对像高光水面、光滑明镜等具有极端视点依赖性的“镜面反射”场景时，它对极致反光的还原上限依然略逊于完整的וכ三阶 SH。
• 初始训练的显存峰值：因为算法在前 3000 次迭代中仍需借助三阶 SH 来捕捉高频辐射能量，这意味着虽然它的最终产物极其轻量，但最初训练那一刻的峰值显存消耗依然无法摆脱传统 3DGS 的高门槛。
• 死角几何的误剪风险：多视角协同剪枝高度依赖分层相机采样的覆盖度，若场景中存在某些只在极度刁钻、狭窄的未采样视角下才可见的微小隐蔽结构，多视角机制有可能会误将其判定为 redundant（冗余）点而无情剔除。

展望未来，将 Flux-GS 的多视角精简智慧引入到基于码本（Codebook-based）的量化编码或熵编码中，有望将 3D 场景的体积进一步压缩到网络传输的极限。同时，将这套高效的一阶流式架构扩展到动态 4D 高斯领域，或许在不久的将来，我们就能在自己的手机上，无缝点播并流畅交互真正意义上的 3D 体积视频（Volumetric Video）。

本文系学术转载，如有侵权，请联系CVer小助手删文