港科大沈劭劼团队CO-Calib：基于故障分析的鲁棒多鱼眼相机标定

公众号致力于点云处理，SLAM，三维视觉，具身智能，自动驾驶等领域相关内容的干货分享，欢迎各位加入，有兴趣的可联系dianyunpcl@163.com。文章未申请原创，未经过本人允许请勿转载，有意转载联系微信920177957。

文章：Observation Quality Matters: Robust Multi-Fisheye Calibration via Failure-Oriented Analysis

作者：Peize Liu, Zhe Tong, Chen Feng, and Shaojie Shen

编辑：点云PCL

开源代码：https://github.com/HKUST-Aerial-Robotics/CO-Calib

摘要

多鱼眼相机系统凭借超广视角，在机器人、自动驾驶、三维重建等领域应用广泛。然而，随着相机数量增加、视场角（FoV）扩大，系统标定变得愈发困难。现有的标定流程（如 Kalibr）虽然能够联合优化内参、外参和目标位姿，但其成功与否高度依赖于经验性的数据采集规则以及输入优化器的观测质量。

本文对多鱼眼标定的失败机理进行了系统分析，发现了一个反直觉的现象：标定失败并非主要由检测器漏检或图像平面全局分布不均导致，真正“元凶”是内参初始化阶段——当观测点仅集中在狭窄的径向范围内时，焦距尺度与鱼眼投影形状参数会发生耦合，导致优化问题的线性化更新变得病态，参数难以分离。

基于这一分析，作者提出了 CO‑Calib—一个即插即用的标定数据构建框架。它结合了基于学习的鲁棒目标检测器和误差分析引导的帧选择器，能够自动构造出“初始化友好”的观测序列，包括稳定锚帧、共视多相机约束和覆盖补全帧，而无需修改现有标定流程或优化后端。

在合成数据和真实多鱼眼系统上的大量实验表明，CO‑Calib 将整体标定成功率从 68.1% 提升到 99.3%，外参精度显著提高，并且在极具挑战的六目鱼眼系统上实现了稳定的标定结果。

图1. 基于几何的检测器在鱼眼图像中的召回率退化。随着视场角（FoV）增大，召回率下降。

主要贡献

本文的贡献可概括为四点：

• 首次系统分析了多鱼眼标定的失败机理，指出初始化失败并非由检测召回率或图像平面分布主导，而是与内参更新时参数不可分离导致的病态条件密切相关。
• 揭示了“焦距-投影耦合”这一关键失效模式：当观测数据径向覆盖不足时，焦距与鱼眼投影形状参数的雅可比方向趋于线性相关，使得初始化阶段难以同时估计这两类参数。
• 提出 CO‑Calib 框架，包含一个针对鱼眼畸变设计的深度学习目标检测器，以及一个基于误差分析的帧选择策略，能够自动筛选出支持稳定初始化和高精度优化的观测序列。
• 在合成与真实系统上充分验证，包括不同视场角（180°~240°）和多种立体配置（相对旋转 0°~120°），以及真实六目鱼眼系统，证明了方法的鲁棒性和通用性。

主要内容

问题剖析：现有标定流程为何不稳定？

多鱼眼标定通常采用“分阶段”的束调整（BA）流程

• 内参初始化：初步估计相机内参和每帧目标位姿；
• 内参精化：联合优化内参和目标位姿；
• 完整标定：加入相机间外参，进行全局联合优化。

然而，当视场角增大或相机布局复杂时，该流程的成功率急剧下降。作者通过控制变量实验，将失败案例定位到第一阶段——内参初始化。在 FoV=240° 的配置下，初始化失败几乎解释了所有标定失败（占比高达 98.9%~100%）。

排除常见嫌疑：不是检测问题，也不是分布问题

很多人会自然怀疑：是不是边缘畸变太强导致检测点太少？或者不同相机视角下观测点分布不均？作者用两组实验否定了这些猜测：

• 即使提供全部真值观测点（完美检测），标定成功率反而从 68.1% 下降到 53.7% —— 说明更多点并不能解决问题，反而暴露了优化本身的病态性。
• 对比成功与失败试验的观测分布，发现两者在空间分布上几乎无差异（差异小于 0.13 个百分点），远小于随机分组可能产生的差异。

这表明，标定失败的根源不在于“量”或“均”，而在于观测数据的结构是否利于参数解耦。

真正的罪魁祸首：径向覆盖不足导致的参数耦合

作者深入分析了内参初始化阶段的雅可比矩阵和 Schur 补（消去目标位姿后的信息矩阵）。他们发现，失败试验的条件数（condition number）显著高于成功试验，意味着更新方向之间存在高度线性相关性。

具体地，鱼眼投影可以近似写成：图像坐标 = 焦距缩放 × 投影形状函数(入射角) + 主点偏移

当观测点只出现在狭窄的径向范围（如只集中在中心、中间或边缘某个条带）时，改变焦距和改变投影形状函数会产生几乎相同的残差变化，优化器无法区分该往哪个方向调整。这就是 “焦距-投影耦合” 。

作者用三种主流鱼眼模型（Omni、EUCM、Double-Sphere）验证了这一点：只有覆盖从中心到边缘的宽径向范围的观测，才能有效解耦这两个参数，使初始化条件数大幅下降。

CO‑Calib 的解决方案

基于上述发现，CO‑Calib 不修改优化器，而是从“喂给优化器的数据”入手，构建高质量观测序列。

（1）基于学习的鲁棒检测器

设计了一个多级神经网络（U-Net + 细化分支），采用在线物理渲染生成训练数据，能够在严重畸变和不同光照条件下稳定检测标定板角点。相比传统几何检测器，召回率从 ~70% 提升至 ~93%，且定位误差更低。

（2）误差分析引导的帧选择器

每帧图像经过两个几何质量评分：

• 投影各向同性分数：衡量目标投影是否变形严重，是否利于稳定估计位姿。
• 定向径向跨度分数：衡量观测点沿径向方向的覆盖宽度，直接反映焦距-投影解耦能力。

选择流程分为三步：

• 锚帧选择：优先选出同时满足高各向同性和宽径向跨度的帧，用于稳定内参初始化。
• 共视选择：在时间同步的多相机帧中，选择所有相机均满足上述条件的帧，用于约束外参。
• 单目补全：在共视帧不足时，适当放松条件，增加单目帧以覆盖未充分观测的图像区域。

这种策略既不盲目增加帧数，也不追求均匀覆盖，而是主动为优化器提供“方向可分”的观测信息。

实验验证

A

合成数据实验

作者构建了 16 种仿真配置（4 种 FoV × 4 种相对旋转），每种生成 100 个标定序列，共 1600 个试验。

CO‑Calib 在所有配置下均大幅领先，尤其在宽 FoV（240°）下，成功率从 12%~41% 提升至 98%~100%。

外参精度：CO‑Calib 的平均平移误差为 0.18 mm，旋转误差为 0.021°，显著优于 Kalibr（0.54 mm / 0.029°）。虽然在某些配置下 CO‑Calib 的姿态估计误差略高（因为使用的帧数较少），但外参精度更优，这正是标定的核心目标。

B

真实数据实验

使用真实立体鱼眼（相对旋转 0°~120°）和一个六目鱼眼系统（Hex‑Fisheye）进行多次重复标定，以估计外参的重复性标准差作为稳定性指标。

在标准立体配置下，CO‑Calib 与 Kalibr 精度相当，但成功率均为 100%。

在六目鱼眼系统上，Kalibr 在全部 10 次试验中均失败，而 CO‑Calib 全部成功，且外参重复性标准差（平移 0.97 mm，旋转 0.048°）远优于 Basalt 等方法，证明了其在极端复杂系统上的实用价值。

C

消融实验

• 用随机子集替代 CO‑Calib 的选择策略，成功率暴跌至 30.9%，说明选择策略本身而非“减少帧数”是性能提升的关键。
• 移除初始化阶段，仅用 BA 优化，成功率仅有 13.5%，确认了可靠初始化的不可替代性。

总结

本文通过深入的故障分析，明确指出多鱼眼相机标定的瓶颈在于初始化阶段观测数据对参数的可辨识性，而非传统的检测数量或覆盖均匀性。这一发现颠覆了以往“越多越好”或“越均匀越好”的直觉，强调了径向覆盖范围和参数解耦的核心地位。

基于此，作者提出的 CO‑Calib 框架，以即插即用的方式，通过智能检测与帧选择，显著提升了标定的鲁棒性和精度，在合成与真实极端场景下均表现出色。该工作为实际工程中多鱼眼系统的快速、可靠部署提供了有力的工具，也启示我们：在标定问题中，优化器能“看清”什么，比给它多少数据更重要。

以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除