AnomalyVFM | 视觉基础模型变身零样本异常检测神器

研究背景与核心挑战

零样本异常检测旨在不依赖任何特定类别训练图像的情况下，定位图像中的异常区域。当前最先进的零样本方法主要依赖视觉-语言模型（如CLIP），利用其跨模态的高层概念知识来实现泛化。

然而，纯视觉基础模型（如DINOv2）虽拥有强大的视觉表征能力，但在该任务中表现却落后于人。论文指出，造成这一差距的两个核心实践瓶颈在于：一是现有用于训练的辅助异常检测数据集缺乏足够的数据多样性和缺陷覆盖度；二是过往对视觉基础模型的微调策略过于浅层，未能有效改变其内部视觉表征。

AnomalyVFM框架与技术创新

DINOv3的论文指出，DINOv3 能够生成丰富、密集的特征，且只需保持骨干网络冻结（即不进行参数更新），便可直接用于微调多种复杂的下游任务。这一点非常出色——通常为解决上述问题，作者提出了名为AnomalyVFM的通用框架。

该框架包含两大核心创新。

首先，设计了一个三阶段的合成数据集生成方案，利用先进的图像生成模型（如FLUX）生成多样化的无异常物体图像，通过修复技术合成局部缺陷，并利用特征比对进行自动过滤，以确保生成数据的质量和相关性。

其次，引入了一种参数高效的适配机制，在视觉基础模型的Transformer骨干网络中注入低秩特征适配器（LoRA），并配合轻量级解码器和置信度加权像素损失函数，使得模型能够以极少的可训练参数有效地演化其内部表征以适应异常检测任务。

实验结果与性能表现

通过在9个工业异常检测基准数据集上的广泛评估，AnomalyVFM取得了卓越的性能。

以RADIO为骨干网络时，其图像级别AUROC平均达到94.1%，显著超越了此前最优方法达3.3个百分点，在像素级定位精度上也提升了0.9个百分点。实验还验证了该框架的通用性，将其应用于DINOv2和DINOv3等其他视觉基础模型时，均带来了一致的性能大幅提升。

此外，模型在医疗影像数据集上同样表现出了良好的泛化能力，并且在极少量正常样本的少样本场景下，经过简单微调即可媲美专用少样本方法。

总结

AnomalyVFM通过解决数据集多样性和模型适配两大关键问题，成功挖掘了纯视觉基础模型在零样本异常检测任务上的巨大潜力，证明了其在工业检测和医疗影像等领域的实用性。

论文的消融研究也证实了合成数据过滤、前景区域选择以及置信度损失等各个组件的有效性。尽管当前方法的瓶颈在于合成数据的生成时间，但其作为一次性投入，为未来利用更强大的视觉基础模型和生成模型进一步提升零样本异常检测性能提供了坚实的研究基础和可扩展的框架。