构建可靠AI模型的7项技术

鲁棒 vs 脆弱的AI

开发可靠的AI

数据可靠性经验

构建鲁棒可靠AI的领先实践

本文摘自Beena Ammanath所著的《可信AI：人工智能信任与伦理商业指南》（Wiley出版社，2022年3月）。Ammanath是某机构全球AI研究院的执行董事，并领导某机构的可信与伦理技术部门。她曾在多家公司担任人工智能和数据科学领导职务，也是Humans For AI（一个致力于提升AI领域多样性的组织）的创始人。

在AI模型训练中，数据集是现实世界的代理。模型在一个数据集上训练，在另一个数据集上测试，如果结果相似，则预期模型功能可迁移到运行环境中。在实验室中有效的方法应在现实世界中持续有效，但能持续多久？AI中完美的操作场景很少见，现实世界的数据混乱且复杂。这导致了顶尖AI研究员Andrew Ng所说的“概念验证到生产部署的鸿沟”，即模型按预期训练，但部署后失败。这在一定程度上是鲁棒性和可靠性问题。

当输出准确性不一致且随时间变差时，结果就是不确定性。数据科学家面临的挑战是：在不断变化的现实世界数据面前，构建可证明鲁棒、持续准确的AI模型。在信息流中，算法可能偏离方向，输入的微小变化会级联成功能上的巨大偏移。

当然，并非所有工具都运行在易发生剧烈变化的环境中，也并非所有AI模型在变得不准确或不可靠时都呈现相同级别的风险和后果。企业在扩展其AI应用范围时的任务是：将鲁棒性和可靠性作为AI战略的组成部分加以权衡，并协调能够管理并纠正动态环境中错误的流程、人员和技术。

为此，我们从鲁棒可靠AI领域的一些基本概念开始。

鲁棒 vs 脆弱的AI

国际标准化组织将AI鲁棒性定义为“AI系统在任何情况下保持其性能水平的能力”。在一个鲁棒的模型中，训练错误率、测试错误率和运行错误率几乎相同。当在运行中遇到意外数据或模型在非理想条件下运行时，鲁棒的AI工具仍能继续提供准确的输出。

例如，如果一个模型能够识别训练数据集中的每一张飞机图像，并被证明在测试数据上表现良好，那么该模型应该能够识别任何数据集中的飞机图片，即使之前未曾遇到过。但是，如果飞机是粉色的、在黄昏拍摄、缺少机翼或从某个角度拍摄，这个识别飞机的模型表现如何？其性能是否下降？如果下降，到什么程度模型就不再可行？

当环境中的微小变化导致功能和准确性的巨大变化时，模型被认为是缺乏弹性的或“脆弱的”。脆弱性是软件工程中的一个已知概念，也适用于AI。最终，所有AI模型在某种程度上都是脆弱的。我们使用的不同类型的AI工具都特定于其功能和应用。AI只做我们训练它去做的事。

这还有另一个组成部分。部署和管理AI的人员必须权衡：不断变化的现实世界数据如何导致模型准确性随时间下降。在“模型漂移”现象中，AI工具的预测准确性随着影响模型的基础变量发生变化而降低。曾经可信的信号和数据源可能变得不可靠。网络中的意外故障可能导致数据流的变化。

一个下国际象棋的AI很可能长时间保持鲁棒，因为国际象棋的规则以及AI将遇到的走法是可预测且静态的。相反，自然语言处理聊天机器人在口语模式、俚语、错误语法和句法以及各种变化因素构成的流动环境中运行。在机器学习中，意外数据或不正确的计算可能导致模型误入歧途，除非采取纠正策略，否则原本鲁棒的工具会退化至脆弱。

开发可靠的AI

欧盟委员会联合研究中心指出，评估可靠性需要考虑性能和脆弱性。可靠的AI即使面对训练数据中未包含的输入（即分布外输入）也能按预期运行。这些是与训练集不同的数据点，可靠的AI必须能够检测数据是否为OOD。一个挑战是，对于某些模型，OOD输入可能被以高置信度分类，这意味着AI工具表面上是可靠的，而实际上并非如此。

以自主配送机器人为例。其导航AI被优化以找到通往目的地的最直接路径。训练数据集包含了AI识别 sidewalks、道路、人行横道、路缘、行人以及所有其他变量所需的全部示例数据——除了穿过路径的铁轨。在运行中，机器人识别出路径中的铁轨，虽然它们是OOD的，但AI以高置信度计算出铁轨只是一种新的人行道，于是机器人为了加快配送而沿着铁轨行驶。显然，AI因OOD输入而误入歧途。如果它没有被火车撞到，就会对这个配送机器人验证“这是一条可行的路径”，并可能寻找其他铁轨来使用。而操作者可能一直不知情——直到火车出现。

可靠的AI在面对任何新颖输入时都是准确的。这与平均性能不同。一个平均性能良好的模型仍可能偶尔产生具有重大后果的输出，从而损害可靠性。如果一个AI工具80%的时间是准确的，它是一个可信赖的模型吗？另一个相关问题是针对脆弱性的弹性，无论是运行的自然结果还是对抗性攻击的结果。

数据可靠性经验

模型的质量取决于用于开发它的训练和测试数据的质量。如果对数据代表现实世界的置信度不足，模型的输出在运行环境中可能无法可靠地提供准确结果。对于某机构来说，数据可靠性取决于：

• 适用性 – 数据是否为相关质量提供了有效的度量？
• 完整性 – 数据集在所有属性上的填充程度如何？
• 准确性 – 数据是否反映了收集数据集的现实世界？

这些是可信数据以及AI的跨领域组成部分。数据集需要经过充分的整理，在某些情况下需要标记，甚至用合成数据进行补充，以弥补缺失的数据点或填补不能（或不应）用于训练的保护信息。数据还必须清除潜在偏差，偏差会扭曲模型训练并导致不良输出或预测。

与AI工具本身一样，现实世界的运行数据需要被监控，以发现趋势变化和新兴的数据科学需求。例如，一个进行情感分析的模型可能被训练为对十几个变量进行情感评分，但在部署后，AI团队识别出在模型漂移和重新训练中需要考虑的其他变量。

与可靠性一样，数据适用性不是一成不变的。同样，数据准确性可能因传感器性能、是否存在延迟或可用性问题、或任何可能损害数据可靠性的已知因素而波动。

构建鲁棒可靠AI的领先实践

无论是模型因不熟悉的数据而受损、被恶意行为者扰动，还是偏离准确性，组织都应在其AI计划中嵌入以下能力：评估部署风险、跟踪是否符合预期规范、衡量（即便不是测量）鲁棒性，并建立流程来修复那些随着可靠性降低而失败或漂移的模型。由于可靠性源自鲁棒性，一些有助于AI可靠性的活动包括：

可靠性的基准

即使在模型训练过程中，也要识别并定义哪些基准对于跟踪和测量可靠性最有价值。这些基准可能包括AI系统相对于人类表现的性能——尤其因为深度学习模型试图模仿人类认知。

执行数据审计

作为测试的一部分，审查数据可靠性评估、纠正措施以及来自训练的数据样本。让数据利益相关者（例如IT负责人、法律专家、伦理学家）参与探讨数据质量和可靠性。AI模型需要反映现实世界的数据集，因此作为数据审计的一部分，要调查数据集的平衡性、无偏性、适用性和完整性程度。

随时间监控可靠性

可靠性在AI生命周期中不断演变。当模型输出或预测偏离预期时，将数据编目以供分析和调查。此类分析中常用的数据类型包括：事件时间（模型偏离前的时间）、退化数据（关于模型如何退化的信息）以及重复事件数据（发生多次的错误）。

不确定性估计

洞察带来信心。为了更深入地了解AI如何运作，一些新兴工具允许模型在输出或预测的同时报告不确定程度。这有助于建立对鲁棒系统的信任。如果一个模型报告高不确定性，这对人类操作员或另一个联网AI来说是有价值的见解。不确定性估计可以标记漂移的模型、突出数据变化，或提醒有对抗性样本进入数据流。

管理漂移

操作员可以通过比较实时部署期间的模型输入和输出与参考集中的输入和输出来评估漂移。在测试数据和训练数据的输入之间进行成对相似性度量，同时对输出进行分割。通过密切关注输入和输出相对于参考集的变化，人类操作员可以采取纠正措施（例如重新训练模型）。

持续学习

建立持续学习工作流，根据预先定义的可接受阈值监控模型性能。这些阈值可能包括：系统准确性在面对微小扰动时的弹性度量，以及系统和运行环境的安全约束。作为其中的一部分，维护数据版本控制框架，以实现AI模型的可审计性、透明性和可复现性。

持续测试

建立一个包含可变性（例如系统或训练数据的变化）的测试机制，以评估AI是否足够鲁棒以按预期运行。检查模型鲁棒性和准确性的频率应取决于模型的优先级以及模型更新的频率。高风险、频繁更新的模型最好每天检查一次（由人工验证输出）。变化较慢、低优先级的模型可以在更长的时间线上进行检查，在某些情况下使用API自动评估功能。这些检查的结果应促使对任何异常、差异和意外结果进行调查和解决。

探索替代方法

鉴于鲁棒性和泛化性是活跃的研究领域，新的工具、设计和策略将不断涌现并推动该领域发展。这些很可能是技术性方法，组织的数据科学专业人员有能力探索新想法如何支持已部署的AI以及模型开发。例如，“Lipschitz约束模型”具有有界导数，可以帮助神经网络更鲁棒地抵御对抗性样本。最简单来说，它们促进并可以证明输入中的小扰动只会导致输出中的小变化。FINISHED