基于逆强化学习的自然语言机器人教学

让机器人响应自然语言指令

一种依赖于逆强化学习（即通过示例学习）的技术，在模拟中将任务完成率提高了14%到17%。

作者：Li Zhou

2021年2月8日

5分钟阅读

如果通用型家用机器人成为现实，我们希望能用自然语言向它们下达指令——例如，对机器人说“把脏盘子拿到厨房去”。然而，自然语言指令给机器人系统的控制带来了新的复杂性，因为相同的动作序列可能对应多种不同的自然语言指令（比如“你能把餐厅的盘子收走吗？”）。

在最近于美国人工智能促进协会（AAAI）年会上发表的论文中，团队将自然语言理解方面的一些研究成果应用于自然语言机器人控制问题。具体研究的是逆强化学习（IRL）场景：AI智能体通过观察人类示范来学习执行特定任务。但团队对标准IRL框架进行了扩展——用自然语言来指定智能体的目标，而不是明确地将其定义为唯一的状态。

在涉及高质量室内环境3D模拟基准数据集的实验中，将所提出的方法与四种主流的IRL方法进行了比较。在智能体于训练时见过的环境中测试时，该方法相比表现最好的基线模型，将实现自然语言指定目标的成功率提高了14%。在未见过的全新测试环境中，成功率提高了17%。论文中还提出了一种方法，使得部署到陌生环境中的已训练AI智能体能够针对该环境生成自身的训练示例。这种额外的自监督学习使智能体的成功率再提高了38%。

逆强化学习

强化学习是一种智能体通过试错进行学习的范式。具体来说，它有一个奖励函数（衡量实现某个目标的成功程度），并学习一套能最大化其奖励的行为。

相比之下，在逆强化学习中，智能体会收到一组示范（人类专家或其他智能体的示例），并且必须学习专家隐含地最大化的奖励函数。

示范以轨迹形式呈现，由交替的状态（环境和智能体所处位置）与动作序列组成。在IRL中，与标准强化学习一样，智能体的最终目标是学习一个策略，该策略决定了在何种状态下应采取何种动作。但在IRL中，智能体必须同时学习奖励函数和策略。

一种常见的IRL方法是使用生成对抗网络（GAN）。智能体的训练数据是一组由专家建模的、能够完成待学习目标的真实轨迹。

但训练设置还包括一个生成虚假轨迹的对抗生成器，IRL判别器必须学会区分这两者。也就是说，它必须学习一个奖励函数，为真实轨迹分配高价值，为虚假轨迹分配低价值。同时，对抗生成器试图学习一个能产生高奖励轨迹的策略。

团队对这一设置进行了扩展，为每条轨迹增加了一个额外输入：目标的自然语言描述。一条单一的轨迹可能有多个自然语言目标，对应序列中的多个状态和动作，例如：“沿着走廊走”、“左转”、“找到你右边的第一个门口”等等。

在此设置中，对抗生成器产生的负例是具有错误自然语言目标的轨迹：例如，轨迹映射出一个右转动作，但自然语言目标是“左转”。

团队交替使用训练示例来教导智能体奖励函数和更新智能体的策略。奖励函数同时在轨迹和自然语言目标（NL目标）上训练，其训练数据包括来自对抗生成器的负例。对于策略更新，智能体仅接收NL目标（且仅来自正例），并必须预测相关的轨迹。

在实验中，这种基本模型相比现有IRL模型改进甚微，需要增加几个额外特性才能提升性能。

数据增强

首先，利用专家提供的轨迹，训练了一个变分目标生成器，用于根据轨迹预测NL目标。该模型包含一个变分自编码器，即一个能产生每个NL目标的高度压缩向量表示的神经网络。这种压缩表示捕获了NL目标的语义信息，但丢失了目标措辞的信息。重新扩展这样的表示会生成一个新的NL目标，其措辞与原目标不同，但保留了语义内容。

将这些带有重新表述的NL目标的轨迹用作新的正训练示例。这扩充了通常稀缺的专家训练示例，通过词汇多样性增强了鲁棒性。

当来自对抗生成器的负例（其NL目标不准确）通过标签预测模型时，结果会得到一个带有正确NL目标的重构轨迹。这些重新标记的轨迹也被添加到正例集合中。

团队使用新增的正例同时训练奖励函数和更新智能体的策略。这不仅提高了奖励函数的准确性，还增强了智能体泛化到新环境的能力，因为它能从比原本更丰富的环境交互中学习。

最后，探索了一种额外的自举方法，用于在陌生环境中执行任务的智能体。首先，智能体从现有训练数据中学习一个新的、与目标无关的策略。该策略编码了通用原则，例如不试图穿过关闭的门。然后使用该通用策略在新环境中生成样本轨迹；这些轨迹通过变分目标生成器，被赋予NL目标。将这些新标记的轨迹视为新环境中的专家示例，并用它们来更新奖励函数。

这一额外的训练层使得智能体在部署到新环境时，成功率提高了36%。研究团队认为，这种适应能力对于未来的家用机器人至关重要——它们需要能够适应新环境（例如家庭搬家或度假时），而无需从头开始重新训练。

关于作者

Li Zhou

Alexa AI 团队应用科学家FINISHED