多智能体强化学习进展I

标题：基于LLM的规划器和基于图的策略通过强化学习增强多智能体系统

代码地址：https://happyeureka.github.io/damcs

发表日期：2025-03-13

摘要：开发在动态开放世界场景中长期合作的智能代理是多代理系统的一大挑战。传统的多智能体强化学习（MARL）框架，如集中训练分散执行（CTDE），在可扩展性和灵活性方面存在困难。它们需要集中的长期规划，如果没有定制的奖励功能，这很难实现，并且在处理多模态数据方面面临挑战。CTDE方法还假设了固定的合作策略，这使得它们在动态环境中不切实际，因为代理需要独立适应和规划。为了解决去中心化多智能体协作问题，我们提出了一种新的多智能体Crafter环境中的去中心化自适应知识图存储和结构化通信系统（DAMCS）。我们的生成代理由大型语言模型（LLM）提供支持，通过利用外部知识和语言进行长期规划和推理，比传统的MARL代理更具可扩展性。DAMCS没有完全共享所有过去经验的信息，而是引入了一个多模态存储系统，该系统被组织为分层知识图和结构化通信协议，以优化代理协作。这允许代理从过去的交互中推理，并有效地共享相关信息。在新型多智能体开放世界任务上的实验表明，DAMCS在任务效率和协作方面优于MARL和LLM基线。与单智能体场景相比，双智能体场景实现了相同的目标，减少了63%的步骤，六智能体场景减少了74%的步骤，突显了自适应记忆和结构化沟通在实现长期目标中的重要性。

论文地址：https://arxiv.org/abs/2503.10049