问AI玩家表现不好吗？为什么？

EN

为什么我要输给随机玩家这么多？如果Q表没有那么大的变化，系统不应该赢吗？

这可能是你的Q学习实现中的一个错误。你说学识Q表中的值与你所期望的非常接近。如果这些值正在收敛，那么我认为它不太可能是一个bug，而更有可能的是.

您的代理正在尽最大努力给出状态表示.

Q表项收敛到在给定状态下采取行动的最优值.为了使这种“最优策略”真正转化为我们所说的“良好的Ludo游戏”，代理所学习的状态需要直接对应于棋盘游戏的状态。看看你的状态，你可以看到板上的多个碎片排列，它们映射到相同的状态。例如，如果允许参与者拥有多个令牌，则状态空间并不表示所有令牌的位置(动作空间也不代表)。这可能是为什么您观察到代理只移动一个令牌，然后停止:它看不到它有任何其他操作，因为它相信它已经完成了！要给出这是一个问题的另一个例子，请注意，代理可能想采取不同的行动取决于对手的棋子位置，因此，为了发挥最佳，代理也需要这些信息。此信息需要包含在状态表示中。

您可以开始将行添加到q表中，但是您会遇到以下问题：中有太多可能的状态，无法用表格(使用Q表)进行实际学习。的大小与当前的状态类似，乘以板上其他令牌的每一个可能的位置。

因此，要回答这个问题：

一般来说，我需要多少次迭代来训练我的经纪人？

由于状态空间能准确地表示董事会的所有安排，迭代次数过多而不可行。您需要研究如何定义状态的https://en.wikipedia.org/wiki/Feature_(machine_learning)来学习。这些特性将突出说明状态之间的重要差异，并丢弃其他状态，因此您可以将其视为压缩代理正在学习的状态空间。然后，您还可以考虑使用函数逼近器而不是Q表来处理可能仍然存在的大量特性。您可以在“强化学习:介绍”中更多地了解这一点，尤其是关于3.9的介绍。