问作为Q值函数逼近器，如何提高前馈网络的性能？

EN

我试图在n*n网格世界域中导航代理，使用Q-学习+前馈神经网络作为Q-函数逼近器。基本上，代理应该找到最佳/最短的方式来达到某一终端目标位置(+10奖励)。特工采取的每一步都会得到-1的奖励。在网格世界中，代理也应该避免某些位置(-10奖励，终端状态也是如此)。

到目前为止，我实现了一个Q学习算法，它将所有的Q值保存在一个Q表中，并且代理执行得很好。在接下来的步骤中，我想用神经网络代替Q表，在agent的每一步都进行在线训练。我尝试了一个具有一个隐藏层和四个输出的前馈神经网络，表示网格世界(北、南、东、西)中可能的动作的Q值。作为输入，我使用了一个nxn零矩阵，在代理当前的位置上有一个"1“。

为了达到我的目标，我试图从根本上解决这个问题：

1. 使用标准的Q-学习探索网格世界，并使用q-映射作为网络的培训数据，一旦q-学习完成->工作良好
2. 使用Q-学习并提供Q-地图的更新作为NN (batchSize = 1) ->工作良好的训练数据
3. 用神经网络完全替换Q图.(当它变得有趣的时候，这就是重点！) ->第一地图:4x4如上所述，我有16个“离散”输入，4个输出，它与隐藏层中的8个神经元(Relu)一起工作得很好(学习速率: 0.05)。我用了一种贪婪的策略，在60集内从1减少到0.1。比较了标准q学习与q和“神经”q学习的这里显示了测试场景。性能(在这种情况下，我使用了8个神经元，不同的dropOut率)。

综上所述:神经Q-学习对小网格来说是很好的，而且性能也是好的和可靠的。

->大地图: 10 x 10

现在我试着用神经网络来绘制更大的地图。一开始，我尝试了这个简单的案例。

在我的例子中，神经网络看起来如下:100个输入；4个输出；在一个隐藏层中大约有30个神经元(Relu)；我再次使用了一个减少的探索因子来进行贪婪策略；超过200次，学习率从0.1下降到0.015，以增加稳定性。

第一，在离散输入向量引起的单个位置之间存在收敛和插值问题。为了解决这个问题，我在向量中添加了一些邻域位置，其值取决于它们到当前位置的距离。这大大提高了学习水平，政策也越来越好。上面的图片显示了24个神经元的表现。

简单的情况由网络来解决，但只有通过大量的参数调整(神经元数目、探索因子、学习率)和特殊的输入变换才能解决。

以下是我仍未解决的问题：

(1)我的网络能够在10×10的映射中解决非常简单的案例和例子，但随着问题变得更加复杂，它失败了。在非常可能失败的情况下，网络没有改变以找到正确的策略。我对任何能在这种情况下提高性能的想法都持开放的态度。

(2)是否有更明智的方法来转换网络的输入向量？我确信，在输入向量中加入相邻的正电子，一方面改善了Q值在地图上的插值，另一方面也使训练网络特殊/重要位置变得更加困难。我已经在早期尝试过标准的笛卡儿二维输入(x/y)，但失败了。

(3)与具有反向传播的前馈网络相比，是否有另一种网络类型在Q-函数近似下产生更好的结果？你见过项目吗?在那里，FF-nn用更大的地图表现很好？