有人能解释神经网络中的这种现象吗？
有人能解释神经网络中的这种现象吗？
提问于 2018-06-20 22:36:34
我已经训练了一个50,500,500，5个神经网络，输入层有50个神经元，输出层有5个神经元。layer2中的偏差如下所示
为什么layer2中的偏差分布变化如此剧烈？
( layer1中的偏差分布在每一步中几乎是相同的。
有人能解释这种现象吗？
回答 1
Stack Overflow用户
发布于 2018-06-21 06:06:23
你所看到的几乎可以肯定是过度拟合。这不是你实现中的bug，而是你理解上的问题。这个1055神经元多层感知器(MLP)的权重约为6.25M (取决于您的实现)！这个容量足以记忆几乎任何模式。您在直方图中看到的是偏差参数的迁移，以适应您的数据。它只发生在最后一层，因为仅最后一层中的偏置项就足以记住数据。从非常清晰的参数集中判断，我猜你是在一个相当小的数据集上进行训练。这就是你的MLP在记忆数据点时的样子。参考你的训练和验证损失与时期的曲线，以确认这一假设。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/50950793
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号