文章/答案/技术大牛

发布

社区首页 >问答首页 >我在寻找好的神经元硅度度量

问我在寻找好的神经元硅度度量
EN

Data Science用户

提问于 2023-03-01 16:38:05

回答 1查看 19关注 0票数 2

最近，我设法创建了简单的神经网络可视化，以帮助理解神经网络如何在信号水平上工作。我还想按照相似的方式排列神经元，因为我期望它们有明显的责任区域。

看看它是什么样子：

http://nn.3dev.io

为了查看发行版，我创建了两个度量标准：

欧几里德:计算输出权重空间(10维)中的距离，并根据该距离排斥神经元，并吸引在该10d空间中接近的神经元。
输出优势:吸引在特定输出时具有最大重量的神经元。

问题是，我没有看到任何趋势(或倾向)的神经元分布，这可能是由以下原因：

没有这样的趋势或神经元责任的显著领域(至少在这种情况下)。
我有不适当的度量

伙计们，你们觉得怎么样？谢谢，问候

unsupervised-learning

neural-network

visualization

回答 1

Data Science用户

回答已采纳

发布于 2023-03-07 17:47:29

动画片很漂亮！

我认为，有了一个完全连接的网络和一个单一的隐藏层，你不会期望看到任何强大的神经元责任模式出现。但是如果您使用了两个或三个隐藏层，您可能会开始在第三层中看到一些模式。

此外，如果您在培训时使用高L1正则化，那么非常小的贡献将变为0。这鼓励模型用更少、更专注的神经元来做出每一个决定。所以你可能会看到更明显的模式。

如果你训练一个CNN，那么低层就会发现一些特征，比如直线和曲线。更高的层次可能结合这些来发现循环，等等。然后你会期望看到最终的线性层的趋势。所有的零都是对发现一个大循环的反应。6s和9s正在对发现小回路和一条线作出反应。1s和7s对任何循环特性都没有反应。等。

票数 1

页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://datascience.stackexchange.com/questions/118910

复制

相似问题

问我在寻找好的神经元硅度度量
EN

回答 1

Data Science用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问我在寻找好的神经元硅度度量EN

回答 1

Data Science用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问我在寻找好的神经元硅度度量
EN