首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >卷积神经网络(LeNet 5)。C3、C5层的构建

卷积神经网络(LeNet 5)。C3、C5层的构建
EN

Stack Overflow用户
提问于 2015-08-07 20:59:39
回答 2查看 1K关注 0票数 3

http://i60.tinypic.com/no7tye.png图1卷积神经网络(LeNet5)

在卷积神经网络(LeNet 5)上,图1卷积过程(C1),最大池化(次采样) (S2,S4)层通过迭代manneur计算。但我不明白如何正确地进行C3 (卷积)层。

图2进行C1层的http://tinypic.com/r/fvzp86/8

首先,作为输入,我们接收到一个MNIST32*32灰度数字图像,将其视为大小为32*32的字节数组。在C1层,我们有6个不同的(不同的)内核,填充着随机的小值。从1到6的每个内核用于构建6个不同的特征映射(一个内核对应一个特征映射)。将大小为5*5的接收野从左向右移动1个像素步长(偏置),将图像阵列中的值乘以核值相加偏置,并通过sigmoid函数。结果是当前构造的特征映射的i,j。一旦我们到达Image Array的末尾,我们就完成了当前特征图的构建。

图3进行S2层的http://i57.tinypic.com/rk0jk9.jpg

接下来我们开始生成S2层,同样会有6个特征图,因为我们对C1层的6个特征图中的每一个分别使用2*2个接受域(使用最大池化操作,在2*2接受域中选择最大值)。C1,S2,S4在迭代过程中的应用。

图4 C3层的http://i58.tinypic.com/ifsidu.png连接表

但是接下来我们需要计算C3层。根据不同的论文,存在一个连接图。你能说一说在连接列表下感觉到什么吗?这是否意味着我们仍然会像在C1层一样使用5*5感受场。例如,我们看到在第一行中有一个标记的特征映射,对应于列(0,4,5,6,9,10,11,12,14,15)。这是否意味着,为了构造C3层的0,4,5,6,9,10,11,12,14,15个特征图,我们将在S2层的第一个特征图下进行卷积操作,其中接收野为5*5。在卷积运算中将使用哪个具体的内核,或者我们再次需要随机生成16个填充了小数字的内核,就像我们在C1层所做的那样。如果是,我们可以看到C3的特征图0、4、5、6、9、10、11、12、14、15以浅灰色、浅灰色、深灰色、浅灰色、浅灰色、深灰色着色。可以清楚地看到,S2第一特征图是浅灰色,但仅0、4、6、10、12、14以浅灰色着色。因此,在C3中构建16个特征地图可能会以不同的方式进行。你能说一下如何也产生C5层吗,它会有一些特定的连接表吗?

EN

回答 2

Stack Overflow用户

发布于 2016-04-14 20:12:18

免责声明:我刚刚开始这个话题,所以请指出我的概念中的错误!

  1. 在原始的Lenet paper中,在第8页上,您可以找到将不同的S2层链接到C3层的连接映射。这个连接列表告诉我们S2的哪些层正在与内核卷积(详细信息在后面)以生成C3的层。
  2. 您将注意到,S2的每一层恰好涉及生成10层(不是全部16层)的C3。这表明内核的大小是(5x5x6) x 10。
  3. 在C1中,我们有一个( 5x5 ) x 6内核,即5x5,有6个特征映射。这是2D卷积。在C3中,我们有(5x5x6) x 10内核,即有10个特征图的“内核盒”。这10个特征图和内核盒结合在一起产生了16层而不是6层,因为这些不是完全connected.
  4. Regarding生成的内核权重,它取决于算法。它可以是随机的,预先定义的,或者使用某种方案,例如咖啡中的哈维尔。

让我困惑的是,内核细节没有很好地定义,必须从给定的信息中派生出来。

更新: C5是如何生成的?

Layer C5是一个具有120个特征图的卷积层。当在S4上应用5x5内核时,C5特征映射的大小为1x1。在32x32输入的情况下,我们也可以说S4和C5是完全连接的。应用于S4以获得C5的内核大小为(5x5x16) x 120 (未显示偏差)。关于这120个内核盒如何连接到S4的细节在本文中没有明确给出。但是,作为提示,这里提到S4和C5是完全连接的。

票数 3
EN

Stack Overflow用户

发布于 2017-05-19 05:05:57

这篇文章中关于"C5“的关键点似乎是,5x5内核应用于所有16或S4的特征映射-一个完全连接层。

“每个单元都连接到S4所有16个特征图上的5x5邻域”。

由于我们有120个输出单元,我们应该有120个偏置单元连接(否则架构细节不符合)。

然后,我们连接所有25x16输入单元,以生成其中一个特征映射输出。

所以我们总共有

num_connections = (25x16+1)x120 = 48000+120 = 48120

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/31878353

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档