app充值网站开发,好分销系统平台,公司网站建设推广词,贵阳做网站公司这里写目录标题 GoogLeNet参考GoogLeNet模型结构创新点Inception结构#xff0c;它能保留输入信号中的更多特征信息去掉了AlexNet的前两个全连接层#xff0c;并采用了平均池化引入了辅助分类器 GoogLeNet
GoogLeNet的设计主要特点是引入了Inception模块#xff0c;这是一种… 这里写目录标题 GoogLeNet参考GoogLeNet模型结构创新点Inception结构它能保留输入信号中的更多特征信息去掉了AlexNet的前两个全连接层并采用了平均池化引入了辅助分类器 GoogLeNet
GoogLeNet的设计主要特点是引入了Inception模块这是一种多尺度卷积结构可以在不同尺度下进行特征提取。Inception模块使用了不同大小的卷积核和池化操作并将它们的输出在通道维度上连接在一起以获得更丰富的特征表示。
GoogLeNet还采用了一种称为平均池化average pooling的特殊池化方式来代替全连接层以减少参数数量和计算量。此外GoogLeNet还使用了辅助分类器auxiliary classifier来帮助训练深层网络并通过附加的损失函数促进梯度的传播。
参考
论文原文
GoogLeNet模型结构 创新点
串联结构如VGG存在的问题
后面的卷积层只能处理前层输出的特征图前层因某些原因比如感受野限制丢失重要信息后层无法找回。
解决方案每一层尽量多的保留输入信号中的信息。
Inception结构它能保留输入信号中的更多特征信息
Inception 结构的主要思路是怎样用密集成分来近似最优的局部稀疏结构。 1、采用不同大小的卷积核意味着不同大小的感受野最后拼接意味着不同尺度特征的融合 2、 之所以卷积核大小采用1、3和5主要是为了方便对齐。 设定卷积步长stride1之后只要分别设定pad0、1、2那么卷积之后便可以得到相同维度的特征。 3、3×3 max pooling 可理解为非最大化抑制。 文章说很多地方都表明pooling挺有效所以Inception里面也嵌入了。保留且加强了原图中比较重要的信息。 4、网络越到后面特征越抽象而且每个特征所涉及的感受野也更大了因此随着层数的增加3x3和5x5卷积的比例也要增加。 5、1×1 3×3 5×5卷积及3×3max pooling通过设定合适的padding都会得到相同维度的特征然后将这些特征直接拼接在一起。
但是使用5x5的卷积核仍然会带来巨大的计算量。
为此文章借鉴NIN2采用1x1卷积核来进行降维。
具体改进后的Inception Module如下图
例如上一层的输出为100x100x128经过具有256个输出的5x5卷积层之(stride1pad2)输出数据为100x100x256。其中卷积层的参数为128x5x5x256。 假如上一层输出先经过具有32个输出的1x1卷积层再经过具有256个输出的5x5卷积层那么最终的输出数据仍为100x100x256但卷积参数量已经减少为128x1x1x32 32x5x5x256大约减少了4倍。
层数更深、参数更少、计算效率更高、非线性表达能力也更强 去掉了AlexNet的前两个全连接层并采用了平均池化
这一设计使得GoogLeNet只有500万参数比AlexNet少了12倍
引入了辅助分类器
克服了训练过程中的梯度消失问题 问题1平均池化向量化与直接展开向量化有什么区别 特征响应图中位置信息不太重要平均池化忽略位置信息可以很大节省计算量。
问题2: 利用1 x1卷积进行压缩会损失信息吗?
不会假设图像或特征响应图深度通道为64其中记录信息的只有少数对应的向量非常稀疏且其后的每个卷积核深度通道也为64都作用在这64个通道上。 经过压缩并不会影响图像原始信息的记录。
