inception v1原理

　

inception

Paper：

[v1] Going Deeper with Convolutions, 6.67% test ERROR, http://arxiv.org/abs/1409.4842

[v2] BATch normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, 4.8% test error, http://arxiv.org/abs/1502.03167

[v3] Rethinking the inception Architecture for Computer Vision, 3.5% test error, http://arxiv.org/abs/1512.00567

[v4] Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning, 3.08% test error, http://arxiv.org/abs/1602.07261

Inception v1(ILSVRC14):

产生动机：

自2012年AlexNet做出突破以来，直到GoogleNet出来之前，大家的主流的效果突破大致是网络更深，网络更宽。但是纯粹的增大网络有两个缺点:过拟合和计算量的增加。同时还有梯度弥散问题。方法当然就是增加网络深度和宽度的同时减少参数。

但结构稀疏性和运算能力有矛盾，需要既能保持网络结构的稀疏性，又能利用密集矩阵的高计算性能，

所以Inception应运而生。（可以将稀疏矩阵聚类为较为密集的子矩阵来提高计算性能）

解决思路：

1. 深度 层数更深，文章采用了22层，为了避免上述提到的梯度消失问题，googlenet巧妙的在不同深度处增加了两个loss来保证梯度回传消失的现象。

   （注：该loss仅在训练的时候以一定的weight参与梯度传递，而在test的时候不用。 ）

2. 宽度 增加了多种核 1x1，3x3，5x5，还有直接max pooling的，为了避免concat起来的feature map厚度将会很大，在3x3前，5x5前，max pooling后分别加上了1x1的卷积核起到了降维的作用。

基本架构：

Inception架构的主要思想是找出如何让已有的稠密组件接近与覆盖卷积视觉网络中的最佳局部稀疏结构。

• 采用不同大小的卷积核意味着不同大小的感受野，最后拼接意味着不同尺度特征的融合；
• 网络越到后面，特征越抽象，而且每个特征所涉及的感受野也更大了，因此随着层数的增加，3x3和5x5卷积的比例也要增加。
• 在低层时候仍然用传统的方式，高层用Inception块叠加。（论文中说这可能反应了当前构造的不足）
• 网络最后采用了average pooling来代替全连接层，想法来自NIN,事实证明可以将TOP1 accuracy提高0.6%。但是，实际在最后还是加了一个全连接层，主要是为了方便以后大家finetune；

训练测试小技巧

ILSVRC 2014的分类任务有1000个子类，120万训练图像，5万验证图像，10万测试图像，每个图像中有一个ground truth，性能测量是基于得分最高的分类器预测，常用指标为top-1准确率和top-5错误率。

1.训练了7个网络，初始化和权重都相同，只是采样方法和随机输入图像不同； 

2.将图像的短边分别缩放成256、288、320、352这样4种尺度。
取图像的左中右块（或上中下块）。每块取四个角和中间的224x224的
裁剪， 和将这个块缩放到224x224，以及上述它们的镜像。这样每个图像有
4x3x6x2=144个，但可能实际中不需要这么多； 

3.softmax概率在多个裁剪和在所有分类器上取平均来获得最后的预测，
简单的平均结果最好。 

reference

http://blog.csdn.net/APP_12062011/article/details/62216987

http://blog.csdn.net/shuzfan/article/details/50738394

http://blog.csdn.net/stdcoutzyx/article/details/51052847

http://blog.csdn.net/yuanchheneducn/article/details/53045551

相关阅读

LED数码显示器的结构和工作原理

结构：由发光二极管显示字段组成，在单片机应用系统中通常使用七段LED数码管，由共阴极和共阳极两种。七段LED显示器中有八个发光二极管

Bloom Filter原理实现

文章目录Bloom FilterScrapy-Redis的存储Bloom Filter算法散列算法多个散列函数insert方法exists方法测试实例setbit和getbit的用

如何利用记忆心理学原理，提高用户体验？

大脑不是容器，而是一条记忆流水线；重启用户记忆的大门，创造利于用户体验的记忆炼金术。“今天看到个段子笑屎我了……；有个牛人问来福

Handle的原理(Looper、Handler、Message三者关系)

转载请注明出处:http://blog.csdn.net/lowprofile_coding/article/details/72580044 介绍 前面的内容对Handler做了介绍，也讲解

全面解析：电子合同/电子签名原理与产品设计思路

电子合同实现了合同的签约方可以通过互联网进行签订，广泛应用于互联网金融、电子商务、O2O等行业，是互联网中一项相当重要的基础性