Spatial-Channel Sequeeze & Excitation (SCSE)-8-June-2018【论文理解】

　

scse

文章目录

• 前言
• SE（cSE）
• sCE
• scCE
• 模型复杂度分析
• 分割结果展示
• 参考

前言

在分割领域，目前的网络改进方式一般是改进encoding层，或者是改进跨层连接的方式；但是此篇论文受到SE(squeeze&excitation)模块的提示，提出了另外三种模式sSE,cSE,scSE，来对网络特征进行调整，重视（加大权重）重要的特征图或者是特征通道，减小不重要特征的影响，从而改善图像分割结果。其实第三种就是第一种和第二种的粗暴结合。实验了在大脑MRI分割中的效果。

SE（cSE）

SE(squeeze&excitation)[1]核心思想在于通过网络根据loss去学习特征权重，使得有效的feature map权重大，无效或效果小的feature map权重小的方式训练模型达到更好的结果。当然，SE block嵌在原有的一些分类网络中不可避免地增加了一些参数和计算量，但是在效果面前还是可以接受的。模块如下图所示：

具体可以过程可以参考博客[2]，过程其实和[1]是一样的。此处的SE即cSE，Spatial Squeeze and Channel Excitation Block，核心操作是全局池化层以及两层全连接层。本论文中图如下：

输入特征图为$U=[u_1,u_2,\mathrm{.}\mathrm{.}\mathrm{.},u_c]$U=[u1​,u2​,...,uc​]，其中每个通道$u_i$ui​,$u_i\in {\mathbb{R}}^{H\ast W}$ui​∈RH∗W，U经过全局池化层（GAP）之后得到向量z，$z\in {\mathbb{R}}^{1\ast 1\ast C}$z∈R1∗1∗C

每个位置k的值为：

得到的向量经过两次全连接层，$W_1$W1​,$W_2$W2​分别为全连接层的权重，过程如下：

此处与[1]略有不同，[1]使用的是16，即$C\ast \frac{C}{16}$C∗16C​，此处为2。之后经过ReLU,这个过程增强了各个通道之间的独立性。对$\widehat{z}$z^经过sigmod层，归一化到0到1之间得$\sigma \left(\widehat{z}\right)$σ(z^)。整个过程可以用如下公式来代表：

$\widehat{z_i}$zi​^​代表的信息就是第i个通道$u_i$ui​的重要性程度。

sCE

先在通道上进行压缩，再在空间部分上进行Excitation ，如下图所示：

对于输入层的一个特征图，$U=[u^{1,1},u^{1,2},\mathrm{.}\mathrm{.}\mathrm{.}\mathrm{.},u^{i,j},\mathrm{.}\mathrm{.}\mathrm{.}\mathrm{.}\mathrm{.},u^{H,W},]$U=[u1,1,u1,2,....,ui,j,.....,uH,W,]，H,W分别为特征图的尺寸，（i，j）为特征图的空间位置，通过卷积实现空间挤压操作，此处的卷积为1×1的卷积，且输出通道数为1，如下：$W_{sq}\in {\mathbb{R}}^{1\ast 1\ast C\ast 1}$Wsq​∈R1∗1∗C∗1，操作如下：

输出为q，q为通道为1的特征图，再经过sigmod对其进行归一化操作到[0-1].操作如下：

其中$\sigma \left(q_{i,j}\right)$σ(qi,j​)代表特征图中空间位置坐标（i,j）的重要性。

scCE

Spatial and Channel Squeeze & Excitation Block (scSE),即以上两者的结合，如下图所示：

还是比较通俗易懂的操作。

模型复杂度分析

【TODO】

分割结果展示

参考

[1]Hu, J., Shen, L. and Sun, G. Squeeze-and-excitation networks. In CVPR 2018.

[2]https://blog.csdn.net/yimingsilence/article/details/79233650

相关阅读

人脸识别三大经典算法（附PDF下载、经典论文列表）

后台回复“1814

论文解析 - SLAM++: Simultaneous Localisation and M

SLAM++: Simultaneous Localisation and Mapping at the Level of Objects 0. 论文概况 引用：331, CVPR2013 Renato F. Salas-Mor

论文中的格式设置

1.以正文为首页添加页码，目录、封皮无页码首先，鼠标光标放在正文第一行。点击页面布局->分隔符->下一页，在当前页之前会出现一张空白

毕业论文查重

推荐大家一个靠谱的论文检测平台。重复的部分有详细出处以及具体修改意见，能直接在文章上做修改，全部改完一键下载就搞定了。怕麻烦

【信息系统项目管理师】论文模板：论项目的进度管理

论项目进度管理 【摘要】 2015年5月开始，我参加了公司面向17年销售的XXXXX机新机型的开发，并担任项目经理的工作。本项目在15年XXX