Daily Paper 06 - SENet

今天这篇是我的一门研究生英语课将要小组汇报的论文。早有耳闻的通道注意力经典论文,借此机会拜读一下好了~
昨天拖延症犯了就没咋看,今天随便整理下算了…
「」
简单来说,本文就是 通过学习的方式来自动获取到每个特征通道的重要程度,根据重要程度在通道层面微调特征。
方法
上图就是本文的核心结构。左边的输入是 CNN 某一处的输出(比如 Inception 网络中整个 Inception 块的输出,或者 ResNet 中 Residual 块中非恒等部分的输出)。也就是说,本文的方法可以看作在常规 CNN 的卷积后额外增加 Squeeze 和 Excitation 两个操作。
- Squeeze
该步骤对应于图中上方分支的第一个计算操作。首先计算一个 Global Average Pooling,得到
Excitation
然后利用一个 bottleneck 的两层网络融合通道的计算值,得到通道「权重」:
其中
是 Relu 激活函数, 是 Sigmoid 激活函数,用来输出 范围的权重值。 得到权重后直接按权重逐层相乘就可以得到输出。
实验
图像分类在当时是拿到了冠军,结果就不贴了。
有一个有意思的实验,作者选了几个类的样本,分别观察了在不同的层中,模型都选择了哪些通道:
可以看出,在网络比较早的层,模型的通道选择方案对于不同的类别几乎完全一致。而对于比较靠后的层,不同类别的选择方案有了较大的差异。这验证了很多文章中提到的假说,CNN 会在比较早的层会学习一些比较通用的特征。而越靠近输出层,学到的特征就越是高级的和类别相关的。
- 本文标题:Daily Paper 06 - SENet
- 本文作者:Tilden Ji
- 创建时间:2021-06-15 06:00:00
- 本文链接:https://itiandong.com/2021/daily-paper-06/
- 版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!
评论