Daily Paper 06 - SENet
Tilden Ji 菜鸟Lv3

今天这篇是我的一门研究生英语课将要小组汇报的论文。早有耳闻的通道注意力经典论文,借此机会拜读一下好了~

昨天拖延症犯了就没咋看,今天随便整理下算了…

「」

简单来说,本文就是 通过学习的方式来自动获取到每个特征通道的重要程度,根据重要程度在通道层面微调特征。

方法

上图就是本文的核心结构。左边的输入是 CNN 某一处的输出(比如 Inception 网络中整个 Inception 块的输出,或者 ResNet 中 Residual 块中非恒等部分的输出)。也就是说,本文的方法可以看作在常规 CNN 的卷积后额外增加 SqueezeExcitation 两个操作。

  1. Squeeze

该步骤对应于图中上方分支的第一个计算操作。首先计算一个 Global Average Pooling,得到 的张量 ,可以看作给每个通道的激活独立的计算了一个平均特征。

  1. Excitation

    然后利用一个 bottleneck 的两层网络融合通道的计算值,得到通道「权重」:

    其中 是 Relu 激活函数, 是 Sigmoid 激活函数,用来输出 范围的权重值。

    得到权重后直接按权重逐层相乘就可以得到输出。

    实验

    图像分类在当时是拿到了冠军,结果就不贴了。

    有一个有意思的实验,作者选了几个类的样本,分别观察了在不同的层中,模型都选择了哪些通道:

    可以看出,在网络比较早的层,模型的通道选择方案对于不同的类别几乎完全一致。而对于比较靠后的层,不同类别的选择方案有了较大的差异。这验证了很多文章中提到的假说,CNN 会在比较早的层会学习一些比较通用的特征。而越靠近输出层,学到的特征就越是高级的和类别相关的。


Reference

[1]J. Hu, L. Shen, S. Albanie, G. Sun, and E. Wu, “Squeeze-and-Excitation Networks,” arXiv:1709.01507 [cs], May 2019, Accessed: Jun. 14, 2021. [Online]. Available
  • 本文标题:Daily Paper 06 - SENet
  • 本文作者:Tilden Ji
  • 创建时间:2021-06-15 06:00:00
  • 本文链接:https://itiandong.com/2021/daily-paper-06/
  • 版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!
 评论