Daily Paper 06 - SENet

今天这篇是我的一门研究生英语课将要小组汇报的论文。早有耳闻的通道注意力经典论文^[1]，借此机会拜读一下好了~

昨天拖延症犯了就没咋看，今天随便整理下算了…

「」

简单来说，本文就是 通过学习的方式来自动获取到每个特征通道的重要程度，根据重要程度在通道层面微调特征。

方法

上图就是本文的核心结构。左边的输入是 CNN 某一处的输出（比如 Inception 网络中整个 Inception 块的输出，或者 ResNet 中 Residual 块中非恒等部分的输出）。也就是说，本文的方法可以看作在常规 CNN 的卷积后额外增加 Squeeze 和 Excitation 两个操作。

1. Squeeze

该步骤对应于图中上方分支的第一个计算操作。首先计算一个 Global Average Pooling，得到 的张量 ，可以看作给每个通道的激活独立的计算了一个平均特征。

2. Excitation

   然后利用一个 bottleneck 的两层网络融合通道的计算值，得到通道「权重」：

   其中 是 Relu 激活函数， 是 Sigmoid 激活函数，用来输出 范围的权重值。

   得到权重后直接按权重逐层相乘就可以得到输出。

   实验

   图像分类在当时是拿到了冠军，结果就不贴了。

   有一个有意思的实验，作者选了几个类的样本，分别观察了在不同的层中，模型都选择了哪些通道：

   

   可以看出，在网络比较早的层，模型的通道选择方案对于不同的类别几乎完全一致。而对于比较靠后的层，不同类别的选择方案有了较大的差异。这验证了很多文章中提到的假说，CNN 会在比较早的层会学习一些比较通用的特征。而越靠近输出层，学到的特征就越是高级的和类别相关的。

---

Reference

[1]J. Hu, L. Shen, S. Albanie, G. Sun, and E. Wu, “Squeeze-and-Excitation Networks,” arXiv:1709.01507 [cs], May 2019, Accessed: Jun. 14, 2021. [Online]. Available↩