
这篇论文是一篇发表于 CVPR 2021 的小样本图像分类的论文,作者在投稿前标题是细腻度小样本分类,不过后来又去掉了标题中的细腻度。根据结果来看,对于通用小样本学习数据集,本文的方法确实也有不错的表现。
这篇论文是上个月看的,效果非常不错,实验也做得很丰富,决定重读整理一下。先仅依照论文理解,之后读过代码后再补充一些细节。
「」
编写记录
- 2021 年 6 月 14 日 完成初版
基本思想
本文的想法非常简单。作者通过分析认为,以 ResNet12 为例,在常规小样本学习中,图像经过 CNN 后,倒数第二层输出的
方法
去掉 Average Pooling 后,对于一张输入图像,CNN 会输出特征图
- 单张查询样本:
- 支持集:
- 优化变量:
- 优化目标:
也就是说,我们需要找一个
其中
幸运的是,对于岭回归,我们不需要迭代求解,因为岭回归有解析解(Closed-form expression)。
具体的,对上式求导,可以直接解出
其中,
为了使训练稳定,作者引入 3 个可学习参数,
令:
其中,
仔细分析上面的公式,可以发现其复杂性来源于构造一个
这时,求解复杂性就变为构造一个
亿点点实现细节
等看完代码再回来补充
预训练 + 微调
预训练 + 微调 是在小样本学习中目前表现最好的架构,本文采用了这种架构。由于不是根据标签学习的,因此在预训练阶段,针对每一类别,引入一个可学习的特征图
完成预训练后丢掉类别特征图,将其参数直接导入完整模型进行微调。
实验
这里只贴出两个通用数据集上的结果,在 Inductive 设置下应该是 SOTA 级别的。
总结
优点:
- 效果好;
- 有很多思路可以借鉴学习。
缺点:
- 计算量大;
- 计算不稳定,具体表现在解析解中有矩阵求逆,矩阵求逆在实际计算中会存在数值不稳定的问题;
- 没有独热标签那种强监督信号,似乎挺难训练的。
其他:
似乎没有用到 onehot 标签??
既然没有(显式)用到标签,可以说这是对比学习的吧…?
值得注意的相关工作:
Meta-learning with differentiable closed-form solvers(ICLR 2019,,Pytorch 上古代码 0.3)
CrossTransformers: spatially-aware few-shot transfer(NeurlIPS 2020,Tensorflow 代码)
Adaptive Subspaces for Few-Shot Learning(CVPR 2020,Pytorch 代码)
Meta-Learning with Differentiable Convex Optimization(CVPR 2019,Pytorch 上古代码 0.4)
Reference
- 本文标题:Daily Paper 05 - Few-Shot Classification with Feature Map Reconstruction Networks
- 本文作者:Tilden Ji
- 创建时间:2021-06-14 12:52:10
- 本文链接:https://itiandong.com/2021/daily-paper-05/
- 版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!