论文笔记:Orthogonal Projection Loss

Warning: 经过实验验证,本文的方法没啥作用,初步判断对于卷积神经网络提升不大。
本文提出了一个简单的损失函数 OPL, Orthogonal Projection Loss
,以保持 特征空间
上的正交性。OPL
和 交叉熵损失
组合使用,且没有额外的学习参数,因而可以植入现有的任何包含 交叉熵损失
的深度神经网络模型中。
基本信息
- 论文标题:Orthogonal Projection Loss.
- 作者:Kanchana Ranasinghe, Muzammal Naseer, Munawar Hayat, Salman Khan, Fahad Shahbaz Khan
- PDF:arxiv
- 代码:Github
介绍
背景
本文对 Softmax 交叉熵损失
开刀,可以看作给交叉熵损失加了个 Buff
。作者观察到:交叉熵损失虽然鼓励了某个样本在正类向量(通常是 one-hot
形式)上的投影比负类向量高,但是没有 显式 的让不同类别的样本足够分开。基于此,作者开发了一个新的损失函数 正交投影损失, OPL
,通过在 mini-batch
上的特征空间里显式地进行类内内聚和类间分离,弥补了交叉熵损失的不足。
竞品分析
以下内容均来源于本文 的自卖自夸,没来得及确认,不代表个人观点(逃
损失函数们:
Contrastive
和Triplet
损失:严重依赖于负样本(评:其实现在有压根不需要负样本的对比学习方法。如:BYOL
)。而OPT
直接在 mini-batch
上操作,不依赖负样本;- 基于
Center Loss
的方法们,引入了额外的学习参数。而OPT
没有额外参数; - 强行加一个
margin
,比如加一个固定的欧式的margin
的方法们。这些方法的缺点是:1. 与交叉熵结合的不自然,而且可能会学到负相关性,也就是说本来两个类别已经隔的很远了,你却还要关注他们,让它们再远一点。而后面可以看到,OPT
就“自然”多了,它强化的是CE
本身就有的属性(正交性); - 基于
Angular Margin
的方法们, 在人脸识别上效果优异,其内在的假设对于其他计算机视觉任务可能不具有一般性。而OPT
可以植入任何DNN
中; - 其他依赖具体网络结构的方法,如这篇论文。而
OPT
不依赖具体模型结构; - 其他基于特征空间正交性的方法们依赖于
SVD
,数值不稳定。
本文贡献
- 提出了一个新的损失函数
OPT
; OPT
算法可以很好的向量化加速;- 在多个任务验证了
OPT
的有效性,包括:各种图像分类任务、小样本任务、域自适应任务。并且具有很好的鲁棒性,如应对对抗攻击
和噪音标签
上。
具体方法
SCE Loss 的分析
Sofmax 交叉熵
损失的公式如下:
有一些方法改进 CE
来扩大决策边界:
详见,这些方法的缺点是梯度不好算以及 cos 函数不单调什么的,所以现有方法都用了数学近似。
OP Loss 形式
OP Loss 的定义如下,也就是让
Pytorch 代码如下,可以看到,OPL
算法很好的向量化加速:

另外,没有权重的 OPL
损失可以写作如下形式:
OP Loss 分析
正交性分析
作者做了正交性的可视化如下图,颜色代表某两个类之间的夹角余弦值,具体分析详见原文:

常量分析
下图分别是特征正交性、同类相似性和不同类相似性随训练的变化:

实验
这里罗列一些实验结果,更多结果见原文。
图像分类
CIFAR-100 和 ImageNet

预测质量分析

小样本学习

消融实验

总结
- 本文提供了一个简单和有效的损失,可以用在各种模型上;
- 可以探讨该方法在无监督学习中的效果。
Reference
[1]Ranasinghe, K., Naseer, M., Hayat, M., Khan, S. & Khan, F. S. Orthogonal Projection Loss. (2021). arxiv↩↩↩↩
[4][ECCV 2016] A Discriminative Feature Learning Approach for Deep Face Recognition↩
[5]类中心 c 是一个参数↩
[6]Liu W, Wen Y, Yu Z, et al. SphereFace: Deep Hypersphere Embedding for Face Recognition[J]. arXiv preprint arXiv:1704.08063, 2017.↩
[7]Guolei Sun, Salman Khan, Wen Li, Hisham Cholakkal, Fahad Khan, and Luc Van Gool. Fixing localization errors to improve image classification. ECCV, 2020↩
- 本文标题:论文笔记:Orthogonal Projection Loss
- 本文作者:Tilden Ji
- 创建时间:2021-04-28 18:25:00
- 本文链接:https://itiandong.com/2021/paper-OPL/
- 版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!
评论