论文笔记:Orthogonal Projection Loss
Tilden Ji 菜鸟Lv3

Warning: 经过实验验证,本文的方法没啥作用,初步判断对于卷积神经网络提升不大。

本文提出了一个简单的损失函数 OPL, Orthogonal Projection Loss,以保持 特征空间 上的正交性。OPL 交叉熵损失 组合使用,且没有额外的学习参数,因而可以植入现有的任何包含 交叉熵损失 的深度神经网络模型中。

基本信息

  • 论文标题:Orthogonal Projection Loss.
  • 作者:Kanchana Ranasinghe, Muzammal Naseer, Munawar Hayat, Salman Khan, Fahad Shahbaz Khan
  • PDF:arxiv
  • 代码:Github

介绍

背景

本文对 Softmax 交叉熵损失 开刀,可以看作给交叉熵损失加了个 Buff。作者观察到:交叉熵损失虽然鼓励了某个样本在正类向量(通常是 one-hot 形式)上的投影比负类向量高,但是没有 显式 的让不同类别的样本足够分开。基于此,作者开发了一个新的损失函数 正交投影损失, OPL,通过在 mini-batch 上的特征空间里显式地进行类内内聚和类间分离,弥补了交叉熵损失的不足。

竞品分析

以下内容均来源于本文 的自卖自夸,没来得及确认,不代表个人观点(逃

损失函数们:

  1. ContrastiveTriplet 损失:严重依赖于负样本(评:其实现在有压根不需要负样本的对比学习方法。如:BYOL)。而 OPT 直接在 mini-batch 上操作,不依赖负样本;
  2. 基于 Center Loss 的方法们,引入了额外的学习参数。而 OPT 没有额外参数;
  3. 强行加一个 margin ,比如加一个固定的欧式的 margin 的方法们。这些方法的缺点是:1. 与交叉熵结合的不自然,而且可能会学到负相关性,也就是说本来两个类别已经隔的很远了,你却还要关注他们,让它们再远一点。而后面可以看到,OPT 就“自然”多了,它强化的是 CE 本身就有的属性(正交性);
  4. 基于 Angular Margin 的方法们, 在人脸识别上效果优异,其内在的假设对于其他计算机视觉任务可能不具有一般性。而 OPT 可以植入任何 DNN 中;
  5. 其他依赖具体网络结构的方法,如这篇论文。而 OPT 不依赖具体模型结构;
  6. 其他基于特征空间正交性的方法们依赖于 SVD ,数值不稳定。

本文贡献

  1. 提出了一个新的损失函数 OPT
  2. OPT 算法可以很好的向量化加速;
  3. 在多个任务验证了 OPT 的有效性,包括:各种图像分类任务、小样本任务、域自适应任务。并且具有很好的鲁棒性,如应对 对抗攻击 噪音标签 上。

具体方法

SCE Loss 的分析

Sofmax 交叉熵 损失的公式如下:

有一些方法改进 CE 来扩大决策边界

详见,这些方法的缺点是梯度不好算以及 cos 函数不单调什么的,所以现有方法都用了数学近似。

OP Loss 形式

OP Loss 的定义如下,也就是让 趋近于 1, 趋近于 0:

表示一个 `mini-batch`。

Pytorch 代码如下,可以看到,OPL 算法很好的向量化加速:

另外,没有权重的 OPL 损失可以写作如下形式:

OP Loss 分析

正交性分析

作者做了正交性的可视化如下图,颜色代表某两个类之间的夹角余弦值,具体分析详见原文

常量分析

下图分别是特征正交性、同类相似性和不同类相似性随训练的变化:

实验

这里罗列一些实验结果,更多结果见原文

图像分类

CIFAR-100 和 ImageNet

预测质量分析

小样本学习

消融实验

总结

  1. 本文提供了一个简单和有效的损失,可以用在各种模型上;
  2. 可以探讨该方法在无监督学习中的效果。

Reference

[1]Ranasinghe, K., Naseer, M., Hayat, M., Khan, S. & Khan, F. S. Orthogonal Projection Loss. (2021). arxiv
[4][ECCV 2016] A Discriminative Feature Learning Approach for Deep Face Recognition
[5]类中心 c 是一个参数
[6]Liu W, Wen Y, Yu Z, et al. SphereFace: Deep Hypersphere Embedding for Face Recognition[J]. arXiv preprint arXiv:1704.08063, 2017.
[7]Guolei Sun, Salman Khan, Wen Li, Hisham Cholakkal, Fahad Khan, and Luc Van Gool. Fixing localization errors to improve image classification. ECCV, 2020
[8]Deng, J., Guo, J., Xue, N. & Zafeiriou, S. ArcFace: Additive Angular Margin Loss for Deep Face Recognition. arXiv:1801.07698 [cs] 2019
  • 本文标题:论文笔记:Orthogonal Projection Loss
  • 本文作者:Tilden Ji
  • 创建时间:2021-04-28 18:25:00
  • 本文链接:https://itiandong.com/2021/paper-OPL/
  • 版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!
 评论