论文笔记：Orthogonal Projection Loss

Warning: 经过实验验证，本文的方法没啥作用，初步判断对于卷积神经网络提升不大。

本文提出了一个简单的损失函数 OPL, Orthogonal Projection Loss，以保持 特征空间 上的正交性。OPL 和 交叉熵损失 组合使用，且没有额外的学习参数，因而可以植入现有的任何包含 交叉熵损失 的深度神经网络模型中。

基本信息

• 论文标题：Orthogonal Projection Loss.^[1]
• 作者：Kanchana Ranasinghe, Muzammal Naseer, Munawar Hayat, Salman Khan, Fahad Shahbaz Khan
• PDF：arxiv^[2]
• 代码：Github^[3]

介绍

背景

本文对 Softmax 交叉熵损失 开刀，可以看作给交叉熵损失加了个 Buff。作者观察到：交叉熵损失虽然鼓励了某个样本在正类向量（通常是 one-hot 形式）上的投影比负类向量高，但是没有 显式 的让不同类别的样本足够分开。基于此，作者开发了一个新的损失函数 正交投影损失, OPL，通过在 mini-batch 上的特征空间里显式地进行类内内聚和类间分离，弥补了交叉熵损失的不足。

竞品分析

以下内容均来源于本文 ^[1] 的自卖自夸，没来得及确认，不代表个人观点（逃

损失函数们：

1. Contrastive 和 Triplet 损失：严重依赖于负样本（评：其实现在有压根不需要负样本的对比学习方法。如：BYOL）。而 OPT 直接在 mini-batch 上操作，不依赖负样本；
2. 基于 Center Loss ^[4]的方法们，引入了额外的学习参数^[5]。而 OPT 没有额外参数；
3. 强行加一个 margin ，比如加一个固定的欧式的 margin 的方法们。这些方法的缺点是：1. 与交叉熵结合的不自然，而且可能会学到负相关性，也就是说本来两个类别已经隔的很远了，你却还要关注他们，让它们再远一点。而后面可以看到，OPT 就“自然”多了，它强化的是 CE 本身就有的属性（正交性）；
4. 基于 Angular Margin^[6] 的方法们， 在人脸识别上效果优异，其内在的假设对于其他计算机视觉任务可能不具有一般性。而 OPT 可以植入任何 DNN 中；
5. 其他依赖具体网络结构的方法，如这篇论文^[7]。而 OPT 不依赖具体模型结构；
6. 其他基于特征空间正交性的方法们依赖于 SVD ，数值不稳定。

本文贡献

1. 提出了一个新的损失函数 OPT；
2. OPT 算法可以很好的向量化加速；
3. 在多个任务验证了 OPT 的有效性，包括：各种图像分类任务、小样本任务、域自适应任务。并且具有很好的鲁棒性，如应对 对抗攻击 和 噪音标签 上。

具体方法

SCE Loss 的分析

Sofmax 交叉熵 损失的公式如下：

有一些方法改进 CE 来扩大决策边界^[8]：

详见^[8]，这些方法的缺点是梯度不好算以及 cos 函数不单调什么的，所以现有方法都用了数学近似。

OP Loss 形式

OP Loss 的定义如下，也就是让 趋近于 1， 趋近于 0：

表示一个 `mini-batch`。

Pytorch 代码如下，可以看到，OPL 算法很好的向量化加速：

另外，没有权重的 OPL 损失可以写作如下形式：

OP Loss 分析

正交性分析

作者做了正交性的可视化如下图，颜色代表某两个类之间的夹角余弦值，具体分析详见原文^[1]：

常量分析

下图分别是特征正交性、同类相似性和不同类相似性随训练的变化：

实验

这里罗列一些实验结果，更多结果见原文^[1]。

图像分类

CIFAR-100 和 ImageNet

预测质量分析

小样本学习

消融实验

总结

1. 本文提供了一个简单和有效的损失，可以用在各种模型上；
2. 可以探讨该方法在无监督学习中的效果。

---

Reference

[1]Ranasinghe, K., Naseer, M., Hayat, M., Khan, S. & Khan, F. S. Orthogonal Projection Loss. (2021). arxiv↩↩↩↩

[2]arxiv↩

[3]Github | Pytorch↩

[4][ECCV 2016] A Discriminative Feature Learning Approach for Deep Face Recognition↩

[5]类中心 c 是一个参数↩

[6]Liu W, Wen Y, Yu Z, et al. SphereFace: Deep Hypersphere Embedding for Face Recognition[J]. arXiv preprint arXiv:1704.08063, 2017.↩

[7]Guolei Sun, Salman Khan, Wen Li, Hisham Cholakkal, Fahad Khan, and Luc Van Gool. Fixing localization errors to improve image classification. ECCV, 2020↩

[8]Deng, J., Guo, J., Xue, N. & Zafeiriou, S. ArcFace: Additive Angular Margin Loss for Deep Face Recognition. arXiv:1801.07698 [cs] 2019↩↩