活体检测——SSDG

article/2025/9/13 1:37:29

论文：《Single-Side Domain Generalization for Face Anti-Spoofing》

中国科学院计算技术研究所视觉信息处理与学习研究组（VIPL实验室）发布的单边域适应框架SSDG，其论文被CVPR2020 接收。
Github链接：https://github.com/taylover-pei/SSDG-CVPR2020
论文下载：https://arxiv.org/pdf/2004.14043.pdf

动机：

目前已有的方法能在某个数据域取得很好的测试结果，但是拿到不同数据域上测试效果非常差，模型泛化能力低。分析原因：该方法并没有考虑不同域的内在分布关系，因此学到的区别特征存在偏差。
实际情景中很难收集大量的目标域数据，甚至目标域的数据信息是不可知的。
传统的域泛化（domain generalization,DG）设法利用多个已知的源域数据训练模型，而不需要目标域数据。通过对齐不同域的数据分布，学习一个具有泛化性的特征空间。这种做法是基于一种假设——未知的人脸将会映射到共享特征空间附近，因此模型可以很好的泛化到新的数据域。由于源域和目标域的真脸都是真实的人脸图像，分布差异小，因此容易学到一个紧密的特征空间；相反，假脸的攻击方法和收集方式不同，把不同域的假脸聚集在一起相对困难。因此，为假脸寻找可泛化的特征空间很难优化，而且可能会影响分类准确度。因此，尽管在源域数据集上已经学到了紧密的特征空间，但对于新的数据集仍然是无效的。

本文的主要贡献：

1）基于以上分析，假脸间的区别比真脸间的大，打算拉近所有域的真脸，同时使不同域的假脸分散。提出了单边域泛化框架（single-side domain generalization framework,SSDG）
2）设计了单边对抗学习和非对称的triplet loss来实现不同的优化目标，并且对特征和权重进行归一化，提高模型的泛化性。
3）进行了综合对比，并且在四个公开数据集上的表现取得了SOTA的结果。

单边域泛化框架（single-side domain generalization framework,SSDG），如下图所示：

在这里插入图片描述
具体来说： 训练一个特征生成器与域判别器，让不同域的真脸的特征不可分，形成单边对抗学习。由于不同域的假脸的差异更大，于是把不同域的假脸看作不同的类别，把所有域的真脸看作另一个类别，以此进行非对称的triplet mining，从而保证三个特性：1）不同域的假脸分散；2）所有域的真脸聚集；3）真脸和假脸之间可区分。此外，加入了特征和权重归一化，进一步提高了模型的泛化能力。

实验:

数据集有4个：OULU- NPU (O), CASIA-FASD©, Idiap Replay-Attack(I), and MSU-MFSD(M)。分别以其中一个为测试集，其余三个为训练集进行实验。
在这里插入图片描述
上表中的SSDG-M、SSDG-R分别代表MADDG网络和ResNet-18网络，其中ResNet-18采用全局池化层(GAP)替换了最后的平均池化层(AP)；表1.实验去掉模型中不同结构之后的影响，实验结果验证了SSDG的各个结构都是对模型的最终表现都有正向作用。

在这里插入图片描述
表2.比较了SSDG和其它想要为真假脸找到可泛化的特征空间的baseline，实验结果证明了为假脸找一个可泛化的特征空间是次优解，因此，为真假脸应用非对称优化目标更合理，更有助于可以泛化到未知域。

可视化：

采用Grad-CAM进行可视化。结果显示，SSDG关注的是脸的内部区域，进而寻找可区分的特征，而不是关注不同域会有差异的背景、光照等因素，从而更可能泛化到未知域。此外还发现，对于不同的攻击方式，关注的区域会有所不同，如下图：
在这里插入图片描述

总结：

SSDG学到了可泛化的特征空间，不同域的真脸分布是紧凑的，不同域的假脸分布是分散的。这种方法与当前同等的对待真假脸的方法有很大的不同。为了实现“单边”的目的，运用了单边对抗学习和非对称triplet loss来聚合真脸和分散假脸。论文的工作证明了真脸和假脸的分布情况是不同的，因此建议非对称的对待它们，有助于提高对未知域的泛化能力。

摘录： https://zhuanlan.zhihu.com/p/349298234