关注公众号，发现CV技术之美
最近一段时间，以扩散模型为代表的生成模型越来越能逼真地生成图像和视频，一方面是一群人的狂欢，这是AI的进步，另一方面却是另一群人的担忧，这是AI的危险。
AI技术可以造福人类，当然也可以用来作恶。
社交媒体上的视频造假已经让大家不再坚信“眼见为实”，而金融领域的人脸伪造则成为必须面对的系统性威胁。
▲篡改与人脸伪造图像示例
可以看到，经过编辑后的图像整体表现还算比较自然，但仔细放大，还是有一些不和谐的痕迹。
所以面向多媒体数据的篡改（Tampering ，偏向于多媒体内容的编辑修改）和人脸伪造（Deepfake ，偏向于对多媒体数据中人脸部分的编辑修改）检测技术越来越重要了，成为研究社区不得不讨论的话题。
那么，AI可以打败AI吗？
今天向大家推荐一篇新出的论文『Fighting Malicious Media Data: A Survey on Tampering Detection and Deepfake Detection』，作者参考了377篇文献，系统性综述了篡改与人脸伪造检测领域的相关概念、数据集、技术分类与未来趋势。
论文地址：https://arxiv.org/abs/2212.05667
作者来自复旦大学与马里兰大学。
▲篡改检测与人脸伪造检测技术示意图
可见，篡改检测（Tampering Detection）要对“整幅图片”进行判断是否经过篡改，如果有的话，以Mask的形式将篡改部分标识出来。
而人脸伪造检测（Deepfake Detection）是对“人脸区域”进行分类，给出是否是经过人为编辑伪造的。
▲论文总结的相关技术纵览
其中 Genetation（生成） 指篡改与伪造技术，Detection（检测）是指相关检测技术。First/Second/Third Gen指第一代、第二代、第三代数据集。
▲图像篡改的三种模式
作者列出了篡改检测相关数据集：
从统计数据看，年份越近的数据集，数量越大，人工编辑的模式越多。
▲相关数据集展示
作者列出的四种常见的人脸伪造方式：
▲四种常见的人脸伪造方式
图中（a）为整张脸合成，（b）按特定输入对人脸进行编辑，（c）则为换脸，（d）有参考对象的人脸编辑。
在人脸伪造上，技术越走越远，越来越高清逼真，如下图：
第三代数据集不仅数量大（数量级的提升），而且方法多样。
这是不是也说明造假的人也越来越多，越来越努力了啊？。。。
当然，人脸伪造检测技术也在不断发展，下图为检测的可视化结果：
在视频领域时空一致也能帮我们判断一部分伪造：
图中，眼睛一直闭着呢，嘴巴却不停张合。
最后作者也提到了这一领域面临的挑战与方向：
泛化性挑战，作假技术迭代进步很快，一个模型要对没见过的作假方法有效才行。
鲁棒性挑战，互联网上的图像视频往往要面对压缩、传输等降质问题，检测模型药足够鲁棒检测出来。
归属方法不够丰富，不只是真假，类似于是否侵犯知识产权的标签也非常有意义。
利用多模态信息，RGB信息中可能不太好分辨的造假，在频域可能就比较明显。可解释性。在一些需要进入司法阶段的应用场景，可解释性就非常重要了。
END
欢迎加入「人脸」交流群👇备注：face
