【论文推荐】了解《对抗学习》必看的6篇论文（附打包下载地址）

article/2025/8/14 9:25:24

论文推荐

“SFFAI139期来自美国莱斯大学的傅泳淦推荐的文章主要关注于基础研究的对抗学习领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”

关注文章公众号

回复"SFFAI139"获取本主题精选论文

The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks [Jonathan Frankle, et al.]

推荐理由：这篇论文是ICLR 2019的最佳论文，发现了神经网络存在彩票现象，即一个过参数化的神经网络中存在子网络可以被单独训练而达到和原网络一致的准确率。

What's Hidden in a Randomly Weighted Neural Network? [Vivek Ramanujan, et al.]

推荐理由：这篇伦文发现了随机初始化网络中的强彩票现象，即随机初始化网络中存在子网络可以不用被训练，而天生具有一定的准确率。

Explaining and Harnessing Adversarial Examples [Ian J. Goodfellow, et al.]

推荐理由：这篇论文是对抗性样本的开山之作，分析了对抗性样本的存在性并给出了生成对抗性样本的方法。

Towards Deep Learning Models Resistant to Adversarial Attacks [Aleksander Madry, et al.]

推荐理由：这篇论文提出了目前最常用的对抗性样本生成方法之一，以及SOTA对抗性学习方法，即在训练过程中即时生成对抗性样本来做数据增强。

Adversarial Robustness vs. Model Compression, or Both? [Shaokai Ye, et al.]

推荐理由：这篇论文分析了神经网络剪枝和鲁棒性之间的关系，发现简单地结合模型剪枝和对抗性训练会让鲁棒性下降。

Double-Win Quant: Aggressively Winning Robustness of Quantized Deep Neural Networks via Random Precision Training and Inference [Yonggan Fu, et al.]

推荐理由：这篇论文发现了同一神经网络在不同量化精度下具有较差的对抗性样本迁移性，并由此提出了一种随机精度推理方法来同时保证高效性和鲁棒性。

分享内容

分享简介

深度神经网络已被发现容易受到对抗性样本的影响，即一个人眼不可见的扰动会让神经网络做出错误的预测，对抗训练也因此被提出，通过在原始训练图片中混入即时生成的对抗性样本来提升模型的鲁棒性。本期讲者傅泳淦同学的工作首次发现了一个有趣的现象：在随机初始化的神经网络中，隐藏着据有天生鲁棒性和准确率的子网络，即使没有经历过对抗训练，它们也能够和类似参数量且对抗训练后的模型达到一致的鲁棒性。

讲者介绍

傅泳淦，美国莱斯大学博士生，本科毕业于中国科学技术大学少年班学院，现导师为Yingyan Lin教授,主要研究方向是通过协同设计AI算法(剪枝，量化，神经网络搜索，对抗训练)和加速器架构，提升AI应用(分类，超分辨，语音识别)的高效性和鲁棒性，目前已在NeurIPS, ICML, ICLR, ICCV, MICRO等AI算法和架构会议中发表过10+篇一作论文。

分享题目

鲁棒彩票现象：藏在随机初始化神经网络中的鲁棒子网络

分享摘要

在随机初始化的神经网络中，隐藏着据有天生鲁棒性和准确率的子网络，即使没有经历过对抗训练，它们也能够和类似参数量且对抗训练后的模型达到一致的鲁棒性。这个现象反映出对抗训练对于提升模型的鲁棒性并不是不可或缺的，我们把这种子网络叫做鲁棒彩票(Robust Scratch Ticket)。为了更好的研究和应用鲁棒彩票现象，我们做了大量的实验去研究鲁棒彩票的存在性和性质，来理解神经网络鲁棒性和初始化和过参数化的关系。我们进一步发现了不同鲁棒彩票之间较差的对抗样本迁移性，并利用鲁棒彩票构造了一个简单有效的防御手段。我们的工作为研究神经网络彩票现象和鲁棒性的关系提供了一个新的角度。

题目：Drawing Robust Scratch Tickets: Subnetworks with Inborn Robustness Are Found within Randomly Initialized Networks

论文下载：关注本公众号，对话框回复“SFFAI139”，获取下载

分享亮点

1. 我们首次发现了鲁棒彩票的存在性，即在随机初始化的神经网络中，隐藏着据有天生鲁棒性和准确率的子网络；

2. 我们提出了一种通用方法来从随机初始化网络中搜索鲁棒彩票，并针对鲁棒彩票的存在性和其他性质做了详细的实验，来为神经网络的鲁棒性和初始化、过参数化的关系提供启发；

3. 我们发现了不同鲁棒彩票之间较差的对抗样本迁移性，并利用鲁棒彩票构造了一个简单有效的防御手段，来大幅增加给定神经网络的鲁棒性。

直播时间

2022年3月6日（周日）20:00—21:00 线上直播

关注本公众号，对话框回复“SFFAI139”，获取入群二维码

注：直播地址会分享在交流群内

SFFAI招募！

现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。

SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展，将对线下讨论的内容进行线上传播，使后来者少踩坑，也为讲者塑造个人影响力。SFFAI还在构建人工智能领域的知识森林—AI Knowledge Forest，通过汇总各位参与者贡献的领域知识，沉淀线下分享的前沿精华，使AI Knowledge Tree枝繁叶茂，为人工智能社区做出贡献，欢迎大家关注SFFAI论坛：https://bbs.sffai.com。