这是我根据北京邮电大学一位博士的讲解视频所归纳的笔记

视频地址：https://www.bilibili.com/video/BV1ct41167kV?spm_id_from=333.337.search-card.all.click

正文

我们为什么需要迁移学习？

 众所周知，AlphaGo是通过强化学习去训练，适合下围棋，围棋比赛的棋盘是19*19，那如果让它在5*5的棋盘上下棋，甚至让它下象棋，它还会表现的很好吗？

 而人类与生俱来就有举一反三的能力，比如你会骑自行车后就会骑电动车，会羽毛球就很快学会网球等等。人可以很好的把自己学到的知识迁移到相关的领域，这就是迁移学习。

现如今，深度学习都是通过大量有标签的数据进行训练，如果我们能把训练结果用在其他相关领域上，是不是就可以很好的解决数据少甚至没有数据时的问题。

 在普通的深度学习中，我们用数据通过不同的损失函数对它进行训练，拿到一部分测试样本再过一遍这个网络就能很好的预测出来。

 在迁移学习中有两个域，一个是源域对应训练样本，一个是目标域对应测试样本。源域和目标域的数据和任务可能都不一样，就比如源域是美颜照片，而目标域是素颜照片，源域的任务是分类，而目标域的任务是回归。在这种场景下传统的深度学习就不够用了，这时候就需要迁移学习。

域适应

源域有大量有标记的样本，但目标域只有少量有标记的样本或者无标记的样本，在任务相同但数据不同的场景下，如何迁移能使得目标域也能有很好的性能呢?

首先看一下什么叫不同的数据分布

 比如第一排在不同场景下的自行车和电脑，人可以很好的识别，但计算机不一定可以做到。

第二排的数字一个是手写数字一个是门牌号

第三排人脸有成年人有婴儿还有素描

 举个例子，假如我们要从门牌号迁移到手写数字集上，我们在门牌号这个源域上训练模型，提取特征用到目标域手写数字集上，图中，蓝色的点是源域，红色的点是目标域，左图源域和目标域的分类边界不好区分，说明源域训练的样本不能在目标域上取得很好的性能，迁移学习想达到右图的效果，源域和目标域都对齐了，这样源域的分类器也能很好的在目标域上使用。

特征适应

 把源域和目标域提取到共同的空间里，在这个空间里，源域和目标域足够的近，足够对齐，这样目标域的性能就会提升。

实例适应

源域总有样本和目标域相似，把这些样本拿出来，越像的给它的权重w就越大，这样训练模型就会在目标域上有很好的效果

模型适应

通过参数的迁移使得效果提升

在深度学习下大部分迁移学习都是特征适应

 在深度学习下一般分为三个方法：差异，对抗，重构

 这是一个微调的实验，实验表明，在浅层提取的特征一般是通用的，而在深层的特征比较特殊一般更偏向于源域。

 无监督下的域自适应

用数学公式找到衡量源域和目标域之间的度量，找到度量后把度量数字化，把数字作为一个loss，然后让深度网络优化这个loss，让这个距离逐渐变小，然后得到的特征就是源域和目标域足够的近，源域训练出来的模型在目标域上有很好的效果。

 此方法的解析见以下论文：DANN：Unsupervised Domain Adaptation by Backpropagation_gdtop818的博客-CSDN博客