1. 介绍

1.1 什么是半监督学习

所给的数据有的是有标签的，而有的是没有标签的。常见的两种半监督的学习方式是直推学习（Transductive learning）和归纳学习（Inductive learning）。
直推学习（Transductive learning）：没有标记的数据是测试数据，这个时候可以用test的数据进行训练。这里需要注意，这里只是用了test数据中的feature而没有用label，所以并不是一种欺骗的方法。
归纳学习（Inductive learning）：没有标签的数据不是测试集。
在实际中，是使用直推学习还是归纳学习主要取决于你在训练自己的模型时，你的测试数据是否已经给出了。如果已经给出了，那么是可以使用的。

1.2 为什么使用半监督学习

(1) 实际中缺乏的不是数据，而是带标签的数据。给收集的数据进行标记是昂贵的。
(2) 在我们的一生中都在进行半监督学习。

1.3 为半监督学习是有帮助的

虽然没有标签的数据并不会提供标签，但是它提供了关于数据分布的一种信息。即没有标签的数据的分布会给我们提供一些信息，但是所给出的信息通常实在一些假定的条件下实现的。也就是说假设决定了半监督学习是否可以使用！

1.4 本文的主要内容

本文的主要内容是四个部分：生成模型中的半监督学习、低密度分离假设、平滑性假设、更好的表示。本文将介绍前三节内容，最后一部分内容将在之后的博客中介绍。

2. 生成模型中的半监督学习（Semi-supervised Learning for Generative Model）

在监督学习中，生成模型的数据有 $C_1$ 和 $C2$ 两类数据组成，我们统计数据的先验概率 $P(C_1)$ 和 $P(x|C_1)$ 。假设每一类的数据都是服从高斯分布的话，我们可以通过分布得到参数均值 $\mu_1,\mu_2$ 和方差 $\Sigma$ 。

利用得到参数可以知道 $P(C_1)，P(x|C_1)，\mu_1,\mu_2，\Sigma$ ，并利用这些参数计算某一个例子的类别

在非监督学习中，如下图所示，在已知类别的数据周围还有很多类别未知的数据，如图中绿色的数据。

这个时候如果仍在使用之前的数据分布明显是不合理的们需要重新估计数据分布的参数，这个时候可能分布式一个类似于圆形的形状。这里就需要用为标签数据来帮助估计新的” $P(C_1)，P(x|C_1)，\mu_1,\mu_2，\Sigma$ ”。具体可以采用如下的EM算法进行估计

首先对参数进行初始化，之后利用参数计算无标签数据的后验概率；然后利用得到的后验概率更新模型参数，再返回step1，循环执行直至模型收敛。这个算法最终会达到收敛，但是初始化对于结果的影响也很大。

3. 低密度分离（Low-density Separation）

低密度分离假设就是假设数据非黑即白，在两个类别的数据之间存在着较为明显的鸿沟，即在两个类别之间的边界处数据的密度很低（即数据量很好）。

3.1 自训练（Self-training）

自训练的方法十分直觉，它首先根据有标签的数据训练出一个模型，将没有标签的数据作为测试数据输进去，得到没有标签的数据的一个为标签，之后将一部分的带有伪标签的数据转移到有标签的数据中，在进行训练，循环往复。其中选取哪一部分的伪标签数据转移至有标签数据需要自己定义，甚至可以自己提供一个权重。具体的过程如下图所示

在这里还有两个问题需要注意，首先自训练的方法是否可以用到回归问题中？答案是否定的。因为即使加入新的数据对于模型也没有什么改进。

之前讲的生成模型与后来讲的自训练模型之间是很相似的，区别在于生成模型采用的是软标签，而自训练采用的是硬标签，那么问题来了，自训练模型是都可以使用软标签呢？答案是否定的，如下图所示

因为不对标签进行改变的话，将这些放入带标签的数据中对于数据的输出一点改进都没有，输出的还是原来的数据。

3.2 基于熵的正则化

这种方法是自训练的进阶版，因为之前如果直接根据用有标签数据训练出来的模型直接对无标签数据进行分类会有一些武断，这里采用一种更严密的方法。

因为在低密度假设中认为这个世界是非黑即白的，所以无标签数据的概率分布应该是区别度很大的，这里使用熵来表示。将其加入损失函数中个可以看到，这个实际上可以认为是一项正则化项，所以也叫基于熵的正则化。训练的话，因为两个部分都是可微分的，所以直接使用梯度下降就可以进行训练。

4. 平滑性假设

白话性假设：如果输入 $x$ 是相似的，那么它们的标签值 $\hat y$ 同样应该是相似的。但是这样的假设不够精确，所以有下面的严格的假设：
(1) $x$ 的分布是不均匀的，在有的地方是稀疏的，在有的地方是密集的
(2) 如果在高密度区域比较相近，那么这两个数据具有相同的标签。
可以如下图进行进一步解释