3.1 机器学习模型

李沐

B站：https://space.bilibili.com/1567748478/channel/collectiondetail?sid=28144
课程主页：https://c.d2l.ai/stanford-cs329p/

1. 机器学习算法类型：

• 监督学习：顾名思义就是监督着模型去学习，怎么监督呢，就是数据集中有正确的标注（标签），如果模型对这个样本预测错了，那么正确的标注会“告诉”模型，然后模型之后会修正。监督学习的目的就是让模型学着从带有正确标注的数据集中找出规律，当遇到一个没有标号的样本时，也能正确预测出来结果。比如：猫狗的分类等任务就是监督学习。

• 自监督学习：标签从数据里生成出来。比如：word2vec,BERT

• 半监督学习：数据集中由两部分组成，一部分是有标注的数据，另一部分还没有标注的数据。一般有两个任务：1、和监督学习一样，用来预测标号，但是进可能的使用没有标注的数据。2、把没有标号的数据把标号预测出来，在做数据标注时可以用到，比如自训练算法。

• 无监督学习：数据集中没有标号，该类算法一般不用于预测标号的任务中。比如：聚类算法，根据数据的相似性把数据分成不同的类。或者是把数据的分布估计出来，比如：GAN。

• 强化学习：一个智能体和环境进行交互，根据对环境的观察，做出动作，同时得到一个反馈奖励，环境发生变化转移到另一个状态。不断进行交互，修正，目的就是最大化累积的奖励。

2. 监督学习组成

• 模型 Model

模型的作用就是根据输入，输出标号，也就是对这个数据做出预测。比如：在预测房价的任务中，模型就是根据房子的一些信息，预测出房子将要出售的价格。

• 损失函数 Loss

作用就是量化样本的预测值与样本的真是值（标注值）之间的差距，以此来指导模型减小两者直接的误差，更好的预测样本。
$$(predictprice-saleprice{)}^2$$

• 优化目标

即在模型训练过程中要优化一个目标，解决我们设立的问题。一般是，优化目标就是在训练集上所有的预测损失和最小。

• 优化

实际上就是一个过程，就是说模型中所有的可以学习的超参数，在这个过程中不断地更新，最终可以实现优化目标，就是使误差最小

3. 监督学习模型

• 决策树
• 线性模型
• 核方法
• 神经网络