2021.09.21

主要参考小崔老师：https://www.bilibili.com/video/BV1Hb4y1m7rE

视频地址：https://www.bilibili.com/video/BV1KL4y187jV/

1. 最大似然估计思路

从样本情况推测自然界概率模型，到底自然界真实情况是不是这样？不好说，不一定。

2. 方法

• 第一步：自然界模型中，我们假设，抽中1的概率$\theta$,抽2的概率$(1-\theta )$,但$\theta$到底多少不知道。
• 第二步：那么我从大数据中抽了五个球，因为数据样本非常大，所以不考虑排列，如图①①②①②概率是 $L(\theta )={\theta }^3(1-\theta {)}^2$

【杨哥讲解】

其实自然界 到底什么样的$\theta$都是有可能的，$\theta =0.1$，有可能抽出这样的样本；$\theta =0.5$也能抽出这样的样本，无非抽出的概率不同。

最大似然估计法，就是认为，我们抽出来这样的样本，那么我就认为这种情况是最经常发生的。也就是让$L(\theta )={\theta }^3(1-\theta {)}^2$取最大，我们认为这时候的$\theta$就是自然界的$\theta$。

• 第三步：求 $L(\theta )$最大值，一般转换成求 -ln$L(\theta )$最小值

【杨哥讲解】

• 取对数不改变函数单调性，又能很好地换减运算：① 将指数换成系数；②将联乘变成了连加

这里我认为讲的有点小问题，要加负号最小，所以一阶导=0，虽然不影响结果，但这样逻辑上才合适

• 第四步：我们认为的大数据最终概率分布是这样的

但，大数据里真的是这样么？

3.思考

我们用李宏毅《机器学习》里面的一个例子，来看一个有趣的现象。

我们真实情况下有1类一个，2,3,4类 各4个，现在通过这种抽样的思路来对测试数据进行分类（c1是class 1,C2 不是class2），看看它在属于1类的的概率。

计算的情况是 训练数据 是C1类的概率<0.5

但人眼一眼就看出，它就是Class1

所以最大似然估计，是通过 统计学来假设样本存在概率的 ，和真实情况有可能非常接近，有可能有一定差距。换句话说就是 ，此算法有时候具有优势，有时候并不特别准确。