机器学习总结(三)：矩估计

article/2025/9/22 3:08:36

鉴于后续机器学习课程中多次提到参数估计的概念，为了避免囫囵吞枣的理解某些知识点，决定对概率统计的这部分知识点进行简要总结，这篇博客主要涉及的是点估计中的矩估计知识点，后续的博客将总结点估计中其他两个比较常见的方式，极大似然估计以及最小二乘法。

基础概念

为什么要出现估计呢？

因为在统计学中，所要观测的数据量往往都比较大，我们不可能将所有数据全部都进行统计，一种可行的方式就是从这些数据量中抽取一部分数据，这时候便用到了估计的知识，用抽取出来的样本的情况来估计总体的情况。

参数估计的概念

参数估计指的是根据从总体中抽取出来的样本来估计总体分布中包含的未知参数的方法，分为点估计和区间估计两种。

点估计的概念

依据从总体中抽取出来的样本来估计总体分布中的未知参数，点估计具体分为：矩估计、极大似然估计(MLE)以及最小二乘法。

区间估计的概念

依据抽取出来的样本，根据一定的准确度和精确度要求，构造适当的区间作为对总体分布中的未知参数的真值所在范围的估计，比如人们常说的百分之多少把某个数据控制在某个范围内就是区间估计最通俗的表述。

大数定律

矩估计的理论依据就是基于大数定律的，大数定律语言化的表述为：当总体的k阶矩存在时，样本的k阶矩依概率收敛于总体的k阶矩，即当抽取的样本数量n充分大的时候，样本矩将约等于总体矩。

矩估计

矩的概念

详情见附加笔记第(1)点

样本矩、样本均值、样本方差的概念

详情见附加笔记第(2)点

矩估计实现原理

矩估计的原理总结来讲为：令总体矩的k阶矩分别等于样本的k阶矩即可，至于到底会涉及到k是多大就要看你要估计的总体中包含几个未知参数了，包含几个k就应该是几。

通俗的讲，为什么k阶样本矩分别等于k阶总体矩就能算出总体的参数，原因在于，样本中的期望和方差是我们可以直观计算出来的常数，而总体的期望和方差是带有未知参数的，两者分别相等能够联立出等式计算出未知参数。