样本方差与总体方差

一、方差（variance)：衡量随机变量或一组数据时离散程度的度量。

概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。

统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。

概率论中的方差表示方法：

样本方差，无偏估计、无偏方差（unbiased variance）。对于一组随机变量，从中随机抽取N个样本，这组样本的方差就是Xi^2平方和除以N-1。

总体方差，也叫做有偏估计，其实就是我们从初高中就学到的那个标准定义的方差，除数是N。

统计中的方差表示方法：

二、为什么样本方差的分母是n-1？为什么它又叫做无偏估计？

简单的回答，是因为因为均值你已经用了n个数的平均来做估计在求方差时，只有(n-1)个数和均值信息是不相关的。

而你的第ｎ个数已经可以由前(n-1)个数和均值来唯一确定，实际上没有信息量。所以在计算方差时，只除以(n-1)。

那么更严格的证明呢？

样本方差计算公式里分母为n-1的目的是为了让方差的估计是无偏的。

无偏的估计(unbiased estimator)比有偏估计(biased estimator)更好是符合直觉的，尽管有的统计学家认为让mean square error即MSE最小才更有意义，这个问题我们不在这里探讨；

不符合直觉的是，为什么分母必须得是n-1而不是n才能使得该估计无偏。

首先，我们假定随机变量的数学期望是已知的，然而方差未知。在这个条件下，根据方差的定义我们有

$\mathbb{E}\Big[\big(X_i -\mu\big)^2 \Big]=\sigma^2, \quad\forall i=1,\ldots,n,$

由此可得

$\mathbb{E}\Big[\frac{1}{n} \sum_{i=1}^n\Big(X_i -\mu\Big)^2 \Big]=\sigma^2$

$\frac{1}{n} \sum_{i=1}^n\Big(X_i -\mu\Big)^2$ 是方差 $\sigma^2$ 的一个无偏估计，注意式中的分母不偏不倚正好是 $n$ ！

这个结果符合直觉，并且在数学上也是显而易见的。

现在，我们考虑随机变量 $X$ 的数学期望 $\mu$ 是未知的情形。这时，我们会倾向于无脑直接用样本均值 $\bar{X}$ 替换掉上面式子中的 $\mu$ 。这样做有什么后果呢？后果就是，

如果直接使用 $\frac{1}{n} \sum_{i=1}^n\Big(X_i -\bar{X}\Big)^2$ 作为估计，那么你会倾向于低估方差！

这是因为：
$\begin{eqnarray}\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2 &=&\frac{1}{n}\sum_{i=1}^n\Big[(X_i-\mu) + (\mu -\bar{X}) \Big]^2\\&=&\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2 +\frac{2}{n}\sum_{i=1}^n(X_i-\mu)(\mu -\bar{X})+\frac{1}{n}\sum_{i=1}^n(\mu -\bar{X})^2 \\&=&\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2 +2(\bar{X}-\mu)(\mu -\bar{X})+(\mu -\bar{X})^2 \\&=&\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2 -(\mu -\bar{X})^2 \end{eqnarray}$
换言之，除非正好 $\bar{X}=\mu$ ，否则我们一定有
$\frac{1}{n}\sum_{i=1}^n(X_i-\bar{X})^2 <\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2$ ,
而不等式右边的那位才是的对方差的“正确”估计！
这个不等式说明了，为什么直接使用 $\frac{1}{n} \sum_{i=1}^n\Big(X_i -\bar{X}\Big)^2$ 会导致对方差的低估。

那么，在不知道随机变量真实数学期望的前提下，如何“正确”的估计方差呢？答案是把上式中的分母 $n$ 换成 $n-1$ ，通过这种方法把原来的偏小的估计“放大”一点点，我们就能获得对方差的正确估计了：
$\mathbb{E}\Big[\frac{1}{n-1} \sum_{i=1}^n\Big(X_i -\bar{X}\Big)^2\Big]=\mathbb{E}\Big[\frac{1}{n} \sum_{i=1}^n\Big(X_i -\mu\Big)^2 \Big]=\sigma^2.$