无偏估计的由来

放在开头，笔者是民科，不太了解概率学相关哦，所以有错请指正/ll

物理实验课绪论讲了些统计学相关内容，听课时被无偏估计震慑到了（ ？），第一次知道这东西是 。刚刚室友提起这东西，稍微去研究了一下证明。

首先，为什么会出现这样的偏差呢？主要原因是当我们做实验时，我们不可能是做无限组实验得到无限组数据然后来描绘概率密度函数，也即我们本身是无法确定概率密度函数的，只能根据实验数据的分布来大致描绘概率密度函数，这就导致偏差的出现。我们的方差定义是用的期望定义的，而我们做实验是不知道真实的期望大小，于是冒然用平均值去估计期望无疑会导致方差出现一定的偏差，而通过数学推导后，可以证明 才是合理的。

数学推导如下：

$$\begin{align*} &\frac{1}{n}\sum_{i=1}^n (X_i-\overline{X})^2\\ &=\frac{1}{n}\sum_{i=1}^n (X_i-\mu+\mu-\overline{X})^2\\ &=\frac{1}{n}\sum_{i=1}^n (X_i-\mu)^2-2(X_i-\mu)(\overline{X}-\mu)+(\overline{X}-\mu)^2\\ &=\frac{1}{n}\sum_{i=1}^n (X_i-\mu)^2-\frac{2}{n}(\overline{X}-\mu)(n\overline{X}-n\mu)+(\overline{X}-\mu)^2\\ &=\frac{1}{n}\sum_{i=1}^n (X_i-\mu)^2-(\overline{X}-\mu)^2 &\end{align*}$$

两边同时套上期望，即

$$E(\frac{1}{n}\sum_{i=1}^n (X_i-\overline{X})^2)=\sigma^2-E((\overline{X}-\mu)^2)$$

而最后的等于

$$\begin{align*} &E((\overline{X}-\mu)^2)\\ &=E((\overline{X}-\frac{1}{n}\sum_{i=1}^n E(X_i))^2)\\ &=E((\overline{X}-E(\overline{X}))^2)\\ &=D(\overline{X})\\ &=D(\frac{1}{n}\sum_{i=1}^n X_i)\\ &=\frac{1}{n^2}\sum_{i=1}^n D(X_i)\\ &=\frac{1}{n}\sigma^2 &\end{align*}$$

于是就有

$$\begin{align*} &E(\frac{1}{n}\sum_{i=1}^n (X_i-\overline{X})^2)=\frac{n-1}{n}\sigma^2\\ &\implies E(\frac{1}{n-1}\sum_{i=1}^n (X_i-\overline{X})^2)=\sigma^2 &\end{align*}$$

这就证完啦！

参考资料：

​ 1. 为什么样本方差（sample variance）的分母是 n-1？