线性拟合的斜率和截距的不确定性

  利用熟悉的Excel绘图功能，可以根据距离-高程散点数据拟合线性趋势线，如图1显示（河流阶地地形数据）。趋势线按如下方式插入：右击图表上的数据，添加趋势线，在图表上显示方程和$R^2$值。然而，趋势线函数并没有给出与线性拟合的斜率和截距相关的方差值。获得斜率和截距选定的置信区间（例如95%置信区间）对于精确测量断层变形量与滑动速率十分重要。因此，我们需要计算斜率与截距的方差值。Excel的LINESET函数提供这种统计测量。下文介绍了使用LINEST的基本步骤与原理（Morrison, 2014）。

图1. 拔河高度随距离的函数。利用Excel的趋势线特性对数据进行拟合；直线方程和拟合系数R2值如图所示。

Excel数组函数LINEST

  使用MS Excel的 LINEST函数 进行最小二乘计算。对于图1所示数据，应用LINEST步骤如下：

1. 选择一个5行2列的空白范围（总共10个单元格）来存放函数的输出值；我们选择B1:C5，如图2所示。
2. 点击公式，然后 “插入函数”。
3. 在 “插入函数” 窗口中，类别选择 “Statistical”，选择函数 “LINEST”，然后单击确定。
4. 选择y和x数据范围；对于Const，输入TRUE（TRUE=计算非0截距）；对于Stats，也选择TRUE （TRUE=返回误差统计值）；单击OK。
5. 通过选择输入字段中的公式并按键盘 CTRL-SHIFT-ENTER，指定LINEST是一个数组函数。选定的10个输出单元格将填充与图2和图3中标记的匹配相关的统计信息，下文进行讨论。
   
   图2. 按照文本中的说明，填充LINEST的函数参数，如图所示。点击OK之后，还有最后一个重要的步骤：突出显示函数调用=LINEST(B9:B1493, A9:A1493, true, true)并同时按CTRL-SHIFT-ENTER。
   
   
   
   图3. 在指定LINEST是一个数组函数之后，10个单元格B1:C5显示误差统计信息。这些统计值的含义见文本。

LINEST结果的含义

  LINEST执行最小二乘运算求解最佳拟合直线的斜率和截距（图4，Wikipedia, 2014b）。最佳线性拟合对应拟合直线和数据之间的平方和误差值最小。通常，最小二乘计算中，假设x值没有误差（图4），详细推导见文献（Montgomery and Runger, 2011; McCuen, 1985），本文仅作简短讨论。

图4. 因变量y的平均值是参数（斜率和截距）和变量x的线性组合。通常最小二乘算法假设数据的x值不存在误差，响应变量y的残差计算为$y_i-{\hat{y}}_i$，即点与直线之间的垂直距离(左图)。若x中的误差也存在，点和直线之间的最短距离是垂直距离，如右图所示。各因变量$y_i$的误差是互不相关的，即每个$y_i$之间不存在协方差。

  值（xi, yi）是n个数据对的集合，我们希望拟合一条线；$\bar{y}\equiv ({\sum }_{i=1}^n{y}_i)/n$是yi的均值，并且线性拟合是$\hat{y}(x)=\hat{m}x+\hat{b}$，为了解释Excel返回的误差统计值，首先定义三个平方和： $S{S}_{yy}$, $S{S}_E$, 和$S{S}_R$

总平方和  $S{S}_T$=$S{S}_{yy}$=$\sum _{i=1}^n(y_i-\bar{y}{)}^2$    (1)
误差平方和  $S{S}_E$≡$\sum _{i=1}^n(y_i-\hat{y}{)}^2$    (2)
回归平方和  $S{S}_R$≡$S{S}_T-S{S}_E$    (3)

  $S{S}_{yy}$是数据$y_i$与均值$\hat{y}$之间误差平方和；$S{S}_E$是数据$y_i$和拟合值$\hat{y}(x)$=$\hat{m}x+\hat{b}$之间的误差平方和；$S{S}_R$是二者之差，代表总平方和中可以用线性模型值解释的部分。在最小二乘计算中，目标是找到最小化的$S{S}_E$，计算过程还涉及到两个平方和公式：
$S{S}_{xx}$≡$\sum _{i=1}^n(x_i-\bar{x}{)}^2$   (4)
$S{S}_{xy}$≡$\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})$   (5)
其中$\bar{x}$≡$({\sum }_{i=1}^n{x}_i)/n$是$x_i$的平均值。

将n个数据点（$x_i$, $y_i$）拟合的线性模型：
$\hat{y}(x)=\hat{m}x+\hat{b}$   (6)

LINEST输出的10个统计参数含义如下：

1. m，斜率的最小二乘估计值——通常为最佳拟合直线的斜率。
   $\hat{m}$=$\frac{(n{\sum }_{i=1}^n{x}_i{y}_i-({\sum }_{i=1}^n{x}_i)({\sum }_{i=1}^n{y}_i)}{(n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2)}$=$\frac{{\sum }_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{{\sum }_{i=1}^n(x_i-\bar{y}{)}^2}$=$\frac{S{S}_{xy}}{S{S}_{xx}}$   (7)

2. b，截距的最小二乘估计值——通常为最佳拟合直线的截距。
   $\hat{b}$=$\frac{({\sum }_{i=1}^n{x}_i{)}^2({\sum }_{i=1}^n{y}_i)-({\sum }_{i=1}^n{x}_i{y}_i)({\sum }_{i=1}^n{x}_i)}{(n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2)}$=$\bar{y}-\hat{m}\bar{x}$   (8)

3. n-p, 最小二乘回归自由度。有n个数据点，p = 2个回归参数（m和b）。在进行最小二乘计算之前，有n个自由度，计算斜率和截距时使用了两个自由度，在以后的计算中留下n-2个自由度。

4. $S_{y,x}$，y(x)的标准偏差（y(x)方差$S_{y,x}^2$的平方根）：
   $S_{y,x}^2$=$(\frac{1}{n-2}){\sum }_{i=1}^n(y_i-\hat{y}{)}^2$=$\frac{S{S}_E}{n-2}$   (9)

5. $S_m$，坡度$\hat{m}$标准差（$S_m^2$的平方根，m ̂的方差）。
   $S_m^2$=$\frac{S_{(}y,x{)}^2}{S{S}_{xx}}$   (10)
   
   其中$S_{y,x}^2$是y(x)的方差（见方程9）。为了求得计算的\widehat{m}和\widehat{b}的置信区间，我们采用t分布和n-2自由度（Montgomery and Runger, 2011）。对于自由度大于或等于6，$t_{\alpha /2,n-2\ge 6}\approx 2$（α=0.05，误差为一个有效数字）。
   
   坡度95%置信区间（α=0.05）：$\hat{m}\pm t_{0.025,n-2}{S}_m$ (11)
             ≅$\hat{m}\pm 2S_m$, $(n-2)\ge 6$  (12)
   

6. $S_b$，截距b ̂的标准差（$S_b^2$的平方根，\widehat{b}的方差）。\widehat{b}的置信区间由$S_b$和具有n-2自由度的t分布获得。
   $S_b^2$=$\frac{S_{y,x}^2{\sum }_{i=1}^n{x}_i^2}{nS{S}_{xx}}$=$S_{y,x}^2(\frac{1}{n}+\frac{{\bar{x}}^2}{SS})$   (13)
   
   截距95%置信区间（α=0.05）：$\hat{b}\pm t_{0.025,n-2}{S}_b$ (14)
             ≅$\hat{m}\pm 2S_b$, $(n-2)\ge 6$  (15)
   

7. 误差的残差平方和$S{S}_E$——数据$y_i$和线性模拟值${\hat{y}}_i$之差的平方和；一种线性模型y数据的误差度量。当$S{S}_E$→0时，所有的总误差$S{S}_T$都可以用线性模型来解释，可以认为线性模型是一个很好的拟合（方程2）。
   $S{S}_E$≡$\sum _{i=1}^n(y_i-\hat{y}{)}^2$    (2)

8. 回归平方和$S{S}_R$——总平方和中可以用线性模型值解释的部分（方程3）：
   $S{S}_R$≡$S{S}_T-S{S}_E$    (3)

9. $R^2$决定系数——线性模型解释的$y_i$变量分数：
   $R^2$=$\frac{explainederror}{totalerror}$=$\frac{S{S}_R}{S{S}_T}$=$\frac{S{S}_T-S{S}_E}{S{S}_T}$
   
   当线性模型拟合很好时，数据$y_i$与模型之间的偏差很小，$S{S}_E$→0，$R^2$=1。因此，决定系数是一种拟合优度的度量，该值越接近1，表明拟合的越好。但是，当拟合模型是一条水平线时，即$\hat{y}$=$\hat{y}$，则$S{S}_T$=$S{S}_E$，此时$R^2$为0。

10. Fisher F 统计——用于回归测试，以查看使用两个参数（斜率和截距）是否优于使用一个参数（$\hat{y}$=$\hat{y}$；即坡度m为0，y=截距b）。回归统计F计算为两个量的比率，即模型能够解释的方差与模型不能解释的方差的比率：
    F=$(\frac{{}^{\prime }lackoffi{t}^{\prime }sumofsquares/v_1)}{{}^{\prime }pureerro{r}^{\prime }sumofsquares)/v_2}$=$\frac{S{S}_R/v_1}{S{S}_T/v_2}$=$\frac{S{S}_T-S{S}_E}{S_{y,x}^2}$
    
    其中$v_1$=1和$v_1$=n-2是每个变量的自由度。这个比率是一个具有F($v_1$,$v_2$)分布且自由度为$v_1$=1和$v_1$=n-2的随机变量的计算值。如果F>$F_{c}rit$，使用线性模型$\hat{y}=\hat{m}x+\hat{b}$比使用模型$\hat{y}$=$\bar{y}$合理（在(1-α)%置信区间）。$F_{c}rit$对应于具有期望的α置信水平的F($v_1$,$v_2$)分布的累积分布函数，自由度为$v_1$和$v_2$。

模型预测$\hat{y}$$=mx+b$

  在方程12和15中，我们给出了两个模型参数$\hat{m}$和$\hat{b}$的95%置信区间。当模型参数$\hat{m}$和$\hat{b}$直接用于后续的计算时，这些置信区间适用于误差传播计算。
  当模型方程用于在选定的x值处估计y值时，具有不同的误差范围。这里讨论最常见的情况。
  用选定的x值估计最佳y值。任意点上y的最佳值是该点上y所有可能观测值的均值。设x的取值为$x_p$, x在该点的最佳估计值为$y_p$，由下式给出：
$y_p=\hat{m}{x}_p+\hat{b}$   (18)
$y_p$的方差由方程18和误差传播计算而来，斜率和截距不是独立的变量增加了其复杂性，因此$\hat{m}$和$\hat{b}$之间的协方差非零。y在$x_p$处的均值方差为：
  y在$x_p$的均值方差:$S_{y,x}^2(\frac{1}{n}+\frac{(x_p-\bar{x}{)}^2}{S{S}_{xx}})$  (19)
y在y_p处的均值置信区间根据符合t分布且自由度为(n-2)的标准差得到（Montgomery and Runger, 2011）：
y在$x_p$的均值置信区间：
$(\hat{m}{x}_p+\hat{b})\pm t_{(\alpha /2,n-2\ge 6)}{s}_{y,x}\sqrt{\frac{1}{n}+\frac{(x_p-\bar{x}{)}^2}{S{S}_{xx}}}$  (20)

方程20是基于最小二乘法最佳拟合得到的y值误差的合理区间（图5）。由此可知。误差条在回归($\bar{x}$,$\bar{y}$)的中心点附近最窄，并向两端呈扇形展开。这反映了这样一个事实，即斜率的不确定性使得x范围两端的值不如中心附近的点确定。


图5. 图1中数据的拟合线（红色）与95%置信区间。外层的一对线(绿色和紫色)反映了在每个x值处y新值的95%预测区间。

References

[1]: D. C. Montgomery and G. C. Runger., 2011. Applied Statistics and Probability for Engineers, 5th edition (Wiley, New York).
[2]: Morrison, F. A., 2014. Obtaining uncertainty measures on slope and intercept of a least squares fit with Excel’s LINEST. Houghton, MI: Department of Chemical Engineering, Michigan Technological University. Retrieved August, 2014, 6: 2015.
[3]: R. H. McCuen., 1985. Statistical Methods for Engineers (Prentice Hall, Englewood Cliffs, NJ).
[4]: Wikipedia., 2014. “Ordinary Least Squares,” Wikipedia, the Free Encyclopedia, en.wikipedia.org/wiki/Ordinary_least_squares, accessed 14 July 2014.