最小二乘法：使离差平方和  （i=1~n）  ∑（yi-yi'）  最小的方法

结论：设回归方程为y'=bx+a;解得

回归直线方程：在一组具有相关关系的变量与数据的（x，y）间，最能体现x,y关系的直线（一条尽可能接近所有数据点的直线）

设回归方程为y'=bx+a;

要使直线最拟合，则使（i=1~n）  ∑（yi-yi'） 最小，但yi-yi'可能为负，无法正确反映整体数据的切合程度，所以用平方，使得∑（yi-yi'）^2最小,由n组xi,yi,最终解得

线性回归中的最小二乘法

线性回归模型

用最小二乘法最小化残差得损失函数为

最小化误差：

分别对W,b求偏导得：

对于比较简单的函数，我们令偏导=0就可求出最优值W与b:

其中

但对于像下图这样有多个最优解的情况，我们用梯度下降法一步步找最优值，避免陷入局部最优解的情况，且计算量小很多。

---

 

多元线性回归

最终求得：

推导过程

 

 

---

推导过程可见：https://blog.csdn.net/marsjohn/article/details/54911788