1.说明

1. 该学习笔记仅供个人学习使用，不代表任何官方指导或意见。
2. 该学习笔记为个人原创，转载请征得博主同意，或声明原文链接。
3. 继我上一次写的学习笔记数据探索、数据清洗学习笔记与用matlab代码进行数据探索、数据清洗学习笔记，回归的部分
4. 有需要其他资料或有其他问题可私信或者加qq2356081476，这不是我的义务但也欢迎各位朋友与我讨论相关问题，共同进步。
5. 错字，语法，排版等问题请见谅。
6. 版权问题我不太懂，有侵权等问题请联系我。
7. 好多不懂的代码一定要自己跟着试，看着资料一步一步试。我在学习的时候也是很多不懂的，拿着matlab r2018b一起试着会了的。

2.回归的介绍

对小白说，根据点（数据）的趋势，用线表示出来这个趋势。
专业点说，数据拟合。

这条线是什么样子的，直线的？曲线的？

• 直线的我们叫线性回归。
• 曲线的我们叫非线性回归，或者一个更通俗的名字曲线回归。

还有其他的没有说明，这篇先会介绍这两个并介绍matlab的代码。

2-1.前面两篇所发现的一些问题

2-1-1.回归和拟合是什么关系？

就我所查，拟合包括回归，插值，逼近。后两个不介绍了，关系就是拟合有多种方法，其中包括回归。所以有老板叫你做数据拟合去的时候，你要知道，就是要你去回归，要你去求出数据的趋势。

2-1-2.回归到底是做预测还是用来去脏数据？

没查到资料详细介绍这个问题
与一些其他资料所冲突的是我个人意见，不能预测，只能用来去脏数据。他们说可以预测，我说不能，为什么？最后所求得的线拟合数据拟合得很好，但不是数据的那一段线可能会有很严重的偏差。看一个图。
这个是我用一元十次多项式拟合数据（蓝色的是数据点），在没有数据点的两边极速上升，非常不符合数据缓慢上升的趋势。

3.三个函数的核心：最小二乘法

3-1.介绍

先把公式写出来再说怎么来的：
$$D=\sum _{i=1}^n{d}_i^2=\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$
其中
$y_i$是数据点的y值（在横坐标$x_i$处的纵坐标值）
${\hat{y}}_i$是我们拟合的线在横坐标$x_i$处的纵坐标值。
当D最小时，求得的 ${\hat{y}}_i$就是我们要的。

怎么求：
并且因为有平方，所以有最小值。在数学上求导为零的地方在实际意义上是那个最小值点，所以求导，解出来。

通俗理解还可以参考下面两篇个人觉得很好的文章：
https://blog.csdn.net/ReCclay/article/details/82914109
https://blog.csdn.net/alw_123/article/details/82193535

3-2.matlab代码

代码中会用到正规方程解，及：