线性回归正则化regularized linear regression
在前几篇博客中介绍了一元线性回归http://blog.csdn.net/u012328159/article/details/50994095和多元线性回归http://blog.csdn.net/u012328159/article/details/51029695等线性回归的知识，具体请参见本人其他博客。但是线性回归存在一个很重要的问题就是过拟合(overfitting)问题，所谓过拟合简单直白的说就是模型的训练误差极小，而检验误差很大。一个好的学习器不仅能够很好的拟合训练数据，而且能够对未知样本有很强的泛化能力，即低泛化误差。先来看看线性回归中的过拟合现象（自己不想画图了，直接盗用Andrew Ng大神的图吧）：
图中左边的图表示的线性回归模型存在欠拟合现象(underfitting)，欠拟合顾名思义就是对训练数据的拟合程度不够好，训练误差大。中间的线性回归模型是个拟合程度很好的模型。右边图表示的就是过拟合现象，能够看出它对训练数据拟合的非常好，但是预测能力很差，泛化能力很差。
因此，处理过拟合问题常用的方法有：
- 减少特征数量 主要方法有：人工的挑选重要的特征，去除不重要的特征。采用特征选择算法（在后面的博客中会介绍，在这不细说了） 但是这个方法在去除特征的同时，也去除了这部分特征所提供的信息。
- 正则化（regularization） 保留所有特征，但是减少参数
的值。
线性回归正则化通过缩小参数的值，可以使多项式模型更加简单，直接举个例子吧（图片来源：ng machine learning课）
上图左边的二次曲线是我们希望的，右边的更高次的线性回归模型显然是过拟合的，但是如果在它的代价函数后面添加两项
和
，如果想让
最小，那么
和
的值几乎要接近0，因此，右边的多项式几乎等价于左边的，又能够得到一个正确的线性回归模型。
和 ，如果想让最小，那么和的值几乎要接近0，因此，右边的多项式几乎等价于左边的，又能够得到一个正确的线性回归模型。
先来说说为什么增加正则项就能够有效避免过拟合（或者说是引入正则项的动机）： 假如对于一个多项式函数,
我们来看看随着多项式阶数的增加系数M是如何剧增的，见下表（来自PRML）：
看完这个表应该一目了然，正则项为什么能够惩罚系数了。
因此，正则化线性回归(regularized linear regression)的代价函数（cost function）为：
其中
为正则项，
为正则系数。如果设置的非常大，会使
，将会产生欠拟合问题。因此应该选择合适的正则系数。
为正则项，为正则系数。如果设置的非常大，会使 ，将会产生欠拟合问题。因此应该选择合适的正则系数。
我们的目标是
即求得使
最小的参数。因此对正则化线性回归使用梯度下降(gradient descent)，为：
即求得使最小的参数。因此对正则化线性回归使用梯度下降(gradient descent)，为：
之所以把
单独写出来，是因为我们正则化的时候，不对 进行惩罚。如果上面的
的公式中的同类项合并下，则为：
单独写出来，是因为我们正则化的时候，不对 进行惩罚。如果上面的的公式中的同类项合并下，则为：
因为
始终为正，因此 
一般来说其值比1小一点点，因此
相当于把缩小了一点点。
始终为正，因此 一般来说其值比1小一点点，因此相当于把缩小了一点点。
对于线性回归来说，除了通过梯度下降来求解参数，还可以通过正规方程（normal equation）用矩阵运算来直接求解参数。对于样本X和label Y而言，可以如下表达：
，还可以通过正规方程（normal equation）用矩阵运算来直接求解参数。对于样本X和label Y而言，可以如下表达：
那么正则化线性回归的正规方程为：
其中，上式中的对角矩阵维度是(n+1)*(n+1)。在以前的博客讲正规方程的时候讲过当
时，
不存在，幸运的是正规化帮助我们解决了这个问题，即在正则化线性回归中，如果
,则
时， 不存在，幸运的是正规化帮助我们解决了这个问题，即在正则化线性回归中，如果 ,则
是存在的，也即里面的矩阵是可逆的。
![[JAVA实现]微信公众号网页授权登录，java开发面试笔试题](https://images.cnblogs.com/OutliningIndicators/ExpandedBlockStart.gif)
