岭回归模型|机器学习|回归算法

article/2025/9/13 0:35:17

1.岭回归模型

1.1背景

对于回归问题来说，它们的基本内容基本上都是相同的，所以岭回归模型与线性回归模型类似：
${\color{Violet}y = θ_{0}x_{0}+θ_{1}x_{1}+θ_{2}x_{2}+...θ_{n}x_{n}}$ 它们的差别主要体现在损失函数的构造上。

对于有些矩阵，矩阵中某个元素的一个很小的变动，会引起最后计算结果误差很大，这种矩阵称为“病态矩阵”。有些时候不正确的计算方法也会使一个正常的矩阵在运算中表现出病态。对于高斯消去法来说，如果主元（即对角线上的元素）上的元素很小，在计算时就会表现出病态的特征。

而岭回归模型使用改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。

1.2损失函数

岭回归模型的损失函数构造如下：
${\color{Violet}J(\theta) = \frac{1}{2m}\sum_{i=1}^{m}(y_{i}-wx_{i})^{2}+\frac{\lambda}{2}\sum_{j=1}^{n}\theta_{j}^{2}}$

且：
${\color{Violet}\sum_{j=1}^{n}\theta _{j}^{2} ≤ \lambda}$

上式中的 ${\color{Red}𝑤}$ 是长度为 ${\color{Red}𝑛}$ 的向量，不包括截距项的系数 ${\color{Red}θ_{0}}$ 。 ${\color{Red}m}$ 为样本数； ${\color{Red}𝑛}$ 为特征数。同样可以使用矩阵进行简化表达式，结果如下：
${\color{Violet}J(\theta)=\frac{1}{2}(Y-\hat Y)^{2}+\frac{\lambda}{2}\theta ^{2}}$

我们对上式 ${\color{Red}\theta}$ 进行求得，令求导后的式子等于0，可以求得最优解，转换后可以得到 ${\color{Red}\theta}$ 的表达式为：
${\color{Violet}\theta = (X^{T}X+\lambda I)^{-1}(X^{T}Y)}$

其中 ${\color{Red}\lambda}$ 做为传入的参数我们需要设置它的值，而 ${\color{Red}I}$ 为单位矩阵，相对于线性回归模型来说此模型添加了 ${\color{Red}\lambda I}$ 这一项，此举可以保证 ${\color{Red}X^{T}X}$ 可逆，所以总得来说可以解决病态矩阵的问题。

2.相关代码

2.1RidgeRegression类

import numpy as np
#定义RidgeRegression
class RidgeRegression :def __init__(self):'''初始化线性回归模型，最终要求得theta'''self.theta = None# 通过代码实现θ的求解，输入X和y的值，可以指定λ的大小，默认为0.2    def fit(self,xMat,yMat,lam=0.2):xMat=np.mat(xMat)#将数据转化为矩阵yMat=np.mat(yMat).T#将数据转化为矩阵，并进行转置xTx = xMat.T*xMat#矩阵xMat转置后相乘denom = xTx + np.eye(np.shape(xMat)[1])*lam#公式XTX+λI的表示代码# 判断denom是否是奇异的if np.linalg.det(denom) == 0.0:print("这个矩阵是奇异的，不可求逆")returnself.theta = denom.I * (xMat.T*yMat)#根据最优解求解公式求θ值# 对测试数据进行预测，输入的test_data是原本的X，我们要使用theta求得对应的预测值def predict(self,test_data):test_data=np.mat(test_data)#将数据转化为矩阵y_predict=test_data*self.theta#通过得到的θ值，对数据进行预测return y_predict

2.2求解代码

import pandas as pd
import numpy as np
#读取数据
data = pd.read_csv('/data/shixunfiles/11996b194a005626887e927dd336f390_1577324743961.csv')#提取特征值和真实值
X = data.iloc[:,:-1].values
y = data.iloc[:,-1].values#对特征值加一列x0，x0的所有值为1
X = np.hstack((np.ones((X.shape[0],1)),X))#建立模型，并训练模型
rr = RidgeRegression()
rr.fit(X,y)#对数据进行预测，为了求拟合曲线，因此使用原始数据进行预测
ypredict = rr.predict(X)

这里展示了csv中一些数据，下标从0-6的列表示的是每个特征点的特征值，下标为7的列表示每个特征点对应的标签。注意此时我们需要添加一列x₀，值都为1。
在这里插入图片描述

2.3绘图代码

import matplotlib.pyplot as plt
import seaborn as sns;
sns.set()
#选择200条数据进行查看
plt.scatter(range(200),y[:200],s=20)
plt.plot(range(200),ypredict[:200],color='black')