Lasso回归

岭回归无法剔除变量，而Lasso（Least Absolute Shrinkage and Selection Operator）回归模型，将惩罚项由L2范数变为L1范数，可以将一些不重要的回归系数缩减为0，达到剔除变量的目的

逐步回归

在处理多个自变量时，需要使用逐步回归（Stepwise Regression）。逐步回归中，自变量的选择是在一个自动的过程中完成的，其中包括非人为操作

逐步回归是通过观察统计的值，如R-square，t-stats和AIC指标，来识别重要的变量并通过同时添加/删除基于指定标准的协变量来拟合模型

常用的逐步回归方法有

标准逐步回归法做两件事情。即增加和删除每个步骤所需的预测

向前选择法从模型中最显著的预测开始，然后为每一步添加变量

向后剔除法与模型的所有预测同时开始，然后在每一步消除最小显著性的变量

逐步回归的目的是使用最少的预测变量数来最大化预测能力，是处理高维数据集的方法之一

如何正确选择回归模型

在多类回归模型中，基于自变量和因变量的类型，数据的维数以及数据的其它基本特征的情况下，选择最合适的技术非常重要。以下是你要选择正确的回归模型的关键因素

1.数据探索是构建预测模型的必然组成部分。在选择合适的模型时，比如识别变量的关系和影响时，它应该首选的一步

2. 比较适合于不同模型的优点，我们可以分析不同的指标参数，如统计意义的参数，R-square，Adjusted R-square，AIC，BIC以及误差项，另一个是Mallows’ Cp准则。这个主要是通过将模型与所有可能的子模型进行对比（或谨慎选择他们），检查在你的模型中可能出现的偏差

3.交叉验证是评估预测模型最好的方法。在这里，将你的数据集分成两份（一份做训练和一份做验证）。使用观测值和预测值之间的一个简单均方差来衡量你的预测精度

4.如果你的数据集是多个混合变量，那么你就不应该选择自动模型选择方法，因为你应该不想在同一时间把所有变量放在同一个模型中

5.它也将取决于你的目的。可能会出现这样的情况，一个不太强大的模型与具有高度统计学意义的模型相比，更易于实现

6.回归正则化方法（Lasso，Ridge和ElasticNet）在高维和数据集变量之间多重共线性情况下运行良好

Lasso回归实战

模型回归效果如下

部分代码如下

import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import r2_score
#def main():
# 产生一些稀疏数据
np.random.seed(42)
n_samples, n_features = 50, 100
X = np.random.randn(n_samples, n_features) 
# randn(...)产生的是正态分布的数据
coef = 3 * np.random.randn(n_features)
# 每个特征对应一个系数
inds = np.arange(n_features)
np.rinds[10:]] = 0 
# 稀疏化系数--随机地把系数向量1x200的其中10个值变为0
y = np.dot(X, coef) 
# 添加噪声：零均值，标准差为 0.01 的高斯噪声
y += 0so 模型
from sklearn.linear_model import Lasso
alpha = 0.1
lasso = Lasso(alpha=alpha)
y_pred_lasso = lasso.fit(X_train, y_train).predict(X_test)
r2_score_lasso = r2_score(y_test, y_pred_lasso)
print("r^2 on test data : %f" % r2_score_lasso)
plt.plot(lasso.coef_, color='gold', linewidth=2,label='Lasso coefficients')
plt.title("Lasso R^2: %f" % r2_score_lasso)
plt.show()

创作不易觉得有帮助请点赞关注收藏~~~