文章目录
- 1.机器学习模型概述
- 1.1 模型与算法
- 1.2 机器学习中的三要素
- 1.3 机器学习模型
- 2.传统机器学习模型（单模型）
- 2.1 按任务类型划分
- 2.1.1 分类
- 2.1.2 回归
- 2.2 按性质划分
- 2.2.1 非概率模型（决策函数）
- 2.2.2 概率模型
- 2.3 按知识体系划分
- 2.3.1 线性模型
- 2.3.2 神经网络模型
- 2.3.3支持向量机模型
- 2.3.4贝叶斯模型
- 2.3.5树模型
- 3.集成与提升模型（boosting）
- 3.1 集成学习（ensemble learning）
- 3.2 boosting
- 3.3 bagging
- 4. sklearn
- 5.机器学习调参
- 5.1机器学习模型的参数有哪些？
- 5.1.1 模型训练参数：
- 5.1.2模型配置参数
- 5.2 机器学习模型参数调整方法
- 6. GBDT/XGBoost/lightGBM
1.机器学习模型概述
1.1 模型与算法
模型：一类问题的解题步骤，即一类问题的算法。
算法：能够解决特定问题的无歧义、机械、有效的运算流程和规则。
1.2 机器学习中的三要素
模型、策略与算法
模型：回归模型、分类模型
算法：有了模型和策略之后的优化算法：梯度下降法、牛顿法
1.3 机器学习模型
传统机器学习模型（单模型）
集成(ensemble)与提升（boosting）模型
神经网络与深度学习
2.传统机器学习模型（单模型）
2.1 按任务类型划分
2.1.1 分类
逻辑回归
决策树
朴素贝叶斯
knn
感知机与神经网络
支持向量机
…
2.1.2 回归
线性回归
lasso
ridge
…
机器学习中的五种回归模型及其优缺点:
线性回归（Linear Regression），多项式回归（Polynomial Regression）
高维度和多重共线性的情况的 Ridge回归、Lasso回归、ElasticNet回归
http://www.sohu.com/a/249214202_814235
2.2 按性质划分
2.2.1 非概率模型（决策函数）
回归模型
…
2.2.2 概率模型
决策树
朴素贝叶斯
…
2.3 按知识体系划分
2.3.1 线性模型
线性回归
逻辑回归
线性可分支持向量机
…
2.3.2 神经网络模型
逻辑回归
感知机
神经网络
深度学习
2.3.3支持向量机模型
感知机
svm
tsvm
…
2.3.4贝叶斯模型
朴素贝叶斯
贝叶斯网络
高斯过程
贝叶斯机器学习
…
2.3.5树模型
决策树
CART
Adaboost(集成模型)
GBDT(集成模型)
…
3.集成与提升模型（boosting）
3.1 集成学习（ensemble learning）
构建并结合多个学习器来完成学习任务。
集成学习的关键在于构建“好而不同”的基学习器。
3.2 boosting
boosting族算法：将一组弱学习器提升为强学习器的框架算法。
Adaboost
GBDT
XGBoost
lightGBM
…
3.3 bagging
随机森林
4. sklearn
官网文档：http://sklearn.apachecn.org/cn/0.19.0/
预处理
降维
分类
回归
聚类
模型评估与选择
…
5.机器学习调参
5.1机器学习模型的参数有哪些？
5.1.1 模型训练参数：
机器学习需要学习的东西，由训练得出，无需也无法调整
神经网络的权重与偏置
线性回归的变量系数
…
5.1.2模型配置参数
优化算法的学习率
训练轮数
树模型最大深度
…
5.2 机器学习模型参数调整方法
手动根据经验和尝试调整
网格搜索（Grid Search)
贝叶斯调参
6. GBDT/XGBoost/lightGBM
GBDT：梯度提升决策树，XGBoost和lightGBM也属于广义上的GBDT模型
GBDT属于加性模型，构建很多棵CART（分类回归树）并组合
