树模型之三种常见的决策树:CART,…

article/2025/10/31 0:27:51
树模型(又称决策树或者树结构模型):基本思想和方差分析中的变异分解极为相似。
目的(基本原则):将总研究样本通过某些牲(自变量取值)分成数个相对同质的子样本。每一子样本因变量的取值高度一致,相应的变异/杂质尽量落在不同子样本间。所有树模型的算法都遵循这一基本原则。
不同树模型差异:差异在于对 变异/杂质的定义不同。比如 P值、方差、熵、Gini指数(基尼指数)、Deviance等作为测量指标。
树模型分类:根据预测的 因变量类型,树结构模型可以分为分类树、回归树两大类。
常用算法:
CHAID(卡方自交互侦测决策树)—Chi-squared Automatic Interaction Detector
CRT(分类回归树)—Classification Regression Tree;
C5.0以信息熵的下降速度作为确定最佳分支变量和分割阀值的依据。面对数据遗漏和输入字段很多的问题时非常稳健。
QUEST:Quick、Unbiased、Efficient Statistical Tree的缩写。
决策树需要计算结点的纯度来选择最具显著性的切分(split)。通常,CART以Gini,C5以信息增益(熵),CHAID以卡方。虽然存在这样的差别,但他们树形状的不同更为重要一些。
C5起源于计算科学领域,讲究小样本上的重复测试比较(cross validation),进一步地,C5会进行规则(Rule Set)的概化以自动产生更为简洁的规则表达形式。牺牲一些精度来换取更好记的规则,对于业务人员来说无疑是值得的。
分类决策树CHAID&CRT(转帖沈浩老师)
————————————————————————————
CRT内容:
因变量是分类变量时,即为 分类树;当因变量为 连续变量则为 回归树
目的:将 总研究人群某些特征( 自变量取值)分成数个相对同质的 亚人群。每一亚人群 内部 因变量的取值高度一致,相应的变异/杂质尽量落在不同亚人群间。就是按照预测误差最小化原理,依次按照二分法将总样本划分为多个子样本的过程。
路径:spss statistics——分析——分类——树,打开CRT功能节点。
转至沈浩老师博客: http://shenhaolaoshi.blog.sohu.com/144586147.html
点击可查看详细示例。
假设我们有一个移动业务数据,包含有客户的性别、年龄、语音费用、数据费用、客户等级、支付方式和促销套餐变量。我们现在期望能够得到针对不同的促销套餐来分析“客户画像”,这样有利于针对性的促销!也就是不同套餐客户特征描述!
因变量是促销套餐,其它是预测变量或自变量!
树模型之三种常见的决策树:CART,C5,CHAID

我们看到,首先要求我们定义变量的测量等级并定义好变量变标和值标!因为,CHAID和CRT具有智能特性,也就是自交互检验和自回归能力,所以对变量测量尺度要求严格!
为什么说变量测量等级重要呢?例如,我们有个变量叫学历(1-初中、2-高中、3-大专、4-本科、5-硕士以上),如果我们设定为定序变量,则决策树可以自动组合分类,但无论如何都是顺序组合,也就是说可能(1-初中、2-高中、3-大专)为一类,(4-本科、5-硕士以上)为一类,但绝对不会把1和5合并一类;如果我们定义为名义变量,则可以任意学历组合为某类了!
基本原理:基于目标变量(独立变量)自我分层的树状结构,根结点是因变量,预测变量根据卡方显著性程度不断自动生成父节点和子节点,卡方显著性越高,越先成为预测根结点的变量,程序自动归并预测变量的不同类,使之成为卡方显著性。程序根据预先设定的树状水平数停止。最后每一个叶结点就是一个细分市场。当预测变量较多且都是分类变量时,CHAID分类最适宜。
预测变量大部分都是人口统计资料,使研究者很快就可以找出不同细分市场特征。传统的交互分析对多维交叉表和归并类是一项繁重的工作。
首先,我们确定因变量后,放入其它自变量。接下来,我们要选择CHAID的验证和条件参数!一般来讲:我们主要设定父节点和子节点的数量,以及规定树状结构的水平数,如何生长!分类树将根据设定参数决定树的增长和停止!通常,我们考察总的样本量大小,父节点是子节点的两倍,当然如果设定的太小,树会非常茂盛,得到很多非常小的细分市场,可能没有实际营销意义!树的水平数也是同样道理!
其它还有很多参数可以设定,比如分割样本,错误分类成本,利润等,分类决策树可以直接输出结果和SPSS语法或SQL语法规则!(略)
因为树比较大,看不清楚,我们需要在树查看器中分析!
树模型之三种常见的决策树:CART,C5,CHAID
从查看器中我们可以看到,客户等级最显著,也最重要,首先跑上来!针对低端客户,账单支付方式重要,对于预付话费的人来讲,数据业务小于50.73的主要是Y类套餐!这样我们就可以看到这个类别的特征了!
最后的分类预测正确分类84.4%。

下面是生成的SQL语法规则:
UPDATE
SET nod_001 = 4, pre_001 = 5, prb_001 = 0.974026
WHERE ((客户等级 IS NULL) OR 客户等级 <> 2 AND 客户等级 <> 3) AND ((数据业务 IS NULL) OR (数据业务 <= 38.754));
我们可以把语法规则嵌入在分析系统中就可以实现商业智能和营销了!
当然,CRT基本方法和解读方式都是一样的!
总结:CHAID和CRT基本操作过程
指定CHAID或CRT分类树
规定目标变量和预测变量
设定预测变量的测量等级,非数量型变量也可预先合并分类。
规定树状结构的水平数。
指定节点包含的最小样本数量。
CHAID和CART是最有名的分类树方法,主要用于预测和分类。在市场研究中经常用于市场细分和客户促销研究,属于监督类分析技术。其中,树根节点是独立变量-因变量,例如:使用水平、购买倾向、用户或非用户、客户类型、套餐类别、细分类别等。子节点基于独立变量和其他分类变量(父节点),按照卡方显著性不断划分或组合为树状结构。预测变量一般也是非数量型的分类变量。
CHAID最常用,但独立变量只能是分类变量,也就是离散性的,CRT可以处理数量型变量,有时候二者结合使用。CHAID和CRT都可以处理非数量型和定序性变量。
分类树方法产生真实的细分类别,这种类是基于一个独立变量得到的一种规则和细分市场。也就是说,每一个树叶都是一个细分市场。
下面我们通过一个案例来操作SPSS软件的分类决策树模块
CART与CHAID,一个是二叉树,一个是多叉树;CART在每一个分支都选择最好的二元切分,因此一个变量(field)很可能在不同的树深处被多次使用;CHAID则一次对一个变量切分出多个统计显著的分支,会更快的生长出高预测能力的树枝,但同时在深度子结点的支持度相比CART迅速降低,更快地逼近一棵臃肿而不稳定的树。 

为了避免过度拟合(over fit)而成为不稳定的树,叶结点需要裁剪(prune)。尽管CART提供了自动搜索潜在可能的树分支并根据测试集裁剪回来的策略,但事实上并不足以依赖;统计意义不是决策规则的决定因素,商业理解结合手工裁剪(custom split)可能是更好的选择。另外,少于100条数据的叶结点很可能是不稳定的,你将从测试集中发现这一点。

http://chatgpt.dhexx.cn/article/tVTqwIIC.shtml

相关文章

决策树CART

分类回归树(CART,Classification And Regression Tree)也属于一种决策树&#xff0c;上回文我们介绍了基于ID3算法的决策树。作为上篇&#xff0c;这里只介绍CART是怎样用于分类的。 分类回归树是一棵二叉树&#xff0c;且每个非叶子节点都有两个孩子&#xff0c;所以对于第一棵…

决策树CART算法原理详解

大家好&#xff0c;今天用一个简单的例子来给大家介绍一下决策树中的CART算法。 CART分类树 CART分类树适用于预测结果为离散型数据的情况下&#xff0c;主要是计算每一组特征的Gini系数增益来确定决策树划分的优先规则&#xff0c;主要是采用一种二分方法&#xff0c;当一列…

决策树—ID3、C4.5、CART

目录 一、决策树模型与学习 1、决策树模型 2、决策树学习 二、特征选择 1、信息增益 2、信息增益率 三、决策树的生成 1、ID3算法 2、C4.5算法 3、CART算法 四、决策树停止分裂的条件 五、连续值和损失值处理 决策树&#xff08;decision tree&#xff09;是一…

CART决策树----基尼指数划分

文章目录 CART决策树----基尼指数划分一.决策树算法的构建二.划分选择——基尼指数三.剪枝处理1.预剪枝2.后剪枝 四.算法代码 CART决策树----基尼指数划分 一.决策树算法的构建 一般的&#xff0c;一棵决策树包含一个根节点&#xff0c;若干个内部结点和若干个叶结点&#xff…

决策树之CART 算法(回归树,分类树)

CART 算法&#xff0c;英文全称叫做 Classification And Regression Tree&#xff0c;中文叫做分类回归树。 ID3 和 C4.5 算法可以生成二叉树或多叉树&#xff0c;而 CART 只支持二叉树。 同时 CART 决策树比较特殊&#xff0c;既可以作分类树&#xff0c;又可以作回归树。 …

决策树之CART(分类回归树)详解

决策树之CART&#xff08;分类回归树&#xff09;详解 主要内容 CART分类回归树简介CART分类回归树分裂属性的选择CART分类回归树的剪枝 1、CART分类回归树简介   CART分类回归树是一种典型的二叉决策树&#xff0c;可以做分类或者回归。如果待预测结果是离散型数据&#…

CART模型

(一)简介 1.CART(classification and regression tree)是应用广泛的决策树学习方法,既可以用于分类也可以用于回归; 2.CART假设决策树是二叉树,内部结点特征的取值为“是”和“否”,这样的决策树等价于递归地二分每个特征,将输入空间即特征空间划分为有限个单元,并…

免费前端网站页面模板

分享几个好的前端的免费模板的网站链接&#xff1a; 免费HTML5链接 网站展示&#xff1a; 网站模板链接2 模板网站3 网站展示&#xff1a; 精品插件以及模板 展示如下&#xff1a;

简洁实用的前端模板

好用的前端模板&#xff1a; 给兄弟萌推荐一个好用的前后端分离里面用到的前端的模板项目&#xff0c;使用Vue2.xElementUI写的。是一个非常可以值得借鉴的后台管理系统的前端模板。需要的同学可以下载之后&#xff0c;在此基础上修改&#xff0c;然后用到自己的项目中。 git…

web前端基础——背景图片

作用&#xff1a;设置背景图片大小 语法&#xff1a;background-size: 宽度 高度 取值&#xff1a; 取值场景数字px简单方便&#xff0c;常用百分比相对于当前盒子自身的宽高百分比contain包含&#xff0c;将背景图片等比例缩放&#xff0c;直到不会超出盒子的最大范围cover…

html+css+js实现的前端模板

代码功能 实现一个为用户提供能够快速制作主流表情包的网站。提供丰富的模板和在线自定义图片功能。可以对图片添加文字、水印和图片等功能。丰富的动画效果搭配颜值的前端模板&#xff0c;可以用来学习学习。 话不多说&#xff0c;上图片 有需要的可以去下载。 https://do…

前端案例:飞机大战( js+dom 操作,代码完整,附图片素材)

目录 一、案例效果 二、实现思路 三、完整代码详细注释 四、涉及要点 五、案例素材 一、案例效果 二、实现思路 创建游戏背景板&#xff1b;创建我方战机&#xff0c;鼠标进入游戏面板后其随鼠标轨迹运动&#xff1b; onmousemove创建子弹&#xff0c;让子弹周期性的在战…

博客前端模板

文章目录 序言效果展示菜单栏实现内容布局底部代码 序言 一直后端开发写接口&#xff0c;时间久了&#xff0c;把前端知识忘得一干二净了。最近公司项目不是很忙&#xff0c;想写一个博客练练手。模仿别人博客用bootstrap写了一个博客模板记录下。 效果展示 首页大屏效果&am…

前端设计类网站汇总

设计前端类网站汇总 一、素材类 1、图片 其实国内对图片版权保护这块的意识不是很够&#xff0c;在免费的素材库和收费素材库都能找到同一张图片&#xff0c;但作者署名却都不一样。所以小编现在基本不用国内这些图库网&#xff0c;跟大家推荐几个免费又没有版权纠纷的图库网站…

前端的你平时都在哪找免费的可商业用的图片素材?

周末好&#xff01;有段时间没有更新了&#xff0c;最近遇到找素材的苦恼&#xff0c;所以总结了一篇文章。前端中少不了与素材打交道&#xff0c;UI设计就更用说了&#xff0c;但能白嫖就白嫖&#xff0c;嘿嘿&#xff01;&#xff01;&#xff01;下面推荐一下有关能免费的可…

三个漂亮的网页登录页面源码及素材——可用于前端初学者练习HTMLCSS

注&#xff1a;这三个登录页面涉及到的图片素材可自行寻找&#xff0c;字体图标素材可以在阿里字体图标库获取&#xff08;https://www.iconfont.cn/home/index?spma313x.7781069.1998910419.2&#xff09;&#xff0c;如需原版素材可联系作者QQ&#xff08;3416252112&#x…

前端素材库网站集合——网站集合

UI矢量图库 1.摄图网 https://699pic.com/ https://699pic.com/tupian/tubiao.html?from215 图片素材图库 1.图库 https://picsum.photos/ 随机获取图片&#xff1a;&#xff08;每次刷新都可以获取一个新的图片&#xff09; http://picsum.photos/360/460?random1<d…

分享三个免费的前端模板网站

1、模板之家 网页模板,网站模板,DIVCSS模板,企业网站模板下载 http://www.cssmoban.com/ 2、站长之家 HTML5模板 HTML5模板免费下载 https://sc.chinaz.com/tag_moban/html5.html 3、jQuery之家 自由分享jQuery、html5、css3的插件库 http://www.htmleaf.com/

前端好用的素材网站分享

前端设计推荐的一些网站&#xff09; 1.[站酷](https://www.zcool.com.cn/)2.[ColorPalette](https://arco.design/palette/list)3.[unDraw](https://undraw.co/illustrations)4.[OUCH](https://icons8.cn/illustrations/style--pale)&#xff08;应该是叫这个吧&#xff09;5.…

前端常用素材网站整理

最近整理了网页收藏夹&#xff0c;将平时遇到与前端相关的素材网站归置归置 注意&#xff1a;有的下载模版需要充值 PPChart 让图表更简单 echarts图表案例 很全 啥图都有 http://www.ppchart.com/#/ ———————————————————————————————————…