R语言学习(三)——决策树分类

article/2025/9/29 17:09:05

分类

分类（Classification）任务就是通过学习获得一个目标函数（Target Function）f, 将每个属性集x映射到一个预先定义好的类标号y。

分类任务的输入数据是记录的集合，每条记录也称为实例或者样例。用元组(X,y)表示，其中，X 是属性集合，y是一个特殊的属性，指出样例的类标号（也称为分类属性或者目标属性）。

解决分类问题的一般方法

分类技术是一种根据输入数据集建立分类模型的系统方法。

分类技术一般是用一种学习算法确定分类模型，该模型可以很好地拟合输入数据中类标号和属性集之间的联系。学习算法得到的模型不仅要很好拟合输入数据，还要能够正确地预测未知样本的类标号。因此，训练算法的主要目标就是要建立具有很好的泛化能力模型，即建立能够准确地预测未知样本类标号的模型。

分类方法的实例包括：决策树分类法、基于规则的分类法、神经网络、支持向量机、朴素贝叶斯分类方法等。

通过以上对分类问题一般方法的描述，可以看出分类问题一般包括两个步骤：

  1. 模型构建（归纳）
    通过对训练集合的归纳，建立分类模型。

  2. 预测应用（推论）
    根据建立的分类模型，对测试集合进行测试。

决策树

决策树是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。

决策树的优点

  1. 推理过程容易理解，决策推理过程可以表示成If Then形式；
  2. 推理过程完全依赖于属性变量的取值特点；
  3. 可自动忽略目标变量没有贡献的属性变量，也为判断属性变量的重要性，减少变量的数目提供参考。

决策树算法

与决策树相关的重要算法：CLS, ID3，C4.5，CART

  1. Hunt,Marin和Stone 于1966年研制的CLS学习系统，用于学习单个概念。
  2. 1979年, J.R. Quinlan 给出ID3算法，并在1983年和1986年对ID3
    进行了总结和简化，使其成为决策树学习算法的典型。
  3. Schlimmer和Fisher于1986年对ID3进行改造，在每个可能的决策树节点创建缓冲区，使决策树可以递增式生成，得到ID4算法。
  4. 1988年，Utgoff 在ID4基础上提出了ID5学习算法，进一步提高了效率。 1993年，Quinlan
    进一步发展了ID3算法，改进成C4.5算法。
  5. 另一类决策树算法为CART，与C4.5不同的是，CART的决策树由二元逻辑问题生成，每个树节点只有两个分枝，分别包括学习实例的正例与反例。

决策树的表示

决策树的基本组成部分：决策结点、分支和叶子。

决策树中最上面的结点称为根结点，是整个决策树的开始。每个分支是一个新的决策结点，或者是树的叶子。每个决策结点代表一个问题或者决策.通常对应待分类对象的属性。每个叶结点代表一种可能的分类结果。

在沿着决策树从上到下的遍历过程中，在每个结点都有一个测试。对每个结点上问题的不同测试输出导致不同的分枝，最后会达到一个叶子结点。这一过程就是利用决策树进行分类的过程，利用若干个变量来判断属性的类别。

ID3

ID3算法主要针对属性选择问题。是决策树学习方法中最具影响和最为典型的算法。

该方法使用信息增益度选择测试属性。

  • 信息量大小的度量

Shannon1948年提出的信息论理论。事件ai的信息量I(ai )可如下度量：
在这里插入图片描述
其中p(ai)表示事件ai发生的概率。

假设有n个互不相容的事件a1,a2,a3,….,an,它们中有且仅有一个发生，则其平均的信息量可如下度量：
在这里插入图片描述
由上式，对数底数可以为任何数，不同的取值对应了熵的不同单位。

通常取2，并规定当p(ai)=0时：
在这里插入图片描述

  • 熵

用熵度量样例的均一性

熵刻画了任意样例集合 S 的纯度

给定包含关于某个目标概念的正反样例的样例集S，那么 S 相对这个布尔型分类（函数）的熵为：
在这里插入图片描述
信息论中对熵的一种解释：熵确定了要编码集合S中任意成员的分类所需要的最少二进制位数；熵值越大，需要的位数越多。

更一般地，如果目标属性具有c个不同的值，那么 S 相对于c个状态的分类的熵定义为：
在这里插入图片描述

例如：求集合R = {a,a,a,b,b,b,b,b}的信息熵
在这里插入图片描述
理解信息熵：

  1. 信息熵是用来衡量一个随机变量出现的期望值，一个变量的信息熵越大，那么它出现的各种情况也就越多，也就是包含的内容多，我们要描述它就需要付出更多的表达才可以，也就是需要更多的信息才能确定这个变量。
  2. 信息熵是随机变量的期望。度量信息的不确定程度。信息的熵越大，信息就越不容易搞清楚（杂乱）。
  3. 一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。信息熵也可以说是系统有序化程度的一个度量。
  4. 信息熵用以表示一个事物的非确定性，如果该事物的非确定性越高，你的好奇心越重，该事物的信息熵就越高。
  5. 熵是整个系统的平均消息量。 信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。
  6. 处理信息就是为了把信息搞清楚，实质上就是要想办法让信息熵变小。
  • 信息增益

用来衡量给定的属性区分训练样例的能力

ID3算法在生成 树的每一步使用信息增益从候选属性中选择属性

用信息增益度量熵的降低程度

属性A 的信息增益，使用属性A分割样例集合S 而导致的熵的降低程度
在这里插入图片描述
Gain (S, A)是在知道属性A的值后可以节省的二进制位数

信息增益代表了在一个条件下，信息复杂度（不确定性）减少的程度。

理解信息增益：

熵：表示随机变量的不确定性。
条件熵：在一个条件下，随机变量的不确定性。
信息增益：熵 - 条件熵。表示在一个条件下，信息不确定性减少的程度。
例如：
假设X(明天下雨)的信息熵为2（不确定明天是否下雨），Y(如果是阴天则下雨）的条件熵为0.01（因为如果是阴天就下雨的概率很大，信息就少了） 信息增益=2-0.01=1.99。信息增益很大。说明在获得阴天这个信息后，明天是否下雨的信息不确定性减少了1.99，所以信息增益大。也就是说阴天这个信息对下雨来说是很重要的。

ID3 决策树建立算法

  1. 决定分类属性
  2. 对目前的数据表，建立一个节点N
  3. 如果数据库中的数据都属于同一个类，N就是树叶，在树叶上标出所属的类
  4. 如果数据表中没有其他属性可以考虑，则N也是树叶，按照少数服从多数的原则在树叶上标出所属类别
  5. 否则，根据平均信息期望值E或GAIN值选出一个最佳属性作为节点N的测试属性
  6. 节点属性选定后，对于该属性中的每个值：
    从N生成一个分支，并将数据表中与该分支有关的数据收集形成分支节点的数据表，在表中删除节点属性那一栏如果分支数据表非空，则运用以上算法从该节点建立子树。

小结
ID3算法是一种经典的决策树学习算法，由Quinlan于1979年提出。ID3算法的基本思想是，以信息熵为度量，用于决策树节点的属性选择，每次优先选取信息量最多的属性，亦即能使熵值变为最小的属性，以构造一颗熵值下降最快的决策树，到叶子节点处的熵值为0。此时，每个叶子节点对应的实例集中的实例属于同一类。

R语言中的决策树实现

  • 安装数据包

安装rpart、rpart.plot、rattle三个数据包
rpart:用于分类与回归分析
rpart.plot：用于绘制数据模型
rattle:提供R语言数据挖掘图形界面
安装语句：

rpart:install.packages("rpart")
rpart:install.packages("rpart.plot")
install.packages("rattle")
  • 步骤1：生成训练集和测试集

以iris数据集为例：
训练集：

iris.train=iris[2*(1:75)-1,] 
返回原数据集1、3、5、7、8、......、149奇数行行所有列的数据

测试集：

iris.test= iris[2*(1:75),] 
返回原数据集2、4、6、8、10、......、150偶数行所有列的数据
  • 步骤2：生成决策树模型

加载rpart包：

> library("rpart")

> model <- rpart(Species ~ Sepal.Length + Sepal.Width + Petal.Length + Petal.Width, data = iris.train,  method="class")

rpart参数解释：

rpart(formula, data, method, parms, ...)
  1. formula是回归方程的形式，y~x1+x2+…，
    iris一共有5个变量，因变量是Species,自变量是其余四个变量，所以formula可以省略为Species~.
  2. data是所要学习的数据集
  3. method根据因变量的数据类型有如下几种选择：anova（连续型），poisson（计数型），class（离散型），exp（生存型），因为我们的因变量是花的种类，属于离散型，所以method选择class
  4. parms可以设置纯度的度量方法，有gini（默认）和information（信息增益）两种。
  • 步骤3：绘制决策树
rpart.plot(model)

或

fancyRpartPlot(model)
  • 步骤4：对测试集进行预测
iris.rp3=predict(model, iris.test[,-5], type="class")

iris.test[,-5]的意思是去掉原测试集第5列后的数据

  • 步骤5：查看预测结果并对结果进行分析，计算出该决策树的accuracy（分类正确的样本数除以总样本数）
table(iris.test[,5],iris.rp3)

可得accuracy=（25+24+22）/75=94.67%

  • 步骤6：生成规则
asRules(model)

http://chatgpt.dhexx.cn/article/tQ76Syqn.shtml

相关文章

空间数据索引RTree（R树）完全解析及Java实现

空间数据索引RTree（R树）完全解析及Java实现

本文是在https://www.cnblogs.com/cmi-sh-love/p/kong-jian-shud-ju-suo-yinRTree-wan-quan-jie-xi-jiJa.html?share_tokene5b096d7-6dbf-4839-9992-b29913335ba9基础上进行修改和补充的。 第一部分 空间数据的背景介绍 空间数据的建模 基于实体的模型&#xff08;基于对象…
阅读更多...
最小生成树：kruskal算法的R语言实现

最小生成树：kruskal算法的R语言实现

以如下图为例 library(hash)#需要用到hash包 Nodes<-c("A","B","C","D","E","F","G") #创建存放顶点的向量 edges<- data.frame(startcharacter(),endcharacter(),lengthnumeric(),stringsAsFa…
阅读更多...
【转】R树

【转】R树

R树在数据库等领域做出的功绩是非常显著的。它很好的解决了在高维空间搜索等问题。举个R树在现实领域中能够解决的例子吧&#xff1a;查找20英里以内所有的餐厅。如果没有R树你会怎么解决&#xff1f;一般情况下我们会把餐厅的坐标(x,y)分为两个字段存放在数据库中&#xff0c;…
阅读更多...
R语言实现决策树

R语言实现决策树

R语言实现决策树 提示&#xff1a;本文使用R语言实现决策树&#xff0c;并对决策树结构图进行美化 文章目录 R语言实现决策树数据介绍一、相关R包的下载二、实现过程1.数据读取2.训练集与验证集划分3.构建决策树并绘制图形4.测试模型 总结 数据介绍 group就是分类结果&#x…
阅读更多...
决策树与R语言(RPART)

决策树与R语言(RPART)

关于决策树理论方面的介绍&#xff0c;李航的《统计机器学习》第五章有很好的讲解。 传统的ID3和C4.5一般用于分类问题&#xff0c;其中ID3使用信息增益进行特征选择&#xff0c;即递归的选择分类能力最强的特征对数据进行分割&#xff0c;C4.5唯一不同的是使用信息增益比进行…
阅读更多...
经典查找算法 --- R树

经典查找算法 --- R树

R树&#xff1a;处理空间存储问题 -->是引用别人的文章 相信经过上面第一节的介绍&#xff0c;你已经对B树或者B树有所了解。这种树可以非常好的处理一维空间存储的问题。B树是一棵平衡树&#xff0c;它是把一维直线分为若干段线段&#xff0c;当我们查找满足某个要求的点的…
阅读更多...
R语言︱决策树族——随机森林算法

R语言︱决策树族——随机森林算法

每每以为攀得众山小&#xff0c;可、每每又切实来到起点&#xff0c;大牛们&#xff0c;缓缓脚步来俺笔记葩分享一下吧&#xff0c;please~ ——————————————————————————— 笔者寄语&#xff1a;有一篇《有监督学习选择深度学习还是随机森林或支持向…
阅读更多...
R语言：画树图

R语言：画树图

原始数据长这样&#xff1a; “iyear”表示年份&#xff1b;“nkill”表示死亡人数&#xff1b;“region”表示地区&#xff1b;“总计”表示某年份死亡总人数&#xff1b;nkii里的缺失数据自动按“0”运算。 数据存储在名为“ljs”的csv格式里。 应提前下载好treemap包&#…
阅读更多...
图解R树的内部结构及操作

图解R树的内部结构及操作

本文是在https://blog.csdn.net/baimafujinji/article/details/89810217基础上增加了自己的理解和解释形成的。 R树的基本情况 R树&#xff08;R-tree&#xff09;是一种将&#xff22;树&#xff08;B树和B树统称B树&#xff09;扩展到多维情况下得到的数据结构&#xff0c;…
阅读更多...
R树

R树

先搞明白R树搜索、插入、删除过程。 R树是平衡树&#xff0c;可以理解为B树在N维空间上的扩展。 R树一定要满足一下要求&#xff1a; 1&#xff0e;根节点若非叶子节点&#xff0c;则至少有两个子节点&#xff1b; 2&#xff0e;每个非根叶节点和非叶节点包含的实体个数均介…
阅读更多...
R tree

R tree

R树在数据库等领域做出的功绩是非常显著的。它很好的解决了在高维空间搜索等问题。举个R树在现实领域中能够解决的例子吧&#xff1a;查找20英里以内所有的餐厅。如果没有R树你会怎么解决&#xff1f;一般情况下我们会把餐厅的坐标(x,y)分为两个字段存放在数据库中&#xff0c;…
阅读更多...
R树空间索引

R树空间索引

R树在数据库等领域做出的功绩是非常显著的。它很好的解决了在高维空间搜索等问题。举个R树在现实领域中能够解决的例子吧&#xff1a;查找20英里以内所有的餐厅。如果没有R树你会怎么解决&#xff1f;一般情况下我们会把餐厅的坐标(x,y)分为两个字段存放在数据库中&#xff0c;…
阅读更多...
搜索树之R树

搜索树之R树

产生背景 地理空间数据涉及各种海量且复杂的数据&#xff0c;找到合适的索引对空间数据的处理至关重要。 传统的B树索引针对字符、数字等一维属性数据的主关键字而设计&#xff0c;不适用于具有多维性的地理空间数据。 在GIS和CAD系统对空间索引需求的推动下&#xff0c;为满足…
阅读更多...
R-Tree

R-Tree

R-Tree ​ R-Tree是一颗用来存储高维数据的平衡树&#xff0c;它把B树的思想扩展到了多维空间&#xff0c;采用了B树分割空间思想&#xff0c;并在添加、删除操作时采用合并、分解节点的方法&#xff0c;保证树的平衡性。 数据结构 ​ 每个R树的叶子节点包含了多个指向不同数…
阅读更多...
R-tree总结

R-tree总结

R-tree R-tree是用来做空间数据存储的树状数据结构。R-tree是B-tree向多维空间发展的另一种形式&#xff0c;并且R树也是平衡树。 R树的核心思想是聚合距离相近的节点并在树结构的上一层将其表示为这些节点的最小外接矩形&#xff0c;这个最小外接矩形就成为上一层的一个节点…
阅读更多...
从B树、B+树、B*树谈到R 树

从B树、B+树、B*树谈到R 树

从B 树、B 树、B* 树谈到R 树 作者&#xff1a;July、weedge、Frankie。编程艺术室出品。 说明&#xff1a;本文从B树开始谈起&#xff0c;然后论述B树、B*树&#xff0c;最后谈到R 树。其中B树、B树及B*树部分由weedge完成&#xff0c;R 树部分由Frankie完成&#xff0c;全文…
阅读更多...
R树简介

R树简介

B树与R树 计算机磁盘的文件管理常使用B树和B树。B树和B树能良好地处理一维空间存储的问题。实际上&#xff0c;B树是一棵平衡树&#xff0c;它是把一维直线分为若干段线段&#xff0c;当我们查找满足某个要求的点的时候&#xff0c;只要去查找它所属的线段即可。这种思想其实是…
阅读更多...
高级数据结构之R树（R-tree）

高级数据结构之R树（R-tree）

R树（R-tree）是一种将Ｂ树扩展到多维情况下得到的数据结构，它最初由Antonin Guttman于1984年提出。Ｂ树的结点中会存储一个键的集合，这些键把线分成片段，沿着那条线的点仅属于一个片段。因此，Ｂ树使得我们可以很容易地找到点。如果把沿线各处的点表示成Ｂ树结点，我们就能…
阅读更多...
什么是R树？

什么是R树？

什么是R树&#xff1f; R树是用来做空间数据存储的树状数据结构。例如给地理位置&#xff0c;矩形和多边形这类多维数据建立索引。R树是由Antonin Guttman于1984年提出的。 人们随后发现它在理论和应用方面都非常实用。 在现实生活中&#xff0c;R树可以用来存储地图上的空间信…
阅读更多...
图解R树的原理及相关操作

图解R树的原理及相关操作

B 树的搜索本质上是一维区间的划分过程&#xff0c;每次搜索节点所找到的子节点其实就是一个子区间。R 树是把 B 树的思想扩展到了多维空间&#xff0c; 采用了 B 树分割空间的思想&#xff0c;是一棵用来存储高维数据的平衡树。 ​ 对于一棵 R 树&#xff0c;叶子节点所在层…
阅读更多...
推荐文章

Copyright @ 2022~2023