第4章 分类：基本概念、决策树与模型评估
人工智能课程设计决策树
课程设计决策树一、教学目标本课程的教学目标是让学生掌握决策树的基本概念、原理和应用方法。
通过本课程的学习，学生应能理解决策树的特点和优势，掌握决策树的构建方法和算法，并能运用决策树解决实际问题。
具体来说，知识目标包括：1.了解决策树的基本概念和原理；2.掌握决策树的分类和回归方法；3.理解决策树的优势和局限性。
技能目标包括：1.能够使用决策树算法进行数据分类和预测；2.能够运用决策树解决实际问题，如分类问题和回归问题；3.能够对决策树进行评估和优化。
情感态度价值观目标包括：1.培养对和机器学习的兴趣和好奇心；2.培养对数据的敏感性和数据分析的能力；3.培养解决问题的思维方式和团队合作的能力。
二、教学内容本课程的教学内容主要包括决策树的基本概念、原理和应用方法。
具体来说，教学大纲如下：1.决策树的基本概念：介绍决策树的概念、结构和决策过程；2.决策树的原理：讲解决策树的分类和回归方法，包括决策树的构建、剪枝和优化；3.决策树的应用：介绍决策树在实际问题中的应用，如分类问题、回归问题和异常检测等。
教材的章节安排如下：1.第四章：决策树的基本概念和原理；2.第五章：决策树的分类和回归方法；3.第六章：决策树的应用方法和实例。
三、教学方法本课程的教学方法采用讲授法、案例分析法和实验法相结合的方式。
具体来说：1.讲授法：通过讲解和演示决策树的基本概念、原理和应用方法，让学生掌握决策树的基础知识；2.案例分析法：通过分析实际案例，让学生了解决策树在实际问题中的应用和效果；3.实验法：通过实验和实践，让学生动手构建和优化决策树模型，培养解决问题的能力。
四、教学资源本课程的教学资源包括教材、参考书、多媒体资料和实验设备。
具体来说：1.教材：选用《导论》作为主教材，辅助以《机器学习》等参考书籍；2.参考书：提供相关的学术论文和案例分析，供学生深入研究和参考；3.多媒体资料：提供决策树的动画演示和实验操作视频，帮助学生更好地理解和掌握知识；4.实验设备：提供计算机和相应的软件工具，让学生进行实验和实践。
分类方法
2
分类方法的类型
从使用的主要技术上看，可以把分类方法归结为 四种类型：
基于距离的分类方法 决策树分类方法 贝叶斯分类方法 规则归纳方法。
3
分类问题的描述
2．使用模型进行分类
首先评估模型（分类法）的预测准确率。 如果认为模型的准确率可以接受，就可以用它对类标号 未知的数据元组或对象进行分类。
5
四 分类方法
分类的基本概念与步骤 基于距离的分类算法 决策树分类方法 贝叶斯分类 规则归纳
6
基于距离的分类算法的思路
定义4 定义4-2 给定一个数据库 D={t1，t2，…，tn}和一 ， 组类C={C1，…，Cm}。假定每个元组包括一些数 ， 值型的属性值： 值型的属性值：ti={ti1，ti2，…，tik}，每个类也包 ， 含数值性属性值： 含数值性属性值：Cj={Cj1，Cj2，…，Cjk}，则分 ， 类问题是要分配每个t 类问题是要分配每个ti到满足如下条件的类Cj：
P( X | C i ) = ∏ P( xk | C i )
k =1 n
14
朴素贝叶斯分类(续)
可以由训练样本估值。 其中概率P(x1|Ci)，P(x2|Ci)，……，P(xn|Ci)可以由训练样本估值。 ，
是离散属性， 如果Ak是离散属性，则P(xk|Ci)=sik|si，其中sik是在属性Ak上具有值xk的 的训练样本数， 类Ci的训练样本数，而si是Ci中的训练样本数。 中的训练样本数。 如果Ak是连续值属性，则通常假定该属性服从高斯分布。因而， 是连续值属性，则通常假定该属性服从高斯分布。因而，
第四章 环境分析与理性决策——管理学(马工程)
三、非理性决策
（三）领导集体决策模型
领导集体决策模型是认为政策选择是建立在领导者优秀的素质和管理经 验的基础上，由领导者或领导集体依据自己的应变能力和判断力进行决策。
其优点是决策迅速，但决策的质量同领导者个人的素质、经验密切相关 ，是决策是否成功的决定性因素。
“精英决策模型”：忽略公众对社会发展的影响，而把公共政策看成反 映精英们的价值和偏好，认为是他们决定了政策。
（二）活动方案评价方法
3. 动态评价方法与静态评价方法 决策评价指标体系在指标的内涵、指标的数量、体系的构成等方面均应有 相对的稳定性。 随着企业经营环境的变化，决策评价体系也应做相应的变更。因此，绩效 评价体系还具有明显的动态性特征。
三、选择活动方案的评价方法
（一）决策树方法
以树形图来辅助进行各方案期望收益的计算和比较。
对行业内部要分析主要竞争者的基本情况、对本企业构成威胁的原因以 及分析竞争对手的发展动向。
二、环境分析的常用方法
（三）内外部环境综合分析方法——SWOT分析法
SWOT 分析是最常用的内外部环境综合分析技术，是由哈佛大学的安德 鲁斯等人提出的一种分析方法。
二、环境分析的常用方法
（四）针对环境变化的分析方法——情境分析法
例（这里不考虑货币的时间价值）： 某公司为满足市场对某种新产品的需求，拟规划建设新厂。预计市场对这 种新产品的需求量比较大，但也存在销路差的可能性。公司有两种可行的扩大 生产规模方案：一是新建一个大厂，预计需投资30万元，销路好时可获利100万 元，销路不好时亏损20万元；二是新建一个小厂，需投资20万元，销路好时可 获利40万元，销路不好仍可获利30万元。假设市场预测结果显示，此种新产品 销路好的概率为0.7，销路不好的概率为0.3。根据这些情况，下面用决策树法 说明如何选择最佳的方案。
数据挖掘课程设计报告题目
数据挖掘课程设计报告题目一、课程目标知识目标：1. 理解数据挖掘的基本概念、任务和过程；2. 掌握常见的数据挖掘算法，如分类、聚类、关联规则挖掘等；3. 了解数据预处理、特征工程在数据挖掘中的作用；4. 掌握运用数据挖掘技术解决实际问题的方法。
技能目标：1. 能够运用数据挖掘软件（如WEKA、Python等）进行数据挖掘实验；2. 能够独立完成数据预处理、特征工程、模型构建等数据挖掘流程；3. 能够根据实际问题选择合适的数据挖掘算法，并调整参数优化模型；4. 能够撰写数据挖掘报告，对挖掘结果进行分析和解释。
情感态度价值观目标：1. 培养学生对数据挖掘的兴趣，激发学习热情；2. 培养学生的团队协作意识，学会与他人共同解决问题；3. 培养学生具备良好的数据伦理素养，尊重数据隐私，遵循数据挖掘道德规范；4. 培养学生勇于面对挑战，克服困难，独立解决问题的精神。
本课程针对高年级学生，结合学科特点，注重理论与实践相结合。
课程目标旨在使学生掌握数据挖掘的基本知识和技能，培养其运用数据挖掘技术解决实际问题的能力。
同时，关注学生的情感态度价值观培养，使其在学习过程中形成积极的学习态度，具备良好的团队协作精神和数据伦理素养。
通过本课程的学习，为学生未来的学术研究或职业发展奠定基础。
二、教学内容1. 数据挖掘基本概念：数据挖掘定义、任务、过程；2. 数据预处理：数据清洗、数据集成、数据变换、数据归一化；3. 特征工程：特征选择、特征提取、特征变换；4. 常见数据挖掘算法：分类（决策树、支持向量机等）、聚类（K均值、层次聚类等）、关联规则挖掘（Apriori算法、FP-growth算法等）；5. 数据挖掘软件应用：WEKA、Python等；6. 模型评估与优化：交叉验证、评估指标（准确率、召回率等）、参数调优；7. 实际案例分析与讨论：运用数据挖掘技术解决具体问题，如商品推荐、客户分群等；8. 数据挖掘报告撰写：报告结构、数据分析与解释。
决策树(完整)
无缺失值样本中在属性 上取值 的样本所占比例
ቤተ መጻሕፍቲ ባይዱ
谢谢大家！
举例：求解划分根结点的最优划分属性
根结点的信息熵：
用“色泽”将根结点划分后获得3个分支结点的信息熵分别为：
属性“色泽”的信息增益为：
若把“编号”也作为一个候选划分属性，则属性“编号”的信息增益为：
根结点的信息熵仍为：
用“编号”将根结点划分后获得17个分支结点的信息熵均为：
则“编号”的信息增益为：
三种度量结点“纯度”的指标：信息增益增益率基尼指数
1. 信息增益
香农提出了“信息熵”的概念，解决了对信息的量化度量问题。香农用“信息熵”的概念来描述信源的不确定性。
信息熵
信息增益
一般而言，信息增益越大，则意味着使用属性a来进行划分所获得的“纯度提升”越大。决策树算法第8行选择属性
著名的ID3决策树算法
远大于其他候选属性信息增益准则对可取值数目较多的属性有所偏好
2. 增益率
增益率准则对可取值数目较少的属性有所偏好著名的C4.5决策树算法综合了信息增益准则和信息率准则的特点：先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。
3. 基尼指数
基尼值
基尼指数
著名的CART决策树算法
过拟合：学习器学习能力过于强大，把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，导致泛化性能下降。欠拟合：学习器学习能力低下，对训练样本的一般性质尚未学好。
过拟合无法彻底避免，只能做到“缓解”。
不足：基于“贪心”本质禁止某些分支展开，带来了欠拟合的风险
预剪枝使得决策树的很多分支都没有“展开”优点：降低过拟合的风险减少了训练时间开销和测试时间开销
金融行业风险预警与防控系统开发方案
金融行业风险预警与防控系统开发方案第一章风险预警与防控系统概述 (2)1.1 系统开发背景 (2)1.2 系统开发目标 (2)1.3 系统开发意义 (3)第二章风险类型与识别 (3)2.1 风险类型分析 (3)2.1.1 信用风险 (3)2.1.2 市场风险 (3)2.1.3 操作风险 (3)2.1.4 法律风险 (4)2.1.5 流动性风险 (4)2.1.6 系统性风险 (4)2.2 风险识别方法 (4)2.2.1 定性分析 (4)2.2.2 定量分析 (4)2.2.3 案例分析 (4)2.2.4 数据挖掘 (4)2.3 风险识别技术 (4)2.3.1 神经网络 (4)2.3.2 支持向量机 (5)2.3.3 决策树 (5)2.3.4 聚类分析 (5)2.3.5 时间序列分析 (5)第三章数据采集与处理 (5)3.1 数据采集范围 (5)3.2 数据处理流程 (6)3.3 数据质量控制 (6)第四章风险评估模型构建 (6)4.1 风险评估方法选择 (6)4.2 风险评估模型设计 (7)4.2.1 数据预处理 (7)4.2.2 模型构建 (7)4.3 模型验证与优化 (7)4.3.1 模型验证 (8)4.3.2 模型优化 (8)第五章风险预警与防控策略 (8)5.1 预警指标体系构建 (8)5.2 预警阈值设定 (9)5.3 防控策略制定 (9)第六章系统架构设计 (10)6.1 系统架构总体设计 (10)6.2 关键技术模块设计 (10)6.3 系统安全性设计 (11)第七章系统功能模块开发 (11)7.1 数据采集模块 (11)7.2 数据处理模块 (11)7.3 风险评估模块 (12)第八章系统集成与测试 (12)8.1 系统集成策略 (12)8.2 系统测试方法 (13)8.3 测试结果分析 (13)第九章系统运维与维护 (14)9.1 系统运维策略 (14)9.2 系统维护方法 (14)9.3 系统升级与优化 (15)第十章项目实施与风险管理 (15)10.1 项目实施计划 (15)10.1.1 项目组织结构 (15)10.1.2 项目进度安排 (16)10.1.3 项目实施步骤 (16)10.2 风险管理策略 (16)10.2.1 风险识别 (16)10.2.2 风险评估 (16)10.2.3 风险应对 (16)10.3 项目评估与总结 (17)10.3.1 项目评估指标 (17)10.3.2 项目总结 (17)第一章风险预警与防控系统概述1.1 系统开发背景金融行业的快速发展，金融风险日益凸显，对金融市场的稳定和金融体系的健康发展构成严重威胁。
第四章-环境分析与理性决策——管理学(马工程)
二、环境分析的常用方法
（二）具体环境分析方法——波特五力模型
潜在进入者，是指从进入障碍的角度来进行潜在竞争者分析
进入障碍：行业外部的企业进入这一领域时必须付出的，而行业内企业 无须再付出的一笔损失。
二、环境分析的常用方法
（二）具体环境分析方法——波特五力模型
替代产品，即识别替代威胁
短期看，一种产品的价格和性能都受到替代产品的限定；长期看，一种 产品或行业的兴起有可能导致另一种产品或行业的消失。
二、环境分析的常用方法
（二）具体环境分析方法——波特五力模型
买方和卖方议价实力，即分析买方和卖方掌控交易价格的能力
交易双方在交易过程中总希望争得对自己有利的价格，而价格的变化使 一方获得超额收益的同时，直接导致另一方的损失。
二、环境分析的常用方法
（二）具体环境分析方法——波特五力模型
行业竞争者，即对现有竞争对手的分析
“精英决策模型”：忽略公众对社会发展的影响，而把公共政策看成反 映精英们的价值和偏好，认为是他们决定了政策。
四、价值理性与工具理性的对立
理性在决策中究竟发挥何等程度 的作用？
目的 理性
价值
工具
理性
理性
情感 理性
价值 理性
第三节 决策方法
一、决策背景研究方法
（一）决策背景的性质分析 决策背景具有不稳定性，并对决策工作产生复杂的影响，给决策者认知
二、活动方案生成与评价方法
（一）活动方案生成方法
3. 德尔菲法 德尔菲法依靠专家背靠背地发表意见，各抒己见，管理小组对专家们的意 见进行统计处理和信息反馈，经过几轮循环，使分散的意见逐步统一，最后达 到较高的预测精度。该法的不足之处是时间较长，费用较高。
数据挖掘导论第四章
Apply Model
Deduction
数据挖掘导论
Model Decision Tree
18
决策树归纳
Many Algorithms: Hunt’s Algorithm (one of the earliest) CART ID3, C4.5 SLIQ, SPRINT
2021年5月19日星期三
数据挖掘导论
6
4.3 决策树归纳
2021年5月19日星期三
数据挖掘导论
8
决策树: 例子
T id R e fu n d M a rita l T a x a b le S ta tu s In c o m e C h e a t
1 Yes
S in g le 1 2 5 K
2021年5月19日星期三
数据挖掘导论
10
决策树分类任务: 应用模型
Tid 1 2 3 4 5 6 7 8 9 10
10
Attrib1 Attrib2
Yes
Large
No
Medium
No
Small
Yes
Medium
No
Large
No
Medium
Yes
Large
No
Small
No
Medium
No
Small
No
Married 80K
?
10
Assign Cheat to “No”
2021年5月19日星期三
数据挖掘导论
17
决策树分类任务:学习模型
Tid 1 2 3 4 5 6 7 8 9 10
10
Attrib1 Attrib2
决策树_ID3算法共90页文档
进行评估。这些计数存储在混同矩阵（Confusion Matrix）的表格中，二元
分类问题混淆矩阵如下：
预测的类
类1 类0
实际 类1
f11
f10
的类 类0
f01
f00
准确率=正确的预测数/预测总数=（f11+f00）/(f11+f01+f10+f00) 差错率=错误的预测数/预测总数=（f10+f01）/(f11+f01+f10+f00)
第6章 决策树
决策树基本概念
关于归纳学习(2)
归纳学习的过程就是寻找一般化描述的过程。这种一般性 描述能够解释给定的输入数据，并可以用来预测新的数据。
锐角三角形内角和等于180度； 钝角三角形内角和等于180度； 直角三角形内角和等于180度；
三角形内角和 等于180度
已知三角形ABC，A角等于76度， B角等于89度，则其C角等于15度
第6章 决策树
决策树基本概念
从机器学习看分类及归纳推理等问题（2）
从这些不同的变形中选择最佳的假设（或者说权值集合）。 一般方法如定义为使训练值与假设值 预测出的值之间的误差平方 和E最小为最佳。
E
^
(Vtr(ba )iVn (b)2 )
b,V t r(ba)itn rainaim ngpelx es
第6章 决策树
决策树基本概念
关于归纳学习(3)
归纳学习由于依赖于检验数据，因此又称为检验学习。 归纳学习存在一个基本的假设：
任一假设如果能够在足够大的训练样本集中很好的逼 近目标函数，则它也能在未见样本中很好地逼近目标函数。 该假定是归纳学习的有效性的前提条件。
第6章 决策树
决策与博弈论第4章
2021/2/19
2
完美贝叶斯均衡吸取了子博弈完美纳什均衡和贝叶 斯均衡的精华，是贝叶斯均衡、子博弈完美均衡和贝叶 斯推断的结合。
子博弈完美纳什均衡：策略不仅必须是整个博弈的 纳什均衡，还必须是其中每一个子博弈的纳什均衡。
完美贝叶斯均衡：策略不仅必须是整个博弈的贝叶 斯纳什均衡，而且还必须构成每一个后续博弈的贝叶斯 纳什均衡。
第四章 不完全信息动态博弈
4.1.1 基本概念
不完全信息意味着至少有一个参与人拥有私人信息， 通常用类型表示拥有不同私人信息的参与人，类型由 “自然”或“上帝”给定。
博弈顺序： （1）“自然”选择参与人的类型，并 将类型告诉参与人自己，不告诉其他参与人，只将类型 分布告诉其他参与人；（2）参与人开始行动，参与人 的行动有先有后，后行动者能观察到先行动者的行动， 而不能观察到先行动者的类型。
2021/2/19
18
“啤酒和热狗”信号博弈
在啤酒和热狗博弈中，(Q |1, B |2)是发送者的一个分离策略，这里
Q |1 代表在发送者是软弱类型的情况下，选择热狗。如果 b d ，那 么，发送者的策略 (Q |1, B |2)和接收者的策略 (D | Q, N | B)以及后验概率
p 1 和 q 0 是这个博弈的完美贝叶斯均衡。这里 D | Q 代表在发送 者选择热狗的情况下，接收者选择冲突，也可以类似地解释 N | B。
类型，即后验概率 ( | m) 要么为0要么为1。
u1(i , mi , a(mi )) u1(i , mj , a(mj ))
2021/2/19
13
信号博弈的完美贝叶斯均衡
定义
混同均衡（pooling equilibrium）在这种均衡中，不同类型 的发送者选择了相同的信号，换句话说，没有任何类型选择与其 他类型不同的信号。这时，接收者无法从信号中得到新的信息， 也就无法对先验信念进行修正。因此，后验概率( | m) 等于自
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4.1预备知识 4.2解决分类问题的一般方法 4.3决策树归纳 4.4模型的过分拟合 4.5评估分类器的性质 4.6比较分类器的方法
分类任务：确定对象属于哪个预定义的目标类
例子： 1、根据电子邮件的标题和内容检查 出垃圾邮件。 2、根据星系的形状对它们分类。
0.1
0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 p
二元分类问题不纯性度量之间的比较
不同的不纯性度量是一致的，但是作为测试条件的属性选择仍然 因不纯性度量的选择而异。
为确定测试条件的效果，我们需要比较父结点（划分前）的不纯性程度和 子女结点（划分后）的不纯性程度，它们的差越大，测试条件的效果就越
性别
车型
男
女 家用 运动
顾客ID
豪华 v1
v20
v10 v11
C0:6 C1:4
C0:4 C0:1 C1:6 C1:3
C0:8 C1:0
C0:1 C0:1 … C0:1 C0:0 … C0:0 C1:7 C1:0 C1:0 C1:1 C1:1
（a）
（b）
（c）
选择最佳划分的度量通常是根据划分后子女结点不纯性的度量。不纯的 程度越低，类分布就越倾斜。例如（0,1）的结点具有零不纯性，而均衡 分布（0.5, 0.5）的结点具有最高的不纯性。不纯性度量的例子包括：
（1）算法的第二步所创建的子女结点可能为空，即不存在与这些结点相关 联的记录。如果没有一个训练记录包含这样的结点相关联的属性值组合，这 种情形就可能发生。这时，该结点成为叶结点，类标号为其父结点上训练记 录中的多数类。
（2）在第二步，如果与 Dt 相关联的所有记录都具有相同的属性值（目标属 性除外），则不可能进一步划分这些记录。在这种情况下，该结点为叶结点， 其标号为与该结点相关联的训练记录中的多数类。
椭圆状的星系
螺旋状的星系
分类任务的输入数据是记录的集合。每条记录也称实例或者样例， 用元组（x, y）表示，其中x是属性的集合，而y是一个特殊的属性， 指出样例的类标号（也成为分类属性或目标属性）。
分类？回归？
分类（classification）
通过学习得到一个目标函数（target function）f ， 也成为分类模 型（classification model），把每个属性集x映射到一个预先定义的类标 号y。
Test Set
Class ? ? ? ? ?
Learning algorithm
Induction Learn Model
Apply Model
Deduction
训练集：由类标号已知的记录构成 检验集：由类标号未知的记录构成
Model
二类问题的混淆矩阵
实际的类
类=1 类=0
预测的类
类=1
类=0
f11
Hunt算法
Tid
有房者
1
是
2
否
3
否
4
是
5
否
6
否
7
是
8
否
9
否
10
否
婚姻状况
单身 已婚 单身 已婚 离异 已婚 离异 单身 已婚 单身
年收入
125k 100k 70k 120k 95k 60k 220k 85k 75k 90k
拖欠贷款者
否 否 否 否 是 否 否 是 否 是
Hunt算法构造决策树
有房者
Gini 1 (3 / 6)2 (3 / 6)2 0.5 Entropy (3/ 6) log 2 (3/ 6) (3/ 6) log 2 (3/ 6) 1 Error 1 max[3/ 6,3/ 6] 0.5
1
熵
0.9
Gini
分类误差 0.8
0.7
0.6
0.5
0.4
0.3
0.2
决策树归纳的设计问题
（1）如何分裂训练记录？
树增长过程的每个递归步骤都必须选择一个属性测试条件，将 记录划分成较小的子集。为了实现这个步骤。算法必须提供为 不同类型的属性指定测试条件的方法，并且提供评估每种测试 条件的客观度量。
（2）如何停止分裂过程？
决策树需要有结束条件，以终止决策树的生长过程。一个可能 的策略是分裂结点，直到所有的记录都属于同一个类，或者所 有的记录都具有相同的属性值。
在Hunt算法中，通过将训练记录相继划分成较纯的子集，以递归方式 建立决策树。设Dt 是与结点t相关联的训练记录集，而y {y1, y2 , , yc} 是类标号，Hunt算法的递归定义如下。
（1）如果 Dt 中所有记录都属于同一个类 yt ，则t是叶结点，用 yt 标记。
（2）如果 Dt 中包含属于多个类的记录，则选择一个属性测试条件， 将记录划分成较小的子集。对于测试条件的每个输出，创建一个子女 结点，并根据测试结果将 Dt 中的记录分布到子女结点中。然后，对于 每个子女结点，递归地调用该算法。
开始，将测试条件用于检验记录，根据测试结果选择适当的分支。沿着该 分支或者到达另一个内部结点，使用新的测试条件，或者到达一个叶结点。 到达叶结点之后，叶结点的类标号就被赋值给该检验记录。
名字 火烈鸟
体温 恒温
胎生 否
……
类标号
……
？
是
哺乳动 物
恒温
体温
胎生 否
非哺乳 动物
冷血
非哺乳 动物
如何建立决策树
好。增益 是一种可以用来确定划分效果的标准：
I ( parent)
k j 1
N(v j ) N
I (v j )
其中，I(•) 是给定结点的不纯性度量，N是父结点上的记录总数，k是 属性值的个数，N (v j ) 是与子女结点v j 相关联的记录个数。
准确率
正确预测数 预测总数
ቤተ መጻሕፍቲ ባይዱf11
f11 f10
f 00 f01
f 00
同样，分类模型的性能也可以用错误率（error rate）来表示，其定 义如下：
错误率
错误预测数 预测总数
f11
f10 f 01 f10 f 01
f 00
目标：寻求最高的准确率或者最低的错误率
1、什么是决策树？ 类似于流程图的树结构 每个内部节点表示在一个属性上的测试 每个分枝代表一个测试输出 每个叶节点代表类或类分布
目的： 1、描述性建模 分类模型可以作为解释性的工具，用于区分不同类中的对象。 2、预测性建模 分类模型还可以用于预测未知记录的类标号。
名字 体温 表皮 胎生 水生 飞行 有腿 冬眠 类标
覆盖
动物 动物
号
毒蜥 冷血 鳞片 否 否 否 是 是 ？
输入属性集（x）
分类模型
输出类标号（y）
分类器的任务：根据输入属性集x确定类标号y
表示属性测试条件的方法 1、二元属性
二元属性的测试条件产生两个可能的输出。
体温
恒温
冷血
二元属性的测试条件
2、标称属性 由于标称属性有多个属性值，它的测试条件可以用两种方法表示。
婚姻状 况
婚姻状 况
单身 离异 多路划分
已婚
婚姻状 况
婚姻状 况
已婚
单身，离异
单身
已婚，离异 单身，已婚
二元划分（通过属性值分组）
对于给定的属性集，可以构造的决策树的数目达指数级。 尽管某些决策树比其他决策树更准确，但是由于搜索空间是 指数规模的，找出最佳决策树在计算上是不可行的。
尽管如此，人们还是开发了一些有效的算法，能够在合 理的时间内构造出具有一定准确率的次最优决策树。这些算 法通常都采用贪心策略。
有许多决策树算法: Hunt算法 信息增益——Information gain （ID3） 增益比率——Gain ration（C4.5） 基尼指数——Gini index (SLIQ，SPRINT)
Training Set
Class No No No No Yes No No Yes No Yes
Tid 11 12 13 14 15
10
Attrib1 Attrib2
No
Small
Yes
Medium
Yes
Large
No
Small
No
Large
Attrib3 55K 80K 110K 95K 67K
分类技术非常适合预测或描述二元或标称类型的数据集，对序数分类不 太有效，因为分类技术不考虑隐含在目标类中的序关系。
分类技术是一种根据输入数据集建立分类模型的系统方法。
分 类 技 术
这些技术都使用一种学习算法确定分类模型，修改这个模型能够很好地 拟合输入数据中类标号和属性集之间的联系。学习算法得到的模型不仅 要很好地拟合输入数据，还要能够正确地预测未知样本的类标号。 训练算法的目标：建立具有很好的泛化能力的模型。
Tid 1 2 3 4 5 6 7 8 9 10
10
Attrib1 Attrib2
Yes
Large
No
Medium
No
Small
Yes
Medium
No
Large
No
Medium
Yes
Large
No
Small
No
Medium
No
Small
Attrib3 125K 100K 70K 120K 95K 60K 220K 85K 75K 90K
内部结点（internal node）：恰好有一条入边和两条或多条出边。
叶节点（leaf node）或终结点（terminal node）：恰好有一条入边， 但没有出边。
体温
根结点
内部结点