CHAID决策树方法介绍
决策树算法介绍（DOC）
决策树算法介绍（DOC）3.1 分类与决策树概述3.1.1 分类与预测分类是⼀种应⽤⾮常⼴泛的数据挖掘技术，应⽤的例⼦也很多。
例如，根据信⽤卡⽀付历史记录，来判断具备哪些特征的⽤户往往具有良好的信⽤；根据某种病症的诊断记录，来分析哪些药物组合可以带来良好的治疗效果。
这些过程的⼀个共同特点是：根据数据的某些属性，来估计⼀个特定属性的值。
例如在信⽤分析案例中，根据⽤户的“年龄”、“性别”、“收⼊⽔平”、“职业”等属性的值，来估计该⽤户“信⽤度”属性的值应该取“好”还是“差”，在这个例⼦中，所研究的属性“信⽤度”是⼀个离散属性，它的取值是⼀个类别值，这种问题在数据挖掘中被称为分类。
还有⼀种问题，例如根据股市交易的历史数据估计下⼀个交易⽇的⼤盘指数，这⾥所研究的属性“⼤盘指数”是⼀个连续属性，它的取值是⼀个实数。
那么这种问题在数据挖掘中被称为预测。
总之，当估计的属性值是离散值时，这就是分类；当估计的属性值是连续值时，这就是预测。
3.1.2 决策树的基本原理1.构建决策树通过⼀个实际的例⼦，来了解⼀些与决策树有关的基本概念。
表3-1是⼀个数据库表，记载着某银⾏的客户信⽤记录，属性包括“姓名”、“年龄”、“职业”、“⽉薪”、......、“信⽤等级”，每⼀⾏是⼀个客户样本，每⼀列是⼀个属性（字段）。
这⾥把这个表记做数据集D。
银⾏需要解决的问题是，根据数据集D，建⽴⼀个信⽤等级分析模型，并根据这个模型，产⽣⼀系列规则。
当银⾏在未来的某个时刻收到某个客户的贷款申请时，依据这些规则，可以根据该客户的年龄、职业、⽉薪等属性，来预测其信⽤等级，以确定是否提供贷款给该⽤户。
这⾥的信⽤等级分析模型，就可以是⼀棵决策树。
在这个案例中，研究的重点是“信⽤等级”这个属性。
给定⼀个信⽤等级未知的客户，要根据他/她的其他属性来估计“信⽤等级”的值是“优”、“良”还是“差”，也就是说，要把这客户划分到信⽤等级为“优”、“良”、“差”这3个类别的某⼀类别中去。
决策树
Power BI 提供了强大的数据可 视化功能，可以轻松地创建和 共享决策树图表。它支持多种 数据源，并具有高度的自定义 性和交互性。
02
Tableau
Tableau 是一款功能强大的数 据可视化工具，也支持决策树 的可视化。它提供了丰富的图 表类型和可视化选项，以及强 大的数据分析和挖掘功能。
佳的过拟合现象。
提高泛化能力
剪枝后的决策树结构更为简洁，有 助于提高模型在新数据上的泛化能 力。
减少计算资源消耗
简化决策树结构可以降低模型训练 和预测的计算复杂度，节省计算资 源。
预剪枝策略及实现
设定决策树生长的最大深度
01
在决策树生长过程中，限制树的最大深度，防止树生长过于庞
大。
设定叶节点最小样本数
代价复杂性剪枝（Cost-Complexity Pr…
引入一个代价复杂性参数，通过最小化代价复杂性函数来实现剪枝，该函数权衡了模型复杂度与 训练误差。
最小描述长度剪枝（Minimum Descripti…
基于信息论原理，通过最小化描述决策树所需的编码长度来实现剪枝。
剪枝效果评估方法
交叉验证
将数据集划分为训练集和验证集，使用训练集生成不同剪枝程度的 决策树，在验证集上评估其性能，选择性能最优的剪枝程度。
• 交互性和动画：一些工具提供了交互性和动画功能，如鼠标悬停提示、节点点击事件、动态展示决策过程等。 这些功能可以帮助用户更好地理解和探索决策树的结构和逻辑。
• 布局和排列：决策树的可视化还需要考虑布局和排列的问题。不同的布局算法可以产生不同的可视化效果，如 垂直布局、水平布局、径向布局等。选择合适的布局算法可以使决策树的可视化更加清晰和易于理解。
决策树案例分析SPSS
给大家拜个晚年！这年也过完了，又要开始工作了！本想春节期间写写博客，但不忍心看到那么多的祝福被顶下去，过节就过个痛快的节日，不写了！直接上开心网，结果开了个“老友面馆”都经营到18级了！还是蛮开心的，但是我决定了从今天开始就不再玩了！今天我们来说说分类决策树的应用和操作！主要包括CHAID&CRT，是非常好用和有价值的多变量分析技术，∙CHAID——Chi-squared Automatic Interaction Detector卡方自交互侦测决策树∙CRT——Classification Regression Tree分类回归树；CHAID和CART是最有名的分类树方法，主要用于预测和分类。
在市场研究中经常用于市场细分和客户促销研究，属于监督类分析技术。
其中，树根节点是独立变量-因变量，例如：使用水平、购买倾向、用户或非用户、客户类型、套餐类别、细分类别等。
子节点基于独立变量和其他分类变量（父节点），按照卡方显著性不断划分或组合为树状结构。
预测变量一般也是非数量型的分类变量。
CHAID最常用，但独立变量只能是分类变量，也就是离散性的，CRT可以处理数量型变量，有时候二者结合使用。
CHAID和CRT都可以处理非数量型和定序性变量。
分类树方法产生真实的细分类别，这种类是基于一个独立变量得到的一种规则和细分市场。
也就是说，每一个树叶都是一个细分市场。
下面我们通过一个案例来操作SPSS软件的分类决策树模块假设我们有一个移动业务数据，包含有客户的性别、年龄、语音费用、数据费用、客户等级、支付方式和促销套餐变量。
我们现在期望能够得到针对不同的促销套餐来分析“客户画像”，这样有利于针对性的促销！也就是不同套餐客户特征描述！因变量是促销套餐，其它是预测变量或自变量！我们看到，首先要求我们定义变量的测量等级并定义好变量变标和值标！因为，CHAID 和CRT具有智能特性，也就是自交互检验和自回归能力，所以对变量测量尺度要求严格！为什么说变量测量等级重要呢？例如，我们有个变量叫学历（1-初中、2-高中、3-大专、4-本科、5-硕士以上），如果我们设定为定序变量，则决策树可以自动组合分类，但无论如何都是顺序组合，也就是说可能（1-初中、2-高中、3-大专）为一类，（4-本科、5-硕士以上）为一类，但绝对不会把1和5合并一类；如果我们定义为名义变量，则可以任意学历组合为某类了！基本原理：基于目标变量（独立变量）自我分层的树状结构，根结点是因变量，预测变量根据卡方显著性程度不断自动生成父节点和子节点，卡方显著性越高，越先成为预测根结点的变量，程序自动归并预测变量的不同类，使之成为卡方显著性。
简述决策树方法的具体步骤。
简述决策树方法的具体步骤。
决策树是一种常用的机器学习算法，其可以通过对数据集的特征进行划分来进行分类或预测。
决策树方法的具体步骤如下：1. 数据准备：收集需要进行分类或预测的数据，并进行数据清洗和预处理。
这包括数据的去重、缺失值处理、异常值处理等。
2. 特征选择：从数据集中选择最佳的特征作为决策树的根节点。
常用的特征选择方法有信息增益、信息增益比、基尼指数等。
3. 划分数据集：根据选择的特征，将数据集划分为多个子集。
每个子集都包含了特征取值相同的样本。
这一步骤会将数据集分为多个分支。
4. 递归构建决策树：对每个子集重复上述步骤，选择最佳的特征作为该子集的根节点，并将该子集划分为更小的子集。
这一过程会不断递归进行，直到满足停止条件为止。
5. 停止条件：构建决策树的过程中，需要设定一些停止条件，以防止过拟合。
常用的停止条件有：决策树的深度达到预定值、节点中的样本数小于阈值、节点中样本的类别完全相同等。
6. 剪枝：决策树的构建可能会过度拟合训练数据，导致泛化能力较弱。
为了解决这个问题，可以对决策树进行剪枝。
剪枝可以分为预剪枝和后剪枝两种方法。
预剪枝是在构建决策树时，在每次划分节点前进行估计，若划分后无显著提升，则停止划分。
后剪枝是在构建好决策树后，从底部开始，逐层向上对非叶节点进行剪枝操作。
7. 决策树的评估：使用测试数据集来评估决策树的性能。
常用的评估指标有准确率、召回率、精确率、F1值等。
8. 决策树的应用：使用构建好的决策树对新样本进行分类或预测。
将新样本从决策树的根节点开始，依次根据特征的取值选择分支，直到叶节点，即可得到分类或预测结果。
决策树方法是一种直观且易于理解的机器学习算法，其构建过程简单明了，并且可以处理多分类和连续型特征。
然而，决策树也有一些局限性，如容易过拟合、对数据的小变化敏感等。
为了克服这些问题，可以使用集成学习方法如随机森林、梯度提升树等来提高决策树的性能。
决策树方法是一种常用的机器学习算法，通过对数据集的特征进行划分来进行分类或预测。
经典决策树算法
经典决策树算法经典决策树算法是一种常用的机器学习算法，它通过构建一棵树形结构来进行分类或回归预测。
下面将介绍十个经典决策树算法及其特点。
1. ID3算法ID3算法是决策树算法中最早的一种，它使用信息增益来选择最优的划分属性。
ID3算法适用于离散型属性的分类问题，但对于连续型属性的处理较为困难。
2. C4.5算法C4.5算法是ID3算法的改进版，它引入了信息增益比来解决ID3算法的缺点。
C4.5算法还支持处理连续型属性，能够处理缺失值，并且可以生成带有概率估计的决策树。
3. CART算法CART算法是一种通用的决策树算法，可用于分类和回归问题。
CART算法使用基尼指数来选择最优的划分属性，能够处理连续型和离散型属性，也能处理缺失值。
4. CHAID算法CHAID算法是一种用于分类问题的决策树算法，它使用卡方检验来选择最优的划分属性。
CHAID算法能够处理离散型属性和有序离散型属性，但对于连续型属性的处理较为困难。
5. MARS算法MARS算法是一种基于决策树的回归算法，它使用逐步回归和最小二乘法来构建决策树。
MARS算法能够处理连续型和离散型属性，并且可以生成非线性的决策树。
6. Random Forest算法Random Forest算法是一种集成学习算法，它通过构建多棵决策树并进行投票来进行分类或回归预测。
Random Forest算法能够处理连续型和离散型属性，具有较高的准确性和鲁棒性。
7. Gradient Boosting算法Gradient Boosting算法是一种迭代的决策树算法，它通过逐步优化损失函数来构建决策树。
Gradient Boosting算法能够处理连续型和离散型属性，具有较高的准确性和泛化能力。
8. XGBoost算法XGBoost算法是一种基于梯度提升的决策树算法，它通过正则化和并行计算来提高决策树的性能。
XGBoost算法能够处理连续型和离散型属性，并且具有较高的准确性和效率。
Chap9_决策树
Boosting技术
Boosting技术用于机器学习中的有指导学习算法，包括建模和投票两个阶段 建模阶段 建立第一个模型时，训练样本集中的每个观测有相同的权重，即每个观测对模 型的影响程度是相同的。模型建立后，需要调整各个观测的权重，对第一个模 型未能正确预测的样本给予较高的权重，正确预测的样本给以较低的权重 准备建立第二个模型，根据权重重新构造训练样本集，权重越大的样本出现在 训练样本集中的可能性越高。因此，第二个模型重点关注的是第一个模型未能 正确预测的样本 同理，准备建立第三个模型，着重考虑第二个模型未能正确预测的样本。依次 进行下去。 投票阶段 不同的模型具有不同的权重，权重的大小与模型的误差成反比。 误差较小的模型有较高的投票权重，误差较大的模型有较低的投票权重 权重越高的模型，对决策结果的影响越大
无
无 无 有 有 无 无 无 有 有 无 有
Yes
Yes Yes No Yes No Yes Yes Yes Yes Yes No
决策树的算法
C5.0：以信息增益率为标准确定决策树的分枝准则，寻找最佳分 组变量和分割点。 CART：以基尼系数和方差确定最佳分组变量和分割点，目标变量 可以是分类型也可以是数值型，只能建立二叉树。 CHAID：从统计显著性角度确定当前最佳分组变量和分割点。 QUEST：最佳分组变量和分割点的确定方式吸纳了许多统计学的经 典方法。
第九章 决策树
第九章 决策树
9.1 9.2 9.3 9.4 9.5 决策树算法基本原理 C5.0算法及应用 分类回归树算法（CART）及应用 CHAID算法及应用 QUEST算法及应用
9.1 决策树算法基本原理
决策树最早源于人工智能的机器学习技术，用以实现数据内在规 律的探究和新数据对象的分类预测。 其核心算法较为成熟，很早就被各类智能决策系统所采纳。 由于决策树算法具有出色的数据分析能力和直观易懂的结果展示 等特点，因此被纳入数据挖掘范畴，成为备受广大数据挖掘用户 青睐、使用最为广泛的分类预测算法之一。
决策树的训练算法
决策树的训练算法
决策树的训练算法主要有以下几种：
1. ID3算法：ID3（Iterative Dichotomiser 3）是一种用于决策树学习的经典算法。
它基于信息熵的概念，通过计算每个特征的信息增益来选择最优的划分特征。
2. C4.5算法：C4.5算法是ID3算法的改进版，它在选择划分特征时使用信息增益比来解决ID3算法中对取值较多的特征有偏好的问题。
此外，C4.5算法还支持处理连续特征。
3. CART算法：CART（Classification and Regression Tree）算法是一种用于生成二叉决策树的算法。
它根据基尼系数来选择最优的划分特征，并使用回归树或分类树来处理连续特征。
4. CHAID算法：CHAID（Chi-square Automatic Interaction Detector）算法是一种适用于分类问题的决策树算法。
它使用卡方检验来选择最优的划分特征，并根据卡方统计量的值来评估特征的重要性。
5. 梯度提升决策树（GBDT）算法：GBDT算法是一种集成学习算法，它将多颗决策树进行级联，每颗树的输出作为下一颗树的输入。
GBDT通过梯度下降的方式逐步优化模型的预测能力。
这些算法在决策树的构建过程中采用不同的策略和指标，适用于不同类型的数据和问题。
在实际应用中，可以根据数据特点和问题需
求选择合适的算法进行训练。
如何找到你的细分目标用户？试试这个决策树!
如何找到你的细分目标用户？试试这个决策树！我们最常用的细分用户方式是聚类分析。
但是如果你针对某一个关键指标，找到在这个指标上差异最大的细分人群，可以试试用决策树来细分用户。
在近期的项目中，业务方提到了一个问题：因为内容的曝光量少，没有很好的基础数据作为推荐算法输入，希望通过调研指导内容投放的冷启动，知道要给哪些特征的用户投放哪些内容。
针对这个问题如果只是单单分析一个特征的结果，可能会把一些重要的属性组合淹没在了特定人群中。
比如举一个不真实的例子，如果对用户购买美妆产品行为进行分析，只看男女数据分析，我们会发现相比于女性，男性几乎是不购买美妆产品的。
但是如果针对性别进一步拆分年龄，我们会发现 95 后的男性也有较高的美妆购买行为，如果只看性别分析这个对美妆有高需求的特殊男性人群就会被忽视。
但是可以分析的用户属性很多，如果手动组合分析就非常的不方便。
这个时候就可以用决策树分析来解决这个问题。
什么是决策树？决策树是一种细分用户的方式。
不同于聚类细分用户，决策树细分用户中有一个目标变量的概念。
决策树的细分目的就是通过逐层划分不同解释变量值获得多属性组合细分人群，使得细分人群在目标变量上表现区隔度尽可能的大。
解释变量就是用户特征，比如人口学、消费特征、用户行为数据等。
目标变量则是我们调研中关心的核心指标。
它有两种类型，分别服务于两种不同目的。
描述目的：在市场调研中目标变量一般是二分变量。
比如在上述问题需求中，就是用户对某个内容是否偏好，通过决策树我们可以知道有哪些特征组合的用户群体对产品偏好度高，哪些更低。
预测目的：这种情况下目标变量是类别变量。
比如目标变量有四个值，分别代表A\B\C\D 四个品牌，通过决策树可以知道哪些特征组合的人群更偏好哪个品牌，可以输出判别的规则作为预测模型。
决策树的原理是什么？决策树算法中 CHAID 和 exhaustive CHAID 在结果的简洁度和区隔度上表现都更好是最常用的算法。
CHAID决策树方法介绍
可供市场细分旳变量
地理变量
地域、城市
人口变量
年龄，性别， 家庭规模，生命周
期, 收入
社会心理
社会阶层，生活方式 性格
行为变量
场合，利益， 使用量
CHAID旳应用背景
SPSS Answer Tree
• SPSS Answer Tree 3.0集成了CHAID, CART,QUEST等决策树措施。 • SPSS Answer Tree操作以便，能够很轻易地就能比较群体轮廓和细
分市场。 • 4个模块都是经过检验数据库中全部可供分类旳变量，来将自变量
划分为最佳旳小类。 • CHAID——迅速高效多树型分析法，速度快； • 完全CHAID——完全多树型分析法，每步分为最明显旳2类，相对
市场细分技术
培训简介
主要内容
• 市场细分旳统计措施简介 • 市场细分旳基本原理 • 聚类分析 • 因子分析+主成份分析 • 鉴别分析+logistic回归 • 分类树CHAID与Conjoint
有关Conjoint Analysis
• 培训简介旳依然是老式旳Conjoint分析--全轮廓(Full Profile)法
• CHIAD能够自动归并自变量中类别，使之明显性到达最大。 • 最终旳每个叶结点就是一种细分市场
CHAID旳合用范围
• 当预测变量是分类变量时，CHAID措施最合适。对于 连续型变量，CHAID在缺省状态下将连续变量自动分 为10段处理，但是可能有漏掉。
• 当预测变量是人口统计变量时，研究者能够不久找出 不同细分市场特征，免除对交叉分析表归并与检验之 苦。
logistics回归,最优尺度回归,决策树
Logistics 回归
灵灵灵 灵灵灵
灵 灵 灵 灵 灵 灵 灵 灵 ROC 灵 灵
1.00
0.75
0.50
0.25
0.00 0.00
0.25
0.50
0.75
1.00
1-灵灵灵
ROC 灵 灵 灵 灵 灵 灵
自变量为数值型变量时 不宜选用此方法
结果不稳定； 样本量要求较高
Thanks
The End
血小板取自然对数后明显减弱了异常值的影响年龄收缩压舒张压ln血小板箱式图中均没有明显极端值年龄舒张压收缩压统计描述ln血小板logistics回归logistics单因素分析结果10logistics回归多因素分析结果单因素有意义多因素分析结果逐步回归激素对预防迟发型脑损伤的保护性作用最大即使用激素后脑损伤的发生风险会下降至原先的e9988211logistics回归12logistics回归将结果直接输出到一个word文档中logistic多因素odsrtffilemultirtf
较难，而CRT原理简单，根据本案例的分析目的，首选CRT。 （3）可要求树模型同时输出对候选自变量的重要性分析，以验证
logistics模型的变量筛选结果是否正确。 （4）树模型在结构上对样本进行反复拆分，对样本量要求较高。
但本案例201例样本太少，因此我们尽量放宽拟合条件，暂时不考 虑剪枝问题。
SPSS操作步骤
▶根据因变量类型，决策树可分为分类树和回归树两大类。
▶基本结构：根、叶、分支
决策树
▶基本思想：与方差分析中的变异分解极为相近，将总研究人群 通过某些特征（自变量）分成数个相对同质的亚人群。采用自顶向 下的方法，在决策树的内部结点进行属性值的比较并根据不同属性 值判断从该节点向下的分支，在树的叶节点得到结论。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
可供市场细分的变量
地理变量
地区、城市
人口变量
年龄，性别， 家庭规模，生命周 期, 收入
社会心理
社会阶层，生活方式 性格
行为变量
场合，利益， 使用量
Байду номын сангаас
CHAID的应用背景
• 对于判别分析与Logistical回归中的自变量，通常要求 是定距变量（Interval Scaled) • 但是在调查中，人口统计变量通常是类型变量 （Category)或离散变量,而且通常是多个类型的变量。 • CHAID提供了一种在多个自变量中自动搜索能产生最 大差异的变量方案
CHAID界面1
模型选择
CHAID 界面2
目标变量
预测变量
定义变量类型
频率变量（加权）
CHAID界面3
不校验树图
CHAID界面4
高级选项中有一些关于模型的重要选项
CHAID输出结果图
检验统计量 二级变量 二级变量 一级变量
三级变量
Gain Table
最终的5个节点 （细分市场）
细分市场的利润指数
CHAID方法
• CHAID(卡方自动交互检测Chi-Square Automatic Interaction Detection)是一种基于目标变量自我分层的方法。 • 在形式上，CHAID非常直观，它输出的是一个树状的图形。 • 它以因变量为根结点，对每个自变量进行分类，计算分类的卡方 值。如果几个变量的分类均显著，则比较这些分类的显著程度 （P值的大小），然后选择最显著的分类法作为子节点。 • CHIAD可以自动归并自变量中类别，使之显著性达到最大。 • 最后的每个叶结点就是一个细分市场
SPSS Answer Tree
• SPSS Answer Tree 3.0集成了CHAID, CART,QUEST等决策树方法。 • SPSS Answer Tree操作方便，可以很容易地就能比较群体轮廓和细 分市场。 • 4个模块都是通过检查数据库中所有可供分类的变量，来将自变量 划分为最佳的小类。 • CHAID——快速高效多树型分析法，速度快； • 完全CHAID——完全多树型分析法，每步分为最显著的2类，相对 较慢；但分类结果可能更加全面。 • CART(分类和回归树)——一种完全两分类树型分析法则，用来分 割数据和产生精确的同质性子集； • QUEST——只能在目标变量是类型变量的时候采用。
案例
• 在碳酸饮料市场细分研究中，我们探索是否可以根据对碳酸饮料 的消费行为差异来细分市场。 • 我们调查了消费者的每周消费量以及与消费者相关的背景资料 （地区、年龄、性别、收入类型、教育、婚姻，家庭规模等） • 在传统方法上，我们可以通过检查背景资料交叉表，看不同类型 消费者的消费量是否存在差异。但是，这种检查非常费时，而且 容易造成遗漏。 • 通过决策树模型，可以迅速地检查按照每个预测（背景）变量分 类可能产生的结果，并可以对分类自动归并，选择最佳分类方式， 从而达到每个细分市场差异最大化的目的。
CHAID的适用范围
• 当预测变量是分类变量时，CHAID方法最适宜。对于 连续型变量，CHAID在缺省状态下将连续变量自动分 为10段处理，但是可能有遗漏。 • 当预测变量是人口统计变量时，研究者可以很快找出 不同细分市场特征，免去对交叉分析表归并与检查之 苦。
CHAID的分析步骤
• 确定因（目标）变量：因变量在市场研究中通常是消 费者对产品的购买/使用行为，比如是否某产品的购买 者等。 • 确定自变量（预测变量）：自变量的确定相对简单， 可以选择较多的变量让计算机自动挑选：地理变量、 人口统计变量、生活方式等心理变量。 • 分析GAIN TABLE，解释分类结果。
演示：9901.sav
关于其它决策树方法
• 除了CHAID方法之外，其他方法CART, QUEST, C5.0 (在SPSS的数据挖掘软件中 Clementine中采用)等方法均 可以用于市场细分。
• CHAID 作用一种最常见的决策树方法，已经被许多市 场研究公司为作市场细分的基础工具。
问题？
市场细分技术
培训介绍
主要内容
• • • • • • 市场细分的统计方法简介 市场细分的基本原理 聚类分析 因子分析+主成份分析 判别分析+logistic回归 分类树CHAID与Conjoint
关于Conjoint Analysis
• 培训介绍的仍然是传统的Conjoint分析--全轮廓(Full Profile)法 • 介绍了SPSS正交设计产生的方法 • SPSS中Conjoint语法 • SPSS中Conjoint结果解释 • Conjoint市场占有模拟