数据挖掘
什么是“数据挖掘”
什么是“数据挖掘”
数据挖掘是一种计算机技术，通过使用统计学、人工智能和机
器研究等方法，从大量的数据中提取出有价值的信息和知识。
它可
以帮助人们更好地理解数据，发现数据之间的内在关系和模式，从
而为决策和问题解决提供支持。
数据挖掘的目标是通过自动化的技术，从数据中提取出有用的
信息。
这些信息有助于预测未来事件、优化业务流程、发现隐藏的
模式和关联等。
数据挖掘可以应用于各个领域，如市场营销、金融、医疗、社交网络等。
数据挖掘的过程一般包括以下步骤：
1. 数据收集：收集需要分析的数据，可以是结构化的数据（如
数据库中的数据），也可以是非结构化的数据（如文本、图像等）。
2. 数据预处理：清洗和转换数据，去除噪音、处理缺失值和异
常值等。
3. 特征选择：选择对挖掘任务有意义的特征，减少数据维度。
4. 数据挖掘：使用合适的算法和技术，探索数据中的模式、趋势和关联。
5. 模型评估：评估挖掘结果的准确性和可靠性。
6. 知识表示：将挖掘得到的知识和信息呈现给用户，并提供可解释性和可视化的方式。
数据挖掘常用的技术和算法包括聚类分析、分类分析、关联规则挖掘、时序分析和预测等。
这些技术和算法可以根据不同的需求和挖掘目标进行选择和组合。
总之，数据挖掘是一种强大的技术，可以从数据中发现潜在的价值和知识。
它在各个领域的应用不断增加，对提升决策和解决问题起到了重要的作用。
数据挖掘综述
数据挖掘综述引言：数据挖掘是一种通过自动或者半自动的方法，从大量数据中发现隐藏在其中的有价值的信息的过程。
随着大数据时代的到来，数据挖掘在各个领域中的应用越来越广泛。
本文将对数据挖掘的概念、应用领域、技术方法、挑战和未来发展进行综述。
一、数据挖掘的概念1.1 数据挖掘的定义数据挖掘是指通过应用统计学、机器学习、人工智能等技术，从大规模数据集中提取出实用的信息和模式的过程。
1.2 数据挖掘的目标数据挖掘的目标是通过发现数据中的潜在规律和关联，为决策提供支持，并发现新的商业机会。
1.3 数据挖掘的基本步骤数据挖掘的基本步骤包括问题定义、数据采集和清洗、特征选择和变换、模型构建、模型评估和应用。
二、数据挖掘的应用领域2.1 金融领域数据挖掘在金融领域中被广泛应用，如信用评估、风险管理、欺诈检测等。
2.2 零售领域数据挖掘在零售领域中可以匡助企业进行销售预测、市场细分、推荐系统等。
2.3 医疗领域数据挖掘在医疗领域中可以用于疾病预测、药物研发、医疗资源优化等。
三、数据挖掘的技术方法3.1 分类与预测分类与预测是数据挖掘中常用的技术方法，通过构建模型来预测未来的结果或者分类新的数据。
3.2 聚类分析聚类分析是将数据集中的对象划分为不同的组，使得组内的对象相似度高，组间的相似度低。
3.3 关联规则挖掘关联规则挖掘是寻觅数据集中的频繁项集和关联规则，用于发现数据中的相关性和规律。
四、数据挖掘的挑战4.1 数据质量问题数据挖掘的结果受到数据质量的影响，数据质量不高会导致挖掘结果不许确。
4.2 隐私保护问题在数据挖掘过程中，可能涉及到用户的隐私信息，如何保护用户隐私是一个重要的挑战。
4.3 大数据处理问题随着数据量的增加，如何高效地处理大规模数据成为数据挖掘中的难题。
五、数据挖掘的未来发展5.1 深度学习与数据挖掘的结合深度学习作为一种强大的机器学习方法，与数据挖掘的结合将会进一步提升数据挖掘的能力。
5.2 增强学习的应用增强学习是一种通过试错来优化决策的方法，将其应用于数据挖掘领域可以发现更多的隐藏规律。
什么叫数据挖掘_数据挖掘技术解析
什么叫数据挖掘_数据挖掘技术解析数据挖掘（data mining）是指从大量的资料中自动搜索隐藏于其中的有着特殊关联性的信息的过程。
在全世界的计算机存储中，存在未使用的海量数据并且它们还在快速增长，这些数据就像待挖掘的金矿，而进行数据分析的科学家、工程师、分析员的数量变化一直相对较小，这种差距称为数据挖掘产生的主要原因。
数据挖掘是一个多学科交叉领域，涉及神经网络、遗传算法、回归、统计分析、机器学习、聚类分析、特异群分析等，开发挖掘大型海量和多维数据集的算法和系统，开发合适的隐私和安全模式，提高数据系统的使用简便性。
数据挖掘与传统意义上的统计学不同。
统计学推断是假设驱动的，即形成假设并在数据基础上验证他；数据挖掘是数据驱动的，即自动地从数据中提取模式和假设。
数据挖掘的目标是提取可以容易转换成逻辑规则或可视化表示的定性模型，与传统的统计学相比，更加以人为本。
数据挖掘技术简述数据挖掘的技术有很多种，按照不同的分类有不同的分类法。
下面着重讨论一下数据挖掘中常用的一些技术：统计技术，关联规则，基于历史的分析，遗传算法，聚集检测，连接分析，决策树，神经网络，粗糙集，模糊集，回归分析，差别分析，概念描述等十三种常用的数据挖掘的技术。
1、统计技术数据挖掘涉及的科学领域和技术很多，如统计技术。
统计技术对数据集进行挖掘的主要思想是：统计的方法对给定的数据集合假设了一个分布或者概率模型（例如一个正态分布）然后根据模型采用相应的方法来进行挖掘。
2、关联规则数据关联是数据库中存在的一类重要的可被发现的知识。
若两个或多个变量的取值之I司存在某种规律性，就称为关联。
关联可分为简单关联、时序关联、因果关联。
关联分析的目的是找出数据库中隐藏的关联网。
有时并不知道数据库中数据的关联函数，即使知道也是不确定的，因此关联分析生成的规则带有可信度。
3、基于历史的MBR（Memory-based Reasoning）分析先根据经验知识寻找相似的情况，。
数据挖掘入门
数据库
数据仓库
知识库
13
三、数据挖掘方法
3.1 可以分别按挖掘任务、挖掘对象和挖掘方法来分 类。
1. 按挖掘任务分类：包括分类或预测知识模型发 现，数据总结，数据聚类，关联规则发现，时
序模式发现，依赖关系或依赖模型发现，异常 和趋势发现等。
2. 按挖掘对象分类：包括关系数据库，面向对象 数据库，空间数据库，时态数据库，文本数据
8. 模式解释：对在数据挖掘步骤中发现的模式 （知识）进行解释。通过机器评估剔除冗余或 无关模式，若模式不满足，再返回到前面某些 处理步骤中反复提取。
9. 知识评价：将发现的知识以用户能了解的方式 呈现给用户。其中也包括对知识一致性的检查， 以确信本次发现的知识不会与以前发现的知识 相抵触。
2024/2/21
2.1 KDD定义 人们给KDD下过很多定义，内涵也各不
相同，目前公认的定义是由Fayyad等人提出 的。
所谓基于数据库的知识发现(KDD)是指 从大量数据中提取有效的、新颖的、潜在 有用的、最终可被理解的模式的非平凡过 程。
2024/2/21
4
2.2 KDD过程
KDD是一个人机交互处理过程。该过程 需要经历多个步骤，并且很多决策需要由 用户提供。从宏观上看，KDD过程主要经 由三个部分组成，即数据整理、数据挖掘 和结果的解释评估。
➢ 机器学习方法可分为：归纳学习方法（决策树、规则归 纳等），基于范例学习，遗传算法等。
➢ 神经网络方法可以分为：前向神经网络（BP算法等）， 自组织神经网络（自组织特征映射、竞争学习等）。
➢ 数据库方法分为：多为数据分析和OLAP技术，此外还 有面向属性的归纳方法。
2024/2/21
15
数据挖掘技术分类
第六章 数据挖掘概述
数据理解
数据准备 数据 建立模型
模型评估
业务理解（Business Understanding） 阶段
确定业务目标：分析项目的背景，从业务视点分析 项目的目标和需求，确定业务角度的成功标准； 项目可行性分析：分析拥有的资源，条件和限制， 风险估计，成本和效益估计； 确定数据挖掘目标：明确确定数据挖掘的目标和成 功标准，数据挖掘的目标和业务目标是不一样的， 前者指技术上的，例如生成一棵决策树等； 提出项目计划：对整个项目做一个计划，初步估计 用到的工具和技术。
主要功能
例2：对比移动电话费月消费额超出1000元的 客户群与移动电话费月消费额低于100元的 客户群。 利用数据挖掘可作出如下描述：移动电 话月消费额超出1000元的客户80％以上年龄 在35－50岁之间，且月收入5000元以上；而 移动电话月消费额低于100元的客户60％以 上要么年龄过大要么年龄过小，且月收入 2000元以下。
数据挖掘与其他科学的关系
数据库系统 统计学
机器学习
数据挖掘
可视化
算法
其他学科
实施数据挖掘的目的
不再是单纯为了研究，更主要的是为商业决 策提供真正有价值的信息，进而获得利润。 所有企业面临的一个共同问题是：企业数据 量非常大，而其中真正有价值的信息却很少， 因此需要从大量的数据中经过深层分析，获 得有利于商业运作、提高竞争力的信息，就 像从矿石中淘金一样，数据挖掘也由此而得 名。
数据挖掘的应用
数据分析和决策支持
市场分析和管理 目标市场, 客户关系管理 (CRM), 市场占有量分析, 交 叉销售, 市场分割 风险分析和管理 风险预测, 客户保持, 保险业的改良, 质量控制, 竞争分 析 欺骗检测和异常模式的监测 (孤立点)
什么是数据挖掘
什么是数据挖掘数据挖掘（Data Mining）是指通过对大量数据的分析和挖掘，发现其中潜在的、之前未知的、有价值的信息和规律的过程。
它是从大数据中提取有效信息的一种技术手段，可以帮助人们更好地了解和利用数据。
在现代社会中，数据已经成为各个领域的核心资源，例如金融、医疗、零售、社交网络等等。
然而，随着数据量的不断增大，人们发现单纯的查找和浏览已经无法满足对数据的深入理解和分析。
这时，数据挖掘技术的应用就显示出了它的重要性。
数据挖掘的目标是通过运用统计学、人工智能、机器学习等多种方法，寻找出隐藏在数据中的模式、关联规则、趋势和异常信息。
通过对这些信息的分析和挖掘，有助于人们发现数据中存在的价值，从而做出合理决策、改善业务流程，并为未来的发展提供决策支持。
数据挖掘的过程可以分为几个主要步骤。
首先是数据的预处理，包括数据清洗、去除噪声、处理缺失值等，以确保数据的准确性和完整性。
其次是特征选择，通过选择最有价值的特征，减少了数据集的维度，并提高了模型的准确性和解释性。
然后是模型构建，利用统计学和机器学习算法来建立预测模型或分类模型。
最后是模型评估和应用，通过评估模型的性能和应用模型的结果来验证模型的有效性。
数据挖掘在各个领域都有广泛的应用。
在商业领域，数据挖掘可以帮助企业分析市场趋势、客户行为，并制定相应的营销策略。
在医疗领域，数据挖掘可以用于诊断支持、药物研发和疾病预测。
在信息安全领域，数据挖掘可以帮助识别网络攻击和异常行为。
在社交网络领域，数据挖掘可以用于用户画像分析、推荐系统等。
然而，数据挖掘也存在一些挑战和风险。
首先是数据质量问题，不完整、不准确的数据可能导致挖掘结果的不准确性。
其次是隐私保护问题，许多数据挖掘任务需要使用个人隐私数据，因此在数据挖掘过程中要注意保护个人隐私。
另外，过度依赖数据挖掘结果也可能导致误导和错误决策的风险，需要在决策过程中综合考虑多个因素。
总的来说，数据挖掘是一种重要的技术手段，可以帮助人们从海量数据中发现有用的信息，提高决策的准确性和效率。
数据挖掘技术
数据挖掘技术的 算法
聚类算法
K-means算法
层次聚类算法
DBSCAN算法
谱聚类算法
分类算法
决策树算法
朴素贝叶斯算法
K最近邻算法 支持向量机算法
关联规则挖掘算法
应用场景：市场篮子分析、 序列模式发现等
定义：从大量数据中挖掘出 有趣的关系
算法分类：Apriori、FPGrowth等
评估指标：支持度、置信度 等
去除无效或错误数据 填充缺失值 去除噪声数据 数据规范化
数据探索
数据收集：获取需要挖掘的数据集 数据清洗：去除重复、错误或不完整的数据 数据预处理：对数据进行转换或归一化处理，使其更易于分析和挖掘 数据探索：通过可视化、统计等方法探索数据集，发现其中的模式和规律
模型建立
数据预处理：清洗、整理 数据，提高数据质量
掌握数据预处理 和数据清洗的方 法
实践项目，提升 技能
选择合适的数据挖掘工具和平台
根据需求选择工具：考虑需要 解决的问题类型、数据类型、 数据量等因素
选择易用的平台：降低学习成 本，提高效率
考虑平台的可扩展性：随着业 务变化，需要不断扩展工具和 平台的能力
考虑成本效益：根据预算选择 合适的工具和平台
农业环境监测： 通过数据挖掘 技术，实时监 测农业环境的 变化，保障农 业生产的安全
数据挖掘技术的 优势与局限
数据挖掘技术的优势
发现隐藏在大量数据中的有用信息
揭示企业业务的内在规律和模式
自动化决策支持：基于数据挖掘的决策支持系统可以提高决策的效率和准确性
预测未来趋势：通过数据挖掘技术对历史数据进行深入分析，可以预测未来的市场趋势和业务发展 动向。
特征提取：从数据中提取 有用的特征
数据挖掘
基于聚类分析的孤立点挖掘方法1、数据挖掘数据挖掘是应用一系列技术从大型数据库或者数据仓库的数据中提取人感兴趣的，隐含的、事先未知而潜在有用的，提取的知识表示为概念、规则、模式等形式的信息和知识。
简言之，据挖掘就是从大量的、不完全的、有噪声的、模糊的、随的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息知识的过程。
因此，数据挖掘事实上是知识发现的一个特定步骤，它是一种智能化的、综合应用各种统计分析、数据库、智能语言来分析庞大数据资料的技术，或者说是对大容量数据及数据间系进行考察和建模的方法集。
数据挖掘的目标是将大容量数据转化为有用知识和信息。
它的目的，就是拓展更加有效的利用已有数据，拓展应用。
数据开采技术的目标是从大量数据中，发现隐藏于其后的规律或数据间的关系，从而服务于决策。
因此，数据挖掘一般有以下5类主要任务：( 1 ) 数据总结：数据总结目的是对数据进行浓缩，给出它的总体综合描述。
过对数据的总结，数据挖掘能够将数据库中的有关数据从较低的个体层次抽总结到较高的总体层次上，从而实现对原始基本数据的总体把握。
( 2 ) 分类：分类即分析数据的各种属性，并找出数据的属性模型，确定哪些据属于哪些组。
这样我们就可以利用该模型来分析已有数据，并预测新数据属于哪一个组。
( 3 ) 关联分析：数据库中的数据一般都存在着关联关系，也就是说，两个或多个变量的取值之间存在某种规律性，包括关联关系有简单关联和时序关联两。
( 4 ) 聚类：聚类分析是按照某种相近程度度量方法，将用户数据分成一系列有意义的子集合。
( 5 ) 偏差的检测：对分析对象的少数的、极端的特例的描述，揭示内在的原因。
目前，研究数据挖掘的方法有很多，这些数据挖掘工具采用的主要方法包括传统统计方法，可视化技术，决策树、相关规则、神经元网络、遗传算法等。
下面分类阐述。
( 1 ) 传统统计方法：包括：抽样技术，多元统计分析，统计预测方法等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一、数据挖掘概述1、数据挖掘定义：通过自动或半自动化的工具对大量的数据进行探索和分析的过程，其目的是发现其中有意义的模式和规律。
——数据挖掘是一门技能，不是一种现成的产品。
2、数据挖掘能做什么6种方法：分类（classification）、估计（estimation）、预测（prediction）、组合或关联法则（affinity grouping or association rules）、聚类（clustering）、描述与可视化（description and visualization）前三种方法属于直接的数据挖掘，目标是应用可得到的数据建立模型，用其他可得到的数据来描述我们感兴趣某一变量。
后三种方法属于间接的数据挖掘，没有单一的目标变量，目标是在所有变量中发现某些联系。
1）分类：其特点是先对不同的类别加以定义，并由预先分类的样本构成训练集。
任务是建立一个模型并应用这一模型对未分类数据进行分类。
分类处理的是离散的结果。
2）估计处理的是连续的结果。
3）组合法的任务是确认哪些事物会一起出现。
4）聚类的任务是将相似的事物分成一类，差异较大的事物分在不同的类中。
聚类与分类的区别是聚类并不依赖于事先确定好的组别。
3、技术层面的数据挖掘1）算法与技巧2）数据3）建模实践二、数据挖掘方法论：互动循环系统1、数据挖掘的两种类型一种是自上而下的方法，称之为有监督的数据挖掘方法，当明确知道要搜索的目标时，可以是用这种方法。
一种是自下而上的方法，称之为无监督的数据挖掘方法，实际就是让数据解释自己。
此方法是在数据中寻找模式，然后把产生的结果留给使用者去判断其中哪些模式重要。
数据挖掘的结果通常是这两种方法的结合。
1）有监督的数据挖掘黑匣子模型：使用一个或多个输入值产生一个输出的模型。
我们并不关心模型如何运作，那只是黑盒子，我们只关心可能的最优结果。
我们根据已知事例，分析其相关资料，将分析结果用在从未联络的潜在客户，这样的模型称之为预测模型。
预测模型使用历史记录来计算某些相应结果中的得分。
成功预测的要领之一是拥有足够支持结果的数据来训练模型。
2）无监督的数据挖掘半透明模型：有时需要使用模型能够得到与数据相关的重要信息，我们也需要了解模型的运作细节，这就好比一组半透明的盒子。
2、数据挖掘的互动循环过程数据挖掘的互动过程是一种高层次的流程，由四个重要的业务过程所构成：理解业务问题；将数据转换成可执行的结果；结果实施过程；评价结果的实施。
3、将数据转换成可操作的决策数据挖掘的核心是将数据转换为可操作的结果。
建立模型的第一步是确认和获得合适的数据。
首先要考虑得到的数据是否符合解决企业业务问题的需要；在建模的时候需要尽可能完整的数据。
------将数据转换成具有合适粒度的数据。
粒度是指建模数据的级别大小。
------加入衍生变量是数据挖掘过程的第三步。
衍生变量值是合并原始数据生成的结果。
------准备建模数据集，将数据集分成三部分：训练数据集、测试数据集、评估数据集。
------将结果生成决策。
可以赋之以行动的结果有如下几种不同的表现方式：新的认知；用于特定商业活动的结果；可被储存的结果；周期性预测结果；实时得分；修复数据。
预测模型在使用（生成得分）之前必须得到训练（构建）：训练模型是使用历史数据和待预测信息已知的数据创建模型的过程。
较多的近期数据+ 预测模型 预测、可信度用预测模型产生评分是这样一个过程，它将模型应用到未来的数据中，预测未来。
预测模型的成功应用依赖于三个假定：1）过去是将来的预言家。
2）数据是可获得的。
3）数据中应包括我们的预期目标。
三、客户和他们的生命周期1、谁是企业的客户客户大致分为两种类型：消费者（consumer）和企业客户（business customer）。
1）消费者经济营销单位是市场营销中对客户的描述。
由于客户在经济活动中的多重身份，客户的答案也不统一，具体表现如下：行为身份（action role），表示对某项互动活动的个体或实体；所有权身份（ownership role），表示拥有某项经济活动所有权的个体或实体；决策身份（decision making role），表示具有制定和影响购买决策和行为的个体或实体，这种身份用于家庭。
2）企业客户消费者的身份是购买最终产品和服务，而企业客户的身份是向你行销、出售、提供产品和服务。
企业客户间的关系更加复杂。
市场行销中的间接关系，是客户的关系变得异常复杂。
由于客户关系的越趋复杂，分析这些关系时必须考虑到企业中介的作用。
普通消费者和企业客户最大区别在于有没有账户管理团队（account management team）的存在。
从合作的角度，数据挖掘必须能够支持账户管理系统。
3）客户市场细分指的是将客户划分为互不相交的不同的类别。
2、客户的生命周期1）客户的生命周期指的是一个客户和一个企业之间不同的关系阶段，它直接影响到客户对一个公司的长期价值。
一般认为有如下三种方法提升客户的价值：对客户已有产品增添新功能，或者说提升产品的购买价值；向客户出售更多、更容易升级的产品；使客户能长期购买本公司的产品。
客户的背景资料是客户和公司商业交往中的详细档案。
2）客户生命周期的不同阶段3）客户生命周期中的重要事件4）客户生命周期中不同时段所产生的资料未来潜在客户的资料通常最少。
响应资料指的是客户对促销活动所做出的反应的资料。
3、客户的生理生命周期除了客户的消费生命周期外，我们还要考虑客户本身的生理生命周期。
这些重要事件包括以下几个方面：更换工作、初为人母、结婚娶嫁、离职退休、搬迁新居、重疾有染等。
这些事件都为公司发展客户，改善客户关系提供了有利时机。
4、选择最佳时机，锁定最佳客户两种观点，来评价客户关系管理的好坏：一是将注意力放在客户身上，节支增收；二是将每一位客户的价值最大化。
1）预算最优化2）促销活动最优化3）客户最优化最好的下一个信息包括所能提供的任何类型，诸如：对新客户提供不一样的促销；选择适当的管道来传递信息；针对将要离开的客户，推出留念客户的方案；针对将要停止付费的客户，推出解决方案；针对客户不同的需求，推出量身定做的服务；所能提供的不同产品。
第二部分数据挖掘的三大支柱三大支柱：数据挖掘技术、数据和数据建模四、数据挖掘技术和算法1、不同的目标要求不同的技术数据挖掘功能可以是目标性的，也可以是描述性的，其差异取决于数据挖掘实践的目标。
1）目标性数据挖掘首要任务是创建一个可以预测、指定标记以及估计数值的预测模型，从而可以自动实现决策过程。
2）描述性数据挖掘的主要任务是增加对数据深入的了解，然后了解数据所反映的广泛的现实世界。
2、三种数据挖掘技术自动类别侦测（automatic cluster detection）；决策树（decision trees）；神经网络（neural networks）。
1）自动类别侦测区隔方法：把所有的记录认为是一个大类，然后这个类分成两个或更多较小的类，这些较小的类自身也被拆分，直到最后每个记录只属于一个类为止。
该过程的每一步都会记录下有关分群的度量值，直到最后能找到最佳的聚类集合。
凝聚方法：先把每个记录当作一个类，不断的组合新的类，直到最后所有的记录变成一个类。
K-均值聚类法（k-means），当输入变量是数值型时，这种算法效果更好。
K-均值算法是把数据集拆分成预先给定数目的类，这个数目就是“K-均值”中的“K”。
第一步：选择K个数据点作为种子点（seed），多少可任意。
每个种子点是只有一个元素的胚胎群。
第二步：把每个记录点归于离其质心最近的那个类。
初始种子间用虚线连接，由种子产生的类的界限（两个初始种子连线的中垂线）用实现表示，可完成以初始种子为中心的归类。
第三步：计算新类的质心（取每个字段的平均），再按照新类的界限（每队质心的中垂线）把每个点归类，依次迭代直到类与类之间的界限不再改变。
自动类别侦测是一种无监督的方法，即便没有对于问题的先验知识也可以应用，另一方面除了将数据映射到几何坐标体系，可以从一定程度上反映一些样本点彼此临近的程度外，我们无法得知这样做的道理，因此聚类的结果实际很难应用。
自动聚类算法产生的聚类结果并不都保证有实际价值，一旦产生类别就由我们自己来解释，三种最常用的是：把类别作为目标变量建一个决策树，并用它产生一些规则解释如何归类新的样品；使用可视化方法研究观察这些类别如何受输入变量变化的影响；检查一类到另一类变量分布的差异，每一次一个变量。
2）决策树按功能分决策树有两种类型：分类树，对样品进行标识并把它们正确归类。
同时还可以提供分类正确的信度。
回归树，对数值型的目标变量进行估计。
不同决策树算法的不同主要体现在三个方面：①树的每一层允许的拆分点的数目。
②建树时拆分点的选择原则。
③为了防止“过度拟合”，该怎样抑制树的成长。
决策树的工作原理：决策树的每个分枝相当于单变量的校验，结果将整个空间分成两个或更多空间。
例子：设定仅有两个变量X和Y，每个变量取值在0～100之间。
树的每个拆分点都是二分的，在每个拆分点处，根据对X或Y的校验，一个记录要么进入左枝要么进入右枝。
决策树的建立过程：决策树是通过递推分割的方式建立起来的。
递推分割是一种把数据拆分成不同小的部分的迭代过程。
①确定初始拆分点这个过程始于包含预分类样品的训练集。
所谓预分类，就是在这些数据集中，目标变量标识了已知的类别。
我们的目标就是建立一个能区分不同类别的树，也就是说根据其他变量或自变量的取值，这棵树能够对新样品的目标变量进行分类。
第一个步骤是选择哪一个字变量是最佳拆分变量。
评估一个可能的拆分点的度量是差异的减少。
------度量差异性：基尼系数，目地是度量总体的差异程度。
解释为从总体中有放回地随机取得两个样品属于不同类别的概率，一个种类被连续两次抽到的概率是P^2，差异系数就是1减去所有的P^2。
当只有两个类别时差异系数就是2P（1-P）。
差异总的减少为根部的差异减去后代加权的差异，最佳拆分点就是差异性减少最大的那一个。
②初始拆分点会形成两个节点，每一个节点会像根节点一样被再次拆分。
若某一个节点下的结果都是一样的，就没必要拆分下去了，这样的节点叫做叶节点。
③树的修剪，修剪是为了改善决策树各位而把一些枝叶修剪的过程。
树长到一定深度时，模型已经是对训练集的过度拟合。
如何处理过度拟合？解决方法主要是修剪法和盆栽法：a）盆栽法尽力限制树的成长以免它长得太深。
每个节点都会使用各种检验决定更深入的拆分是否有用。
检验方法可以是规定每个节点下最小的记录数目，也可以对每一个可能的拆分用统计检验其显著性。
b）修剪法可以允许初始决策树长的足够深，然后用一些规则剪掉不是一般性的枝节。
通常的方法是找到初始决策树的各种各样的越来越小的子树相关的分类错误率。