统计自然语言处理--分类与聚类
分类回归聚类常用算法
分类回归聚类常用算法分类、回归和聚类是机器学习领域中最常用的算法之一、它们被广泛应用于各种领域，包括数据挖掘、自然语言处理、图像识别和推荐系统等。
下面将详细介绍这三种算法。
1.分类算法：分类算法是一种监督学习算法，用于将数据划分为预定义的类别。
它基于已标记的训练数据，通过学习特征和类别之间的关系，来预测新的未标记数据的类别。
常用的分类算法包括决策树、朴素贝叶斯、支持向量机和随机森林等。
-决策树：决策树是一种基于树状结构的分类算法。
它通过划分训练数据的特征空间，构建一棵树，每个节点代表一个特征，每个分支代表一个特征值，最终叶节点代表一个类别。
决策树算法简单直观，易于解释和理解，但容易过拟合。
-朴素贝叶斯：朴素贝叶斯算法基于贝叶斯定理和特征之间的独立性假设。
它通过计算给定类别的条件下，特征之间的概率分布，来预测新数据的类别。
朴素贝叶斯算法计算效率高，适用于大规模数据集，但对特征之间的相关性敏感。
-支持向量机：支持向量机算法通过构建一个最优的超平面，来将不同类别的数据分隔开。
它通过最大化类别间的间隔，提高分类的鲁棒性。
支持向量机算法适用于高维空间和非线性分类问题，但对大规模数据集的训练较慢。
-随机森林：随机森林算法是一种集成学习算法，通过构建多个决策树，再进行投票或平均，来提高分类的准确性。
随机森林算法具有较高的鲁棒性和泛化能力，适用于各种类型的数据集。
2.回归算法：回归算法是一种用于预测连续型变量的监督学习算法。
它通过学习自变量与因变量之间的关系，来预测新的自变量对应的因变量。
常用的回归算法包括线性回归、多项式回归、岭回归和支持向量回归等。
-线性回归：线性回归是一种通过拟合线性模型，来预测连续型变量的回归算法。
它假设自变量与因变量之间存在线性关系，并通过最小化残差平方和，来找到最佳的拟合直线。
线性回归算法简单易用，但对非线性关系拟合效果较差。
-多项式回归：多项式回归是一种通过拟合多项式模型，来预测连续型变量的回归算法。
使用自然语言处理进行文本分析
使用自然语言处理进行文本分析自然语言处理（Natural Language Processing，简称NLP）是计算机科学和人工智能领域的一个重要分支，旨在使机器能够理解和处理自然语言。
随着大数据的兴起，文本数据的规模不断增大，人工处理已经无法满足对文本内容的深入分析和挖掘需求。
因此，利用自然语言处理技术对文本进行分析成为一种有效的方法。
一、自然语言处理技术概述1. 文本预处理文本预处理是文本分析的第一步。
它包括文本清洗、分词、标注词性和去除停用词等操作。
其中，文本清洗通过去除特殊字符、标点符号和HTML标签等净化文本数据。
分词将文本拆分为一个个独立的词语。
标注词性可以帮助识别词语在句子中的语法角色。
去除停用词是为了排除一些常见但无实际意义的词语，例如“的”、“是”等。
2. 词向量化词向量化（Word Embedding）是将词语转化为数学向量的方法。
常见的词向量化算法有词袋模型（Bag of Words）、TF-IDF（Term Frequency-Inverse Document Frequency）和Word2Vec等。
词向量化可以将文本表示为数学形式，便于后续的计算和分析。
3. 文本分类与情感分析文本分类是将文本划分为不同的类别，例如情感分析、垃圾邮件过滤等。
情感分析可以判断文本的情感倾向，如正面、负面或中性。
通过自然语言处理技术进行文本分类和情感分析可以帮助企业了解消费者的需求、识别舆情等。
4. 文本聚类文本聚类是将文本按照相似性分成不同的组别，以便对大规模文本进行维度缩减和数据分析。
文本聚类可以帮助用户快速定位相关文本，发现不同类别的文本之间的关联性。
二、自然语言处理在实际应用中的案例1. 搜索引擎优化（SEO）搜索引擎优化通过对网页的内容进行分析，提高网站在搜索引擎结果页上的排名。
利用自然语言处理技术，可以对网页的标题、摘要和关键词进行提取和优化，从而提高网站的搜索可见性。
2. 文本摘要生成自动文本摘要生成是指通过自然语言处理技术，从大量文本中提取关键信息，生成简洁准确的摘要。
使用自然语言处理进行文本聚类的技术和实践
使用自然语言处理进行文本聚类的技术和实践在当今信息爆炸的时代，海量的文本数据不断涌现，如何从这些数据中提取有用的信息成为了一项重要的任务。
自然语言处理（Natural Language Processing, NLP）技术的发展为我们提供了一种有效的方式来处理和分析文本数据。
其中，文本聚类是一种常见的NLP应用，它可以将具有相似主题或内容的文本分组，帮助我们更好地理解和利用这些数据。
文本聚类的目标是将文本集合划分为若干个簇，使得每个簇内的文本相似度较高，而不同簇之间的文本相似度较低。
这样的划分可以帮助我们发现文本数据中的潜在模式和关系。
在实际应用中，文本聚类可以用于新闻分类、社交媒体分析、市场调研等领域。
要实现文本聚类，首先需要对文本进行预处理。
预处理包括去除特殊字符、停用词和标点符号，进行分词，以及词干化等操作。
这些操作可以将文本转化为机器可处理的形式，减少噪声对聚类结果的影响。
在预处理完成后，可以使用不同的算法来进行文本聚类。
常见的算法包括层次聚类、K均值聚类、密度聚类等。
层次聚类是一种自底向上的聚类方法，它通过计算文本间的相似度来构建聚类树，最终将文本划分为不同的簇。
K均值聚类是一种迭代的聚类方法，它将文本分为K个簇，通过最小化簇内样本的平方误差来优化聚类结果。
密度聚类是一种基于样本密度的聚类方法，它将样本空间划分为具有高密度的区域和低密度的区域，从而得到聚类结果。
除了传统的聚类算法，近年来，深度学习技术的发展也为文本聚类带来了新的思路和方法。
深度学习模型可以通过学习文本的分布表示来进行聚类，如使用自编码器、卷积神经网络和循环神经网络等。
这些模型可以从原始文本中提取更丰富的语义信息，从而改善聚类效果。
在实践中，文本聚类的应用广泛而多样。
例如，在新闻分类中，我们可以将新闻文本聚类为不同的主题，如政治、经济、体育等，以便更好地组织和检索新闻信息。
在社交媒体分析中，我们可以将用户的帖子聚类为不同的情感类别，如喜欢、厌恶、中立等，以便了解用户的情感倾向和兴趣。
自然语言处理中的文本聚类方法评估指标
自然语言处理中的文本聚类方法评估指标自然语言处理（Natural Language Processing，简称NLP）是人工智能领域中一项重要的技术，它致力于使计算机能够理解和处理人类语言。
在NLP中，文本聚类是一种常见的任务，它将相似的文本归为一类，以便更好地理解和分析大量的文本数据。
然而，评估文本聚类方法的效果并不容易，需要考虑多个指标。
一、聚类准确性指标聚类准确性是评估文本聚类方法的重要指标之一。
它衡量了聚类结果与人工标注结果之间的相似度。
常用的聚类准确性指标包括调整兰德指数（Adjusted Rand Index，简称ARI）、互信息（Mutual Information，简称MI）和Fowlkes-Mallows 指数（Fowlkes-Mallows Index，简称FMI）等。
调整兰德指数是一种度量聚类结果与标准结果之间相似性的指标。
它考虑了聚类结果中的真阳性、真阴性、假阳性和假阴性等因素，通过计算所有样本对之间的相似度来评估聚类结果的准确性。
互信息则是一种度量聚类结果和标准结果之间的互信息量的指标，它衡量了聚类结果和标准结果之间的相关性。
Fowlkes-Mallows 指数是一种结合了精确度和召回率的指标，它考虑了聚类结果中的真阳性、假阳性和假阴性等因素。
二、聚类稳定性指标聚类稳定性是评估文本聚类方法的另一个重要指标。
它衡量了聚类结果对于不同的采样数据或参数设置的稳定性。
常用的聚类稳定性指标包括Jaccard系数（Jaccard Coefficient）和兰德指数（Rand Index）等。
Jaccard系数是一种度量两个聚类结果之间相似性的指标。
它通过计算两个聚类结果之间的交集和并集的比值来评估它们的相似程度。
兰德指数则是一种度量两个聚类结果之间一致性的指标，它通过计算两个聚类结果中样本对的一致性数量来评估它们的相似性。
三、聚类效率指标聚类效率是评估文本聚类方法的另一个重要指标。
分类与聚类，监督学习与无监督学习
分类与聚类，监督学习与⽆监督学习1 分类和聚类Classification (分类)：对于⼀个 classifier ，通常需要你告诉它“这个东西被分为某某类”这样⼀些例⼦，理想情况下，⼀个 classifier 会从它得到的训练数据中进⾏“学习”，从⽽具备对未知数据进⾏分类的能⼒，这种提供训练数据的过程通常叫做 supervised learning (监督学习)。
Clustering(聚类)，简单地说就是把相似的东西分到⼀组，聚类的时候，我们并不关⼼某⼀类是什么，我们需要实现的⽬标只是把相似的东西聚到⼀起。
因此，⼀个聚类算法通常只需要知道如何计算相似度就可以开始⼯作了。
因此 clustering 通常并不需要使⽤训练数据进⾏学习，这在 Machine Learning 中被称作 unsupervised learning (⽆监督学习).2 常见的分类与聚类算法所谓分类，简单来说，就是根据⽂本的特征或属性，划分到已有的类别中。
例如在⾃然语⾔处理（NLP）中，我们经常提到的⽂本分类就是⼀个分类问题，⼀般的模式分类⽅法都可⽤于⽂本分类研究。
常⽤的分类算法包括：决策树分类法，朴素的贝叶斯分类算法(native Bayesian classifier)、基于⽀持向量机(SVM)的分类器，神经⽹络法，k-最近邻法(k-nearest neighbor，kNN)，模糊分类法等等。
分类作为⼀种监督学习⽅法，要求必须事先明确知道各个类别的信息，并且断⾔所有待分类项都有⼀个类别与之对应。
但是很多时候上述条件得不到满⾜，尤其是在处理海量数据的时候，如果通过预处理使得数据满⾜分类算法的要求，则代价⾮常⼤，这时候可以考虑使⽤聚类算法。
⽽K均值(K-means clustering)聚类则是最典型的聚类算法(当然，除此之外，还有很多诸如属于划分法K-MEDOIDS算法、CLARANS算法；属于层次法的BIRCH算法、CURE算法、CHAMELEON算法等；基于密度的⽅法：DBSCAN算法、OPTICS算法、DENCLUE算法等；基于⽹格的⽅法：STING算法、CLIQUE算法、WAVE-CLUSTER算法；基于模型的⽅法等)。
自然语言处理中常见的文本聚类算法(Ⅱ)
自然语言处理（NLP）是一门涉及人类语言和计算机之间交互的学科领域。
在NLP中，文本聚类算法是一种常见的技术，用于将大量文本数据按照其相似性分组，从而帮助人们更好地理解和处理文本信息。
本文将介绍一些常见的文本聚类算法及其应用。
一、 K均值聚类算法K均值聚类算法是一种简单而有效的文本聚类方法。
它的基本思想是将文本数据划分为K个簇（cluster），并且每个文本样本被分配到最近的簇中。
该算法的核心是通过不断更新每个簇的中心点，直到达到收敛状态。
K均值聚类算法在文档分类和主题建模等领域得到了广泛的应用。
二、层次聚类算法层次聚类算法是一种自底向上或自顶向下的聚类方法。
在这种方法中，文本数据按照其相似性逐渐合并成不同的簇，形成一个层次化的聚类结构。
层次聚类算法的优点在于它不需要预先指定簇的个数，而且可以通过树状图清晰地展现聚类过程。
这种算法在文本情感分析和信息检索等领域有着广泛的应用。
三、基于密度的文本聚类算法基于密度的文本聚类算法是一种适用于高维度数据的聚类方法。
该算法通过识别高密度区域来发现簇，而不需要预先指定簇的个数。
DBSCAN（Density-Based Spatial Clustering of Applications with Noise）是基于密度的文本聚类算法的代表性方法之一。
它在处理噪声数据和发现任意形状的簇方面具有较好的性能，因此在文本垃圾邮件过滤和社交媒体挖掘等领域得到了广泛的应用。
四、概率模型聚类算法概率模型聚类算法是一种基于概率模型的文本聚类方法。
其中，高斯混合模型（Gaussian Mixture Model, GMM）是一种常见的概率模型聚类方法。
GMM假设每个簇都是由多个高斯分布组成的混合模型，并通过最大似然估计来估计模型参数。
概率模型聚类算法在文本文档聚类和事件检测等领域有着重要的应用价值。
以上介绍了一些常见的文本聚类算法及其应用。
这些算法在NLP领域中发挥着重要的作用，帮助人们更好地处理和理解文本数据。
如何使用AI进行数据分析
如何使用AI进行数据分析在信息时代，数据已成为企业最重要的资产之一。
然而，面对海量数据，传统的数据分析方法显得力不从心。
人工智能（AI）的发展为数据分析带来了革命性的变化，使企业能够更高效、准确地提取有价值的洞察。
以下是如何使用AI进行数据分析的几种方法。
1. 数据预处理数据预处理是数据分析的重要环节。
AI技术可以自动清洗和整理数据，处理缺失值、重复值和异常值等问题。
通过机器学习算法，AI能够识别并纠正数据中的错误，确保数据的准确性和一致性。
这样，企业可以在更高质量的数据基础上进行分析，获得更可靠的结果。
2. 数据聚类与分类AI通过聚类算法和分类算法，可以将数据进行分组和归类。
例如，企业可以利用AI将客户数据分为不同的群体，根据这些群体的特征制定针对性的营销策略。
聚类算法如K-means和层次聚类，可以帮助发现数据中的隐藏模式和结构，而分类算法如决策树和支持向量机，则能根据已有的分类标签，对新数据进行准确分类。
3. 预测分析预测分析是AI在数据分析中的一大优势。
通过回归分析、时间序列分析和深度学习等方法，AI能够预测未来趋势和结果。
例如，零售企业可以利用AI预测销售趋势，优化库存管理；金融机构可以通过AI预测市场风险，制定投资策略。
AI的预测能力不仅提高了决策的准确性，还帮助企业提前应对潜在风险。
4. 自然语言处理（NLP）自然语言处理技术使AI能够分析和理解文本数据。
企业可以利用NLP技术处理客户评论、社交媒体帖子和调查问卷，从中提取有价值的信息。
通过情感分析，AI可以识别客户情绪，帮助企业了解客户满意度和需求变化。
文本分类和主题建模则可以帮助企业从海量文本中提取关键主题和趋势。
5. 可视化分析AI技术不仅能够进行复杂的数据计算，还能生成直观的可视化图表。
通过数据可视化，企业可以更清晰地展示分析结果，便于决策者理解和使用。
AI驱动的可视化工具可以自动生成各类图表，如折线图、柱状图、散点图和热力图，帮助企业从多个维度直观地观察数据变化和趋势。
如何利用自然语言处理进行文本聚类(七)
在当今信息爆炸的时代，我们所面临的一个问题是海量的文本数据需要被有效地处理和分析。
而文本聚类作为一种重要的文本挖掘技术，可以帮助我们对大量文本数据进行有效的整理和归类。
自然语言处理（NLP）作为一种人工智能技术，可以帮助我们进行文本聚类。
本文将探讨如何利用自然语言处理进行文本聚类。
1. 文本预处理在进行文本聚类之前，首先需要对文本数据进行预处理。
文本预处理的过程包括去除文本中的标点符号、停用词和特殊字符，将文本转换为小写形式，进行词干提取和词形还原等操作。
这样可以使得文本数据更加清洁和规范，有利于后续的文本聚类分析。
2. 文本表示在进行文本聚类之前，需要将文本数据转换为计算机可以处理的形式。
常用的文本表示方法包括词袋模型（Bag of Words）和词袋模型加权（TF-IDF）。
词袋模型将文本表示为一个由词语构成的向量，每个词语的出现与否表示为0或1；TF-IDF则是通过计算词语在文本中的频率和逆文档频率来赋予每个词语一个权重，从而更加准确地表示文本特征。
3. 文本聚类算法文本聚类算法是进行文本聚类的核心。
常用的文本聚类算法包括K均值算法、层次聚类算法、DBSCAN算法等。
K均值算法是一种基于距离的聚类算法，通过不断迭代优化各个聚类中心的位置来实现文本聚类；层次聚类算法则是通过构建聚类层次树来实现文本的分层聚类；DBSCAN算法则是一种基于密度的聚类算法，通过识别核心点和边界点来实现文本聚类。
选择合适的文本聚类算法对于文本聚类的效果至关重要。
4. 文本聚类评估在进行文本聚类之后，需要对聚类结果进行评估。
常用的文本聚类评估指标包括轮廓系数、互信息和兰德指数等。
轮廓系数是一种用于衡量聚类效果的指标，其取值范围在[-1,1]之间，值越接近1表示聚类效果越好；互信息则是一种用于衡量聚类结果与真实标签的一致性的指标；兰德指数是一种用于衡量聚类结果的一致性和完整性的指标。
通过对聚类结果进行评估，可以更加客观地了解文本聚类的效果。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
聚类与分类
IRLAB
聚类
大纲
• 聚类分析简介 • 层次聚类 – 单连接和全连接聚类 – 组平均聚类 – 应用：改进语言模型 – 自顶向下聚类 • 非层次聚类 – K-均值 – EM算法
什么是聚类分析?
• 聚类: 数据对象的集合 – 在同一个类中，数据对象是相似的 – 不同类之间的对象是不相似的 • 聚类分析 – 一个数据集合分组成几个聚类 • 聚类是一种无监督分类:没有预定义的类 • 典型应用 – 作为一个独立的工具 透视数据分布 – 可以作为其他算法的预处理步骤
聚类在自然语言中的应用
• 探测数据分析（exploratory data analysis）
– 例如词性标注，将相似的词作为同一种词性，对 前置词比较有效 – 对this和the 这种语法语义特征不一致的词，不总分 在一组的词不适合
• 概化（generalization）
– 等价类，可以使用相同的上下文环境，解决数据 稀疏问题 – 同时聚类是学习的一种方法（推理 Friday 的前置 词）
聚类算法类型
• 层次聚类与非层次聚类 – 层次聚类的每一个节点是其父节点的一个子类， 叶节点对应的是类别中每一个单独的对象，常用 算法自底向上与自上向下（凝聚与分裂） – 非层次聚类只是简单的包括了每类的数量，体现 不了他们之间的层次关系，常用算法K-均值 • 软聚类与硬聚类 – 硬聚类将每一个对象分到一个且只能是一个的类 别中，例如K-均值 – 软聚类刻画的是将对象归属不同类的程度，模糊 聚类（EM算法）
层次聚类和非层次聚类的比较
• 层次聚类
– 适合于数据的详细 描述 – 提供更多的信息 – 没有单一的最好的 算法 – 效率没有非层次的 好
• 非层次聚类
– 适合于大数据集合 要求考虑效率较高 的情况 – K-均值是一种最简 单的方法，并且有 效的 – K-均值采用欧氏 距，不能表达更广 泛的数据 – EM算法提供了类的 定义以及基于复杂 概率模型的数据的 分配
层次聚类
• 自底向下的聚类(凝聚）
– 每一项自成一类 – 不断地将最近的两类合为一类
• 自顶向下的聚类（分裂）
– 将所有项看作一类 – 找出最不相似的项分裂出去成为两类
层次聚类
这种方法不需要输入参数K，但需要一个终止条 件。
例如：相似度阈值 Step 0 Step 1 Step 2 Step 3 Step 4 聚集 (AGNES) a ab b abcde c cde d de e 分裂 Step 4 Step 3 Step 2 Step 1 Step 0 (DIANA)
类的相似度度量
• 三种度量：
– 单连接
• 两个最近成员的相似度
– 全连接
• 两个最远成员的相似度
– 组平均
• 类成员的平均相似度
• 不同的度量会导致不同的聚类形状，适用于不同的问 题 • 在大多数NLP问题中，基于全连接聚类更适用 • 基于组平均方法比全连接效率高，并且避免了单连接 聚类的狭长形状
应用：改进语言模型
• 聚类通过概化改进语言模型 • 通过聚类进行推理，扩大训练语料 • 使对稀疏事件处理据有较好的精度
非层次聚类
• 一般过程
– – – – 随机选择种子 进行样本划分 通过迭代将样本进行重新分配 直到模型参数估计不再上升或呈下降趋势
非层次聚类
• K-均值
– 硬聚类 – 每个样本点完全属于某一类 – 计算每个类的中心值
• 模糊k-均值
– 软聚类 – 每个样本点模糊隶属于某一类 – 用EM算法计算P( ci|w1)
K-均值
• 将n个向量分到k个类别中去 • 选择k个初始中心 • 计算两项距离 • 计算n个向量均值
K-均值算法
• 给定k, k-均值 算法包括4个步骤:
– 将对象分成k个非空的子集 – 计算每个类的平均值作为中心点. – 重新将对象，将对象划分到离它最近的聚 类 – 重新计算聚类的中心，重新划分对象，直 到所有的对象都不再发生变化.
• 注意与k-中心点的区别
模糊聚类
• 经典的k-均值聚类算法在每一步迭代 中，每一个样本点都被认为是完全属于 某一类别 • 模糊聚类放松这一条件，假定每个样本 是模糊隶属于某一类的
– 每类是一个高斯分布 – 样本集合模拟为高斯混合分布
EM算法
• 点集x1,……xn • K个类 • Z为二维数组，zij为1表示xi在j类中，否 则为0 • 每个类定义为一个高斯分布
EM算法
• 用先前的概率累加
• 任意一项xi的概率
EM算法
• 参数
• 给定参数下x的值
EM算法
• 计算zij的期望值（E-step)并用它计算最 大似然估计(M-step)，反复迭代，直到 收敛。
EM算法特点
• • • • 算法族 可以用于任意的概率模型的参数估计 结果是局部最优的 K-均值是用EM算法求解高斯混合分布 的特例
分类
IRLAB
大纲
• • • • • 分类技术在自然语言中的应用 决策树 贝叶斯分类 最大熵模型 K近邻
• 其他方法
自然语言中的分类问题
问题 词性标注 词义消歧 介词附着 命名实体识别 作者识别 语言识别 文本分类 对象 词的上下文 词的上下文 句子 句子 文档 文档 文档 分类 词性 词义 分析树 实体类别 作者 语言类型 主题
分类的一般过程
• • • • • 训练集 数学模型 训练过程 测试集 评价
本课介绍的几种方法
• • • • 决策树 贝叶斯分类 最大熵模型 K近邻
• 神经网简介
决策树
• • • • • • 简介 决策树表示法 决策树学习的适用问题 基本的决策树学习算法 决策树学习中的假想空间搜索 决策树学习的常见问题
简介
• 决策树方法的起源是概念学习系统CLS，然后 发展到ID3方法而为高潮，最后又演化为能处 理连续属性的C4.5。
有名的决策树方法还有 CART和Assistant。
• 应用最广的归纳推理算法之一 • 一种逼近离散值目标函数的方法 • 对噪声数据有很好的健壮性且能学习析取表 达式
决策树的表示法
• 决策树通过把实例从根节点排列到某个 叶子节点来分类实例，叶子节点即为实 例所属的分类。
• 树上的每一个节点说明了对实例的某个 属性的测试，并且该节点的每一个后继 分支对应于该属性的一个可能值
决策树表示举例
表达式
决策树学习的适用问题
• 实例是由属性-值对表示的 • • • • 目标函数具有离散的输出值 可能需要析取的描述 训练数据可以包含错误 训练数据可以包含缺少属性值的实例
属性选择
• 构造好的决策树的关键在于如何选择好的逻 辑判断或属性。
• 对于同样一组例子，可以有很多决策树能符 合这组例子。
• 一般情况下或具有较大概率地说，树越小则 树的预测能力越强。
• 要构造尽可能小的决策树，关键在于选择恰 当的逻辑判断或属性。
• 由于构造最小的树是NP-难问题，因此只能采 取用启发式策略选择好的逻辑判断或属性
用熵度量样例的均一性（纯度）
• 熵的定义
• 举例
关于某布尔分类的熵函数
用信息增益度量期望熵最低
• 一个属性的信息增益就是由于使用这个 属性分割样例而导致的期望熵的降低
举例
。