分类方法
分类的方法
线分类法的缺点
揭示主题或事物特征的能力差，往 往无法满足确切分类的需要，不能充分提 示目前大量存在的细小分类问题。 (2)分类表具有一定的凝固性，不便于 根据需要随时改变，也不适合进行多角度 的信息检索。 (3)无法根据现代科学的发展自动生成 新类，难以与科学的发展保持同步。 (4)大型分类表一般类目详尽、篇幅较 大，对分类表管理的要求较高。
面分类法
面分类法是根据分类对象各自的特征，分 成互不相关的面，相互间没有从属关系， 不同面不互相交叉、重复，且顺序固定。 例如： 我国根据大气水热条件的区域差异将全国 划分为华南区、四川盆地——长江中下游区、 云贵高原区、华北——辽南区、黄土高原区、 东北区、内蒙古干旱区、西北干旱区和青 藏高原区等九个土地潜力区。
The
End
Thank you !
2012级土地资源管理班马亚朋
分类的方法
——线分类法和面分类法
线分类法
线分类法是一种参差分类法，将分类对象逐次 分成有层次的类目，类目间构成并列和隶属关 系，形成串、并联结合的树形结构。例如： 我国根据行政级别可以划分为：省、市、县、 乡（镇）、村。 我国行政区划编码，是采用线分类法，6位数 字码。第1、2位表示省（自治区、直辖市）， 第3、4位表示地区（市、州、盟），第5、6 位表示县（市、旗、镇、区）的名称。
面分类法的优缺点
面分类法的优缺点 面分类的主要优点是分类结构上具有较大的柔 性，即分类体系中任何一个”面”内类目的变动，不 会影响其它”面”，而且可以对”面”进行增删。再 有，”面”的分类结构可根据任意”面”的组合方式进 行检索，这有利于计算机的信息处理。 面分类的主要缺点是不能充分利用编码空间。 例如，在上面的服装分类中，纯毛男式连衣裙的搭 配是毫无意义的，在实际编制代码体系时，到底采 用哪一种分类方法，要根据课题中需要解决的问题 而定。有时，还可根据事物的特征，在一个分类体 系中，同时运用线分类法和面分类法。
分类的三种方法
分类的三种方法导语：动物是地球上最为丰富多样的生物群体之一，为了更好地了解和研究动物，科学家们采用了各种分类方法。
本文将介绍三种常见的分类方法：形态分类、系统分类和进化分类。
一、形态分类形态分类是一种基于动物外形和结构特征的分类方法。
通过观察动物的形态特征，如体型、体色、器官结构等，将其分为不同的类群。
这种分类方法最早出现在古希腊时期，由亚里士多德提出。
形态分类方法简单直观，易于操作，适用于对外形特征较为明显的动物进行分类。
例如，根据动物的体型大小和体毛颜色，可以将哺乳动物分为大型哺乳动物和小型哺乳动物，或将鸟类分为鹦鹉类和鸽子类等。
二、系统分类系统分类是一种基于动物的进化关系和亲缘关系的分类方法。
它通过比较动物的形态特征、生理特征、生态特征等多个方面的信息，建立起动物分类的系统。
系统分类方法最早由瑞典学者林奈提出，他根据动物的共性和差异，将其分为属、目、纲、门等不同的分类单位。
系统分类方法能够较为准确地反映动物间的亲缘关系，有助于揭示物种的进化历程和演化规律。
例如，在系统分类中，猫科动物和犬科动物被归为一目，因为它们有着共同的祖先和许多相似的形态特征。
三、进化分类进化分类是一种基于动物进化历史和演化关系的分类方法。
它通过分析动物的遗传信息、化石记录以及生物地理分布等多种证据，将动物分类到不同的进化支系中。
进化分类方法是现代分类学的重要成果，它能够更准确地反映物种间的演化关系和进化历史。
例如，根据DNA序列的比对结果，科学家们发现人类与黑猩猩的基因相似度高达98%，因此将人类和黑猩猩归为同一类群。
结语：形态分类、系统分类和进化分类是三种常见的动物分类方法。
形态分类以动物的形态特征为基础，简单直观；系统分类以动物的进化关系和亲缘关系为基础，较为准确；进化分类以动物的进化历史和演化关系为基础，更具科学性。
通过这三种分类方法，我们能够更好地了解和研究动物的多样性和进化规律，为保护和利用动物资源提供科学依据。
常用分类方法
常用分类方法
1.层次分析法：将问题分解为若干个层次，通过对各个层次建立判断矩阵，最终计算出权重，从而得出分类结果。
2.主成分分析法：通过对原始数据进行降维处理，提取出最具代表性的主成分，从而实现分类。
3.聚类分析法：将数据集中的对象按照相似性进行分组，通过对各组间的差异进行评估，最终得出分类结果。
4.决策树分析法：将问题转化为决策图，通过对各个节点进行判断和决策，最终得出分类结果。
5.神经网络分析法：通过构建神经网络结构，使用大量的训练数据进行训练，从而实现分类。
以上几种分类方法各有优缺点，应根据实际情况选择合适的方法进行分类。
- 1 -。
分类方法
分类方法分类方法是将事物或概念按照某种共同特征进行归类和整理的一种方法。
它可以帮助我们理清思路、提高效率，并且对于组织和管理信息非常重要。
本文将介绍常见的分类方法，并给出一些实际应用的例子。
一、按照属性分类按照事物或概念的某种属性进行分类是最常见的分类方法之一。
比如，我们可以根据颜色、形状、大小、材质等属性将物品进行分类。
例如，可以将颜色相近的物品分为一类，将形状相似的物品分为一类。
这种分类方法可以帮助我们识别和辨别不同的事物，从而更好地理解它们的特点。
二、按照功能分类按照事物或概念的功能进行分类也是常见的分类方法之一。
比如，可以将各种电器按照功能分为通信设备、家用电器、办公设备等类别。
这种分类方法可以帮助我们了解事物的用途和功能，从而更好地选择和使用它们。
三、按照地理位置分类按照事物或概念所处的地理位置进行分类也是一种常见的分类方法。
比如，可以将不同国家、地区的文化、习俗进行分类。
这种分类方法可以帮助我们了解不同地区的特点和差异，从而增加对世界的认识和了解。
四、按照时间顺序分类按照事物或概念发生的时间顺序进行分类也是一种常见的分类方法。
比如，可以将历史事件按照发生的时间顺序进行分类。
这种分类方法可以帮助我们理清历史事件的发展脉络，从而更好地理解历史进程。
五、按照等级分类按照事物或概念的重要性、优先级进行分类也是一种常见的分类方法。
比如，可以将任务按照紧急程度分为高、中、低三个等级。
这种分类方法可以帮助我们合理安排时间和资源，从而更好地处理事务。
六、按照相似性分类按照事物或概念的相似性进行分类也是一种常见的分类方法。
比如，可以将相似的词语、画作、音乐进行分类。
这种分类方法可以帮助我们理解和记忆事物，从而提高学习效果。
七、按照目的分类按照事物或概念的目的进行分类也是一种常见的分类方法。
比如，可以将旅游景点按照自然风光、历史文化、休闲度假等目的进行分类。
这种分类方法可以帮助我们更好地规划旅行行程，从而达到预期的目的。
一年级分类题多种分法教学
一年级分类题多种分法教学一、基础分类方法在一年级分类题的教学中，首先需要让学生掌握基础分类方法。
基础分类方法是根据物品的共同特征进行分类，例如大小、形状、颜色等。
学生需要学会观察物品的共同特征，并按照这些特征进行分类。
例如，将相同颜色的物品放在一起，或者将相同形状的物品放在一起。
二、颜色分类法颜色分类法是根据物品的颜色进行分类的方法。
在一年级教学中，颜色分类法是非常常见的一种分类方法。
学生需要学会识别不同的颜色，并按照颜色进行分类。
例如，将红色的苹果和绿色的苹果分别放在不同的篮子里。
三、形状分类法形状分类法是根据物品的形状进行分类的方法。
在一年级教学中，形状分类法也是非常重要的一种分类方法。
学生需要学会识别不同的形状，并按照形状进行分类。
例如，将圆形的球和方形的方块分别放在不同的篮子里。
四、数字分类法数字分类法是根据物品的数量进行分类的方法。
在一年级教学中，数字分类法也是一种常见的分类方法。
学生需要学会数数，并按照数量进行分类。
例如，将三个苹果和五个香蕉分别放在不同的篮子里。
五、动物分类法动物分类法是根据动物的种类进行分类的方法。
在一年级教学中，动物分类法可以帮助学生更好地了解动物的特点和习性。
学生需要学会识别不同的动物，并按照动物种类进行分类。
例如，将猫和狗分别放在不同的篮子里。
六、植物分类法植物分类法是根据植物的种类进行分类的方法。
在一年级教学中，植物分类法可以帮助学生更好地了解植物的特点和生长环境。
学生需要学会识别不同的植物，并按照植物种类进行分类。
例如，将花和草分别放在不同的篮子里。
七、玩具分类法玩具分类法是根据玩具的种类进行分类的方法。
在一年级教学中，玩具分类法可以帮助学生更好地了解玩具的特点和玩法。
学生需要学会识别不同的玩具，并按照玩具种类进行分类。
例如，将积木和拼图分别放在不同的篮子里。
总之，一年级分类题多种分法教学是非常重要的教学内容之一，通过不同分类方法的介绍和实践操作，可以帮助学生更好地掌握分类方法，提高他们的思维能力和解决问题的能力。
分类方法有哪些
分类方法有哪些在日常生活和工作中，我们经常需要对事物进行分类，以便更好地管理和理解它们。
而分类方法则是对事物进行分类的方式和原则。
不同的事物可以根据不同的特征和属性进行分类，因此分类方法也是多种多样的。
下面将介绍一些常见的分类方法。
一、按照属性分类。
按照属性分类是将事物根据其具有的属性或特征进行分类。
例如，可以根据颜色将衣服分为红色、蓝色、黄色等；根据形状将水果分为圆形、椭圆形、长条形等。
这种分类方法简单直观，易于理解和应用。
二、按照功能分类。
按照功能分类是将事物根据其所具有的功能或用途进行分类。
例如，可以将电器分为厨房电器、卫生电器、娱乐电器等；将书籍分为教材、小说、科普读物等。
这种分类方法能够帮助我们更好地了解事物的用途和功能，便于选择和使用。
按照时空分类是将事物根据其存在的时间和空间进行分类。
例如，可以将历史事件分为古代、中世纪、现代等；将地理地貌分为山地、平原、盆地等。
这种分类方法有助于我们了解事物的历史和地理位置，有利于研究和分析。
四、按照等级分类。
按照等级分类是将事物根据其重要程度或级别进行分类。
例如，可以将商品分为一级品、二级品、三级品；将职务分为高级职务、中级职务、基层职务等。
这种分类方法有助于我们理清事物的重要性和级别，便于决策和管理。
五、按照关联分类。
按照关联分类是将事物根据其内在关联或外在联系进行分类。
例如，可以将人们的兴趣爱好分为体育运动、艺术表演、科学研究等；将社会问题分为经济问题、政治问题、文化问题等。
这种分类方法有助于我们理解事物之间的联系和相互影响，有利于综合分析和解决问题。
按照数量分类是将事物根据其数量多少进行分类。
例如，可以将人口分为少数民族人口、多数民族人口；将企业分为小型企业、中型企业、大型企业等。
这种分类方法有助于我们了解事物的规模和数量，有利于统计和比较。
七、按照原理分类。
按照原理分类是将事物根据其内在原理或规律进行分类。
例如，可以将物质分为固体、液体、气体；将生物分为植物、动物、微生物等。
分类方法有哪些
分类方法有哪些在日常生活和工作中，我们经常需要对事物进行分类，以便更好地管理和理解它们。
分类方法是一种对事物进行归纳和整理的方式，通过分类可以更清晰地了解事物之间的关系和特点。
下面将介绍一些常见的分类方法。
一、按照属性特征分类。
1. 形态分类。
形态分类是根据事物的外部形态和结构特征进行分类。
例如，动物可以按照有无脊椎、体温高低等特征进行形态分类。
2. 功能分类。
功能分类是根据事物的功能特点进行分类。
例如，电器可以按照用途分为厨房电器、卫生电器等不同功能分类。
3. 材料分类。
材料分类是根据事物的材料成分进行分类。
例如，家具可以按照材料分为木质家具、金属家具等不同材料分类。
二、按照数量关系分类。
1. 单一分类。
单一分类是将事物按照某一特定属性进行分类。
例如，将动物按照生活环境分为陆生动物、水生动物等单一分类。
2. 多元分类。
多元分类是将事物按照多个属性进行分类。
例如，将商品按照品牌、价格、功能等多个属性进行分类。
三、按照时间顺序分类。
1. 历史分类。
历史分类是根据事物的历史发展过程进行分类。
例如，将文学作品按照不同历史时期进行分类。
2. 时间段分类。
时间段分类是根据事物在时间上的不同阶段进行分类。
例如，将公司业绩按照不同季度进行分类。
四、按照地域范围分类。
1. 地理分类。
地理分类是根据事物在地理上的分布范围进行分类。
例如，将动植物按照生长地区进行分类。
2. 地域分类。
地域分类是根据事物在行政区划上的不同地域进行分类。
例如，将产品按照销售地区进行分类。
五、按照等级层次分类。
1. 等级分类。
等级分类是根据事物的等级高低进行分类。
例如，将职称按照不同等级进行分类。
2. 层次分类。
层次分类是根据事物在某一层次上的不同特点进行分类。
例如，将教育资源按照不同层次进行分类。
六、按照功能用途分类。
1. 用途分类。
用途分类是根据事物的功能用途进行分类。
例如，将建筑材料按照不同用途进行分类。
2. 行业分类。
行业分类是根据事物所属的行业进行分类。
分类的主要方法
分类的主要方法
1. 朴素贝叶斯法：是基于贝叶斯定理和特征条件独立假设的分类方法。
2. K近邻法：它在每次分类时都搜索最近邻数据点根据它们的类标签对未知数据点进行分类。
3. 决策树：它是一种树状结构，其中每个结点表示一个决策、属性、特征或其他决策变量，每个叶节点代表一个类别。
4. 支持向量机：它是一种监督学习技术，其中包括一组分类器，可以通过最大化“间隔”（具有最大数据单元之间的安全距离）来分类数据。
5. 神经网络：是一种以人类神经系统的结构和功能为基础的计算模型，其中包含一组连接的节点，可用于执行特定的异构行为，以模仿真实世界的复杂的概念。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息检索与分析能力训练3报告课题名称：分类方法专业软件工程（NIIT）学生学号(姓名) B12040914 吴凡学生学号(姓名) B12040920 沈一州指导教师成小惠指导单位计算机学院日期2014.9.9目录（一号宋体，居中）目录自动生成（小四号宋体，左对齐，单倍行距）摘要模式识别（英语：Pattern Recognition），就是通过计算机用数学技术方法来研究模式的自动处理和判读。
模式识别的目标往往是识别，即分析出待测试的样本所属的模式类别。
分类方法即通过比较事物之间的相似性，把具有某些共同点或相似特征的事物归属于一个不确定集合的逻辑方法，是模式识别中常采用的方法，包括近邻法、Bayes方法、决策树与SVM等方法。
分类的目的是学会一个分类器（分类函数或模型），该分类器能把待分类的数据映射到给定的类别中。
分类可用于预测。
从利用历史数据记录中自动推导出对给定数据的推广描述，从而能对未来数据进行类推测。
关键词：1.近邻法2.Bayes法3.决策树法4.SVM法Abstract模式识别（英语：Pattern Recognition），就是通过计算机用数学技术方法来研究模式的自动处理和判读。
模式识别的目标往往是识别，即分析出待测试的样本所属的模式类别。
分类方法即通过比较事物之间的相似性，把具有某些共同点或相似特征的事物归属于一个不确定集合的逻辑方法，是模式识别中常采用的方法，包括近邻法、Bayes方法、决策树与SVM等方法。
分类的目的是学会一个分类器（分类函数或模型），该分类器能把待分类的数据映射到给定的类别中。
分类可用于预测。
从利用历史数据记录中自动推导出对给定数据的推广描述，从而能对未来数据进行类推测。
Key Words：1.近邻法2.Bayes法3.决策树法4.SVM法绪论我们周围的世界,是个无限丰富、无限多样的世界。
植物王国就有55万种绿色的居民。
而由800多万种动物组成的王国，那就更加千姿百态、精彩纷呈。
这是商品的世界，琳琅满目，多姿多彩。
世界上的事物如此多样，要一件一件地认识它们，是多么地艰难啊！分类方法，就是认识纷繁复杂的世界的一种工具。
分类，把世界条理化，它使表面上杂乱无章的世界变得井然有序起来。
分类，基本上有两种方法。
一种是人为的分类，它是依据事物的外部特征进行分类，为了方便，人们把各种商品分门别类，陈列在不同的柜台里，在不同的商店出售。
这种分类方法，可以称之为外部分类法。
另一种分类方法是根据事物的本质特征进行分类。
生活在海洋中的鲸鱼，体型象鱼，但是，它不属于鱼类，它胎生、哺乳，身上没有鳞片、不用鳃而用肺呼吸，具有哺乳动物的特征。
把鲸鱼划为哺乳类，这就是一种本质的分类。
称之为本质分类法。
当然,事物的属性是多方面的,分类的方法也是多样的,在不同的情况下,可以采用不同的分类方法。
鲸鱼、海豚，属于哺乳类。
但是，有时侯，我们也可以把它们分为海洋动物，而把牛羊之类的动物分为陆生动物。
分类，它使事物高度有序化，从而极大地提高了我们的认识效率和工作效率。
第一章1.1 项目国内外研究现状主要分类方法介绍解决分类问题的方法很多，单一的分类方法主要包括：决策树、贝叶斯、人工神经网络、K-近邻、支持向量机和基于关联规则的分类等；另外还有用于组合单一分类方法的集成学习算法，如Bagging和Boosting等。
（1）决策树决策树是用于分类和预测的主要技术之一，决策树学习是以实例为基础的归纳学习算法，它着眼于从一组无次序、无规则的实例中推理出以决策树表示的分类规则。
构造决策树的目的是找出属性和类别间的关系，用它来预测将来未知类别的记录的类别。
它采用自顶向下的递归方式，在决策树的内部节点进行属性的比较，并根据不同属性值判断从该节点向下的分支，在决策树的叶节点得到结论。
主要的决策树算法有ID3、C4.5（C5.0）、CART、PUBLIC、SLIQ和SPRINT算法等。
它们在选择测试属性采用的技术、生成的决策树的结构、剪枝的方法以及时刻，能否处理大数据集等方面都有各自的不同之处。
（2）贝叶斯贝叶斯（Bayes）分类算法是一类利用概率统计知识进行分类的算法，如朴素贝叶斯（Naive Bayes）算法。
这些算法主要利用Bayes定理来预测一个未知类别的样本属于各个类别的可能性，选择其中可能性最大的一个类别作为该样本的最终类别。
由于贝叶斯定理的成立本身需要一个很强的条件独立性假设前提，而此假设在实际情况中经常是不成立的，因而其分类准确性就会下降。
为此就出现了许多降低独立性假设的贝叶斯分类算法，如TAN（Tree Augmented Na?ve Bayes)算法，它是在贝叶斯网络结构的基础上增加属性对之间的关联来实现的。
（3）人工神经网络人工神经网络（Artificial Neural Networks，ANN）是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。
在这种模型中，大量的节点（或称”神经元”，或”单元”）之间相互联接构成网络，即”神经网络”，以达到处理信息的目的。
神经网络通常需要进行训练，训练的过程就是网络进行学习的过程。
训练改变了网络节点的连接权的值使其具有分类的功能，经过训练的网络就可用于对象的识别。
目前，神经网络已有上百种不同的模型，常见的有BP网络、径向基RBF网络、Hopfield网络、随机神经网络（Boltzmann机）、竞争神经网络（Hamming网络，自组织映射网络）等。
但是当前的神经网络仍普遍存在收敛速度慢、计算量大、训练时间长和不可解释等缺点。
（4）k-近邻k-近邻(kNN，k-Nearest Neighbors)算法是一种基于实例的分类方法。
该方法就是找出与未知样本x距离最近的k个训练样本，看这k个样本中多数属于哪一类，就把x归为那一类。
k-近邻方法是一种懒惰学习方法，它存放样本，直到需要分类时才进行分类，如果样本集比较复杂，可能会导致很大的计算开销，因此无法应用到实时性很强的场合。
（5）支持向量机支持向量机（SVM，Support Vector Machine）是Vapnik根据统计学习理论提出的一种新的学习方法[43] ，它的最大特点是根据结构风险最小化准则，以最大化分类间隔构造最优分类超平面来提高学习机的泛化能力，较好地解决了非线性、高维数、局部极小点等问题。
对于分类问题，支持向量机算法根据区域中的样本计算该区域的决策曲面，由此确定该区域中未知样本的类别。
（6）基于关联规则的分类关联规则挖掘是数据挖掘中一个重要的研究领域。
近年来，对于如何将关联规则挖掘用于分类问题，学者们进行了广泛的研究。
关联分类方法挖掘形如condset→C 的规则，其中condset是项(或属性-值对)的集合，而C是类标号，这种形式的规则称为类关联规则（class association rules，CARS）。
关联分类方法一般由两步组成：第一步用关联规则挖掘算法从训练数据集中挖掘出所有满足指定支持度和置信度的类关联规则；第二步使用启发式方法从挖掘出的类关联规则中挑选出一组高质量的规则用于分类。
属于关联分类的算法主要包括CBA[44] ，ADT[45] ，CMAR[46] 等。
（7）集成学习（Ensemble Learning）实际应用的复杂性和数据的多样性往往使得单一的分类方法不够有效。
因此，学者们对多种分类方法的融合即集成学习进行了广泛的研究。
集成学习已成为国际机器学习界的研究热点，并被称为当前机器学习四个主要研究方向之一。
集成学习是一种机器学习范式，它试图通过连续调用单个的学习算法，获得不同的基学习器，然后根据规则组合这些学习器来解决同一个问题，可以显著的提高学习系统的泛化能力。
组合多个基学习器主要采用（加权）投票的方法，常见的算法有装袋[47] （Bagging），提升/推进[48, 49] （Boosting）等。
第二章分类方法核心技术分析和瓶颈2.1分类方法核心技术2.1.1 决策树决策树算法是一种逼近离散函数值的方法。
它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。
本质上决策树是通过一系列规则对数据进行分类的过程。
决策树方法最早产生于上世纪60年代，到70年代末。
由J Ross Quinlan提出了ID3算法，此算法的目的在于减少树的深度。
但是忽略了叶子数目的研究。
C4.5算法在ID3算法的基础上进行了改进，对于预测变量的缺值处理、剪枝技术、派生规则等方面作了较大改进，既适合于分类问题，又适合于回归问题。
决策树算法构造决策树来发现数据中蕴涵的分类规则．如何构造精度高、规模小的决策树是决策树算法的核心内容。
决策树构造可以分两步进行。
第一步，决策树的生成：由训练样本集生成决策树的过程。
一般情况下，训练样本数据集是根据实际需要有历史的、有一定综合程度的，用于数据分析处理的数据集。
第二步，决策树的剪技：决策树的剪枝是对上一阶段生成的决策树进行检验、校正和修下的过程，主要是用新的样本数扼集（称为测试数据集）中的数据校验决策树生成过程中产生的初步规则，将那些影响预衡准确性的分枝剪除。
1）树以代表训练样本的单个结点开始。
2）如果样本都在同一个类．则该结点成为树叶，并用该类标记。
3）否则，算法选择最有分类能力的属性作为决策树的当前结点．4）根据当前决策结点属性取值的不同，将训练样本数据集tlI分为若干子集，每个取值形成一个分枝，有几个取值形成几个分枝。
匀针对上一步得到的一个子集，重复进行先前步骤，递4'I形成每个划分样本上的决策树。
一旦一个属性出现在一个结点上，就不必在该结点的任何后代考虑它。
5）递归划分步骤仅当下列条件之一成立时停止：①给定结点的所有样本属于同一类。
②没有剩余属性可以用来进一步划分样本．在这种情况下．使用多数表决，将给定的结点转换成树叶，并以样本中元组个数最多的类别作为类别标记，同时也可以存放该结点样本的类别分布，③如果某一分枝tc，没有满足该分支中已有分类的样本，则以样本的多数类创建一个树叶。
决策树构造的输入是一组带有类别标记的例子，构造的结果是一棵二叉树或多叉树。
二叉树的内部节点(非叶子节点)一般表示为一个逻辑判断，如形式为a=aj 的逻辑判断，其中a是属性，aj是该属性的所有取值：树的边是逻辑判断的分支结果。
多叉树(ID3)的内部结点是属性，边是该属性的所有取值，有几个属性值就有几条边。
树的叶子节点都是类别标记。
由于数据表示不当、有噪声或者由于决策树生成时产生重复的子树等原因，都会造成产生的决策树过大。
因此，简化决策树是一个不可缺少的环节。
寻找一棵最优决策树，主要应解决以下3个最优化问题：①生成最少数目的叶子节点；②生成的每个叶子节点的深度最小；③生成的决策树叶子节点最少且每个叶子节点的深度最小。