随机森林与支持向量机分类性能比较
随机森林与支持向量机分类性能比较
黄衍，查伟雄
（华东交通大学交通运输与经济研究所，南昌 330013）
摘要：随机森林是一种性能优越的分类器。为了使国内学者更深入地了解其性能，通过将其与已在国内得到广泛应用的支持向量机进行数据实验比较，客观地展示其分类性能。实验选取了20个UCI数据集，从泛化能力、噪声鲁棒性和不平衡分类三个主要方面进行，得到的结论可为研究者选择和使用分类器提供有价值的参考。
关键词：随机森林；支持向量机；分类
中图分类号：O235 文献标识码： A
Comparison on Classification Performance between Random Forests and Support Vector Machine
HUANG Yan, ZHA Weixiong
(Institute of Transportation and Economics, East China Jiaotong University, Nanchang 330013, China)【Abstract】Random Forests is an excellent classifier. In order to make Chinese scholars fully understand its performance, this paper compared it with Support Vector Machine widely used in China by means of data experiments to objectively show its classification performance. The experiments, using 20 UCI data sets, were carried out from three main aspects: generalization, noise robustness and imbalanced data classification. Experimental results can provide references for classifiers’ choice and use.
【Key words】Random Forests; Support Vector Machine; classification
0 引言
分类是数据挖掘领域研究的主要问题之一，分类器作为解决问题的工具一直是研究的热点。常用的分类器有决策树、逻辑回归、贝叶斯、神经网络等，这些分类器都有各自的性能特点。本文研究的随机森林[1]（Random Forests，RF）是由Breiman提出的一种基于CART 决策树的组合分类器。其优越的性能使其在国外的生物、医学、经济、管理等众多领域到了广泛的应用，而国内对其的研究和应用还比较少[2]。为了使国内学者对该方法有一个更深入的了解，本文将其与分类性能优越的支持向量机[3]（Support Vector Machine，SVM）进行数据实验比较，客观地展示其分类性能。本文选取了UCI机器学习数据库[4]的20个数据集作为实验数据，通过大量的数据实验，从泛化能力、噪声鲁棒性和不平衡分类三个主要方面进行比较，为研究者选择和使用分类器提供有价值的参考。
1 分类器介绍
1.1 随机森林
随机森林作为一种组合分类器，其算法由以下三步实现：
1. 采用bootstrap抽样技术从原始数据集中抽取n tree个训练集，每个训练集的大小约为原始数据集的三分之二。
2. 为每一个bootstrap训练集分别建立分类回归树（Classification and Regression Tree，CART），共产生n tree棵决策树构成一片“森林”，这些决策树均不进行剪枝（unpruned）。在作者简介：黄衍（1986-），男，硕士研究生，主要研究方向：数据挖掘与统计分析。
通信联系人：查伟雄，男，博士，教授，主要研究方向：交通运输与经济统计分析。
E-mail: huangyan189@https://www.360docs.net/doc/a411359779.html,.
每棵树生长过程中，并不是选择全部M个属性中的最优属性作为内部节点进行分支（split），而是从随机选择的m try≤M个属性中选择最优属性进行分支。
3. 集合n tree棵决策树的预测结果，采用投票（voting）的方式决定新样本的类别。
随机森林在训练过程中的每次bootstrap抽样，将有约三分之一的数据未被抽中，这部分数据被称为袋外（out-of-bag）数据。随机森林利用这部分数据进行内部的误差估计，产生OOB误差（out-of-bag error）。Breiman通过实验证明，OOB误差是无偏估计，近似于交叉验证得到的误差。
随机森林分类器利用基于Breiman随机森林理论的R语言软件包randomForest4.6-6[5]来实现。需要设置三个主要的参数：森林中决策树的数量（ntree）、内部节点随机选择属性的个数（mtry）及终节点的最小样本数（nodesize）。
1.2 支持向量机
支持向量机是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，已在众多领域得到了广泛的应用。支持向量机最初是为了求解二分类问题而诞生的，其基本思想可以表述如下。目标是寻找一个最优分类超平面（separating hyperplane），使两类间相邻最近的样本点之间的边缘（margin）最大化。在最大化边缘边界上的样本点被称为支持向量（support vectors），边缘的中间切面为最优分类超平面。被边缘误分的点，其权重将被降低，以减少其影响。当数据线性不可分时，通过核函数将数据点映射到高维空间，使其线性可分。寻找超平面的过程可以转化为求解一个二次规划问题。
支持向量机分类器采用R语言软件包e1071 1.6[6]实现，该软件包是以台湾大学林智仁教授的libsvm[7]源代码为基础开发的。libsvm包含了四种主要的核函数：线性核函数（Linear）、多项式核函数（Polynomial）、径向基核函数（Radial Basis Function，RBF）以及Sigmoid核函数。本文采用径向基核函数，原因有四方面：（1）线性核函数只能处理线性关系，且被证明是径向基核函数的一个特例[8]；（2）Sigmoid核函数在某些参数上近似径向基核函数的功能，径向基核函数取一定参数也可得到Sigmoid核函数的性能[9]；（3）多项式核函数参数较多，不易于参数优选；（4）本文实验数据均非高维数据，径向基核函数可以适用。径向基核函数支持向量机包含两个重要的参数：惩罚参数Cost和核参数Gamma。此外，libsvm可用于多分类问题，采用的是“一对一”（one-against-one）的策略，即每两类建立一个支持向量机分类器，共建立k(k-1)/2个分类器，k为类别数，最后采用投票的方式决定新样本的类别。
2 分类器性能比较
实验将从三个主要方面比较两个分类器的性能：泛化能力、噪声鲁棒性和不平衡分类。选取UCI机器学习数据库的20个数据集作为实验数据，数据集信息见表1，编号1到10的数据集为二分类，11到20为多分类。为了更好地比较，对两个分类器均进行参数优选。随机森林参数优选过程分两步：（1）在整个训练集上训练，根据OOB误差选择ntree和nodesize，选择标准是使总误差或目标类别误差降到足够低且稳定；（2）采用训练集十折交叉验证（Cross-validation）对参数mtry进行遍历确定最优值，参数选择标准可根据实际问题确定，最低误差或最大AUC（Area under ROC Curve）。支持向量机采用训练集十折交叉验证对参数Cost和Gamma进行网格寻优（Grid-search）确定最优值，参数选择标准同上。两个分类器在每个数据集上均进行10次参数优选。为了判断两个分类器是否有显著差异，引
入了非参数置换检验[10, 11]（Permutation Test）进行统计比较，显著性水平设置为0.05。全部实验均在R 2.14.1软件平台上完成。
表1 实验数据集信息
Tab.1 Information of experiment data sets
编号数据集类别数属性数样本数训练集测试集
1 Breast Cancer
2 30 569 286 283
2 Vertebral Column 2 6 310 166 144
3 Blood Transfusion 2
4 748 500 248
4 Haberman's Survival 2 3 306 160 146
5 Ionosphere 2 34 351 175 176
6 Parkinsons 2 22 195 102 93
7 MAGIC 2 10 19020 184 18836
8 Pima Indians Diabetes 2 8 768 196 572
9 Connectionist Bench 2 60 208 104 104
10 Heart 2 13 270 121 149
11 Wine 3 13 178 98 80
12 Iris 3 4 150 73 77
13 Cardiotocography 3 21 2126 231 1895
14 Vehicle Silhouettes 4 18 846 206 640
15 Glass 6 9 214 153 61
16 Breast Tissue 6 9 106 56 50
17 Image Segmentation 7 19 2310 254 2056
18 Segmentation 7 18 2310 210 2100
19 Ecoli 8 7 336 212 124
20 Libras Movement 15 90 360 179 181
2.1 泛化能力比较
采用泛化误差作为泛化能力的评价标准。先在训练集上确定最优参数，然后在整个训练集上训练模型，最后利用测试集计算泛化误差，该过程迭代10次。考虑到对数据进行预处理可能影响分类器的性能，分别在预处理前后的数据上进行了实验。预处理的方法主要为异常值归约、0-1归一化等。实验结果见表2和表3，表2为二分类数据实验结果，表3为多分类。表中给出的误差值为10次迭代的平均值，粗体的数值为各分类器的最优值，“前”和“后”表示数据预处理前后,名义胜者是比较两分类器最优值得出的结果。
表2 分类器在二分类数据上的泛化能力比较
Tab.2 Comparison on generalization ability between classifiers applied to two-category data 训练集交叉验证误差测试集预测误差
编号
SVM RF 名义
胜者
P值
SVM RF 名义
胜者
P值前后前后前后前后
1 0.030 0.030 0.047 0.048 SVM 0.000 0.181 0.029 0.030 0.034 SVM 0.662
2 0.128 0.126 0.15
3 0.155 SVM 0.000 0.245 0.19
4 0.181 0.176 RF 0.006
3 0.209 0.206 0.219 0.216 SVM 0.005 0.27
4 0.261 0.22
5 0.229 RF 0.000
4 0.228 0.226 0.303 0.300 SVM 0.000 0.288 0.281 0.276 0.282 RF 0.616
5 0.042 0.037 0.06
6 0.066 SVM 0.000 0.05
7 0.073 0.087 0.087 SVM 0.000
6 0.083 0.076 0.073 0.072 RF 0.232 0.235 0.180 0.19
7 0.196 SVM 0.175
7 0.192 0.198 0.194 0.197 SVM 0.713 0.352 0.196 0.162 0.165 RF 0.000
8 0.236 0.241 0.239 0.230 RF 0.181 0.361 0.253 0.266 0.271 SVM 0.000
9 0.208 0.198 0.185 0.197 RF 0.200 0.323 0.212 0.115 0.113 RF 0.000
10 0.129 0.136 0.122 0.128 RF 0.170 0.441 0.191 0.215 0.219 SVM 0.104 P值0.135 0.459
表3 分类器在多分类数据上的泛化能力比较
Tab.3 Comparison on generalization ability between classifiers applied to multi-category data 训练集交叉验证误差测试集预测误差
编号
SVM RF 名义
胜者
P值
SVM RF 名义
胜者
P值前后前后前后前后
1 0.011 0.010 0.020 0.021 SVM 0.000 0.489 0.070 0.020 0.000 RF 0.000
2 0.018 0.014 0.084 0.069 SVM 0.000 0.026 0.030 0.02
3 0.020 RF 0.033
3 0.129 0.116 0.071 0.076 RF 0.000 0.146 0.120 0.087 0.090 RF 0.000
4 0.193 0.198 0.222 0.221 SVM 0.000 0.741 0.299 0.298 0.300 RF 0.783
5 0.303 0.298 0.224 0.228 RF 0.000 0.290 0.310 0.262 0.261 RF 0.007
6 0.255 0.285 0.243 0.236 RF 0.151 0.768 0.424 0.364 0.368 RF 0.000
7 0.059 0.059 0.050 0.048 RF 0.000 0.596 0.106 0.064 0.065 RF 0.000
8 0.080 0.089 0.049 0.048 RF 0.000 0.145 0.116 0.044 0.043 RF 0.000
9 0.129 0.131 0.160 0.160 SVM 0.000 0.084 0.090 0.073 0.070 RF 0.002
10 0.199 0.194 0.249 0.249 SVM 0.000 0.358 0.323 0.282 0.286 RF 0.010
P值0.9805 0.002
从表2和表3可以得到以下信息：
（1）数据预处理的影响。两种分类器的训练集交叉验证误差在预处理前后的差异都不大，而从测试集预测误差在预处理前后的结果可以看出两者的明显差异。数据预处理对随机森林基本没有影响，而对支持向量机影响较大，数据预处理使支持向量机在二分类数据上的泛化误差平均降低27.3%，多分类平均降低29.1%。因此，在使用随机森林时，可以不对数据进行预处理，而在使用支持向量机时，有必要进行数据的预处理。
（2）二分类泛化误差比较。从表2训练集交叉验证误差这栏可以看出，支持向量机在5个数据集上显著优于随机森林，而随机森林没有在任何一个数据集上显著优于支持向量机。对10个数据集训练集交叉验证误差进行置换检验，得到的P值为0.135，未达到设定的显著性水平0.05，认为两个分类器在训练集上的泛化误差不存在显著差异。重点考虑测试集预测误差这一栏，随机森林在4个数据上显著优于支持向量机，支持向量机只在2个数据集上显著优于随机森林。由10个数据集测试集预测误差的置换检验得到的P值为0.459，从而认为在二分类问题上两种分类器的泛化能力不存在显著差异。
（3）多分类泛化误差比较。分析同上，在训练集交叉验证误差的比较上，二者没有显著差异，但在测试集预测误差的比较上，随机森林显著优于支持向量机。因此，认为随机森
林泛化能力在多分类问题上优于支持向量机。
2.2 噪声鲁棒性比较
数据噪声包括属性噪声和类别噪声，本文主要从分类器对类别噪声的鲁棒性来进行比较。从20个数据集中选取了10个数据集的训练集，二分类和多分类数据各5个，两种分类器根据表2和表3的训练集交叉验证误差最优值，确定是否采用预处理后数据。随机抽取每个训练集5%的样本，打乱其类别，人为制造类别噪声。在含噪声的数据上进行十折交叉验证，得到的交叉验证误差与表2和表3的训练集交叉验证误差最优值进行比较，计算交叉验证误差的增加值，该过程迭代10次。实验结果见表4，表中误差值为10次迭代的平均值，名义胜者为误差增加较小的分类器。
表4 噪声鲁棒性比较
Tab.4 Comparison on noise robustness
编号
交叉验证误差交叉验证误差增加值名义
胜者
P值SVM RF SVM RF
6 0.096 0.111 0.0200.039 SVM 0.003
7 0.240 0.211 0.048 0.018RF 0.000
8 0.281 0.277 0.0450.047 SVM 0.733
9 0.227 0.213 0.029 0.028RF 0.974
10 0.150 0.142 0.021 0.020 RF 0.901
11 0.063 0.073 0.053 0.052 RF 0.749
14 0.232 0.240 0.038 0.019 RF 0.003
16 0.353 0.265 0.098 0.029RF 0.000
17 0.119 0.107 0.060 0.059 RF 0.720
19 0.168 0.195 0.039 0.036RF 0.477
P值0.1641 由表4可得，噪声使两种分类器的交叉验证误差均提高了。随机森林在3个数据集上的误差增加值显著低于支持向量机，支持向量机在1个数据集上的误差增加值显著低于随机森林，二者在其他数据集上均没有显著差异。10个数据集的置换检验得到的P值为0.1641，没有达到要求的显著性水平，因而两种分类器在噪声鲁棒性方面是没有显著差异的。
2.3 不平衡分类比较
不平衡数据是指数据中某一类的样本数目明显少于其他类样本的数目。本文选取10个二分类数据的作为实验数据，以不平衡度（小类样本数：大类样本数）小于0.5来界定不平衡数据，对于不平衡度大于0.5的原始数据集，通过随机删减小类样本以达到理想的不平衡度。以实验数据集上的十折交叉验证AUC值来比较分类器性能，相应参数寻优也以最大AUC 值为目标，每个实验数据进行10次迭代。实验结果见表5，表中AUC值为10次迭代的平均值，名义胜者为能得到较大AUC值的分类器。
表5 不平衡分类比较
Tab.5 Comparison on imbalanced data classification
编号不平
衡度
交叉验证AUC名义
胜者
P值SVM RF
1 0.333 1.000 0.995 SVM 0.000
2 0.476 0.937 0.927 SVM 0.030
3 0.312 0.72
4 0.677 SVM 0.000
4 0.360 0.776 0.704 SVM 0.000
5 0.249 0.991 0.969 SVM 0.000
6 0.32
7 0.964 0.973 RF 0.179
7 0.400 0.858 0.834 SVM 0.001
8 0.400 0.778 0.747 SVM 0.001
9 0.450 0.889 0.873 SVM 0.067
10 0.400 0.940 0.919 SVM 0.006
P值0.006
从表5的实验结果可以明显地看出，随机森林在不平衡分类性能上显著逊色于支持向量机。本实验是在未设置类权重的情况进行的，我国学者李建更等对加权随机森林（Weighted Random Forest，WRF）进行了实验研究，结果表明对不平衡数据进行权重设置在大多数情况下能取得优于普通随机森林的结果[12]，其在研究中还就权重的设置提出几点很有价值的规律，详见文献[12]。此外，还可以通过数据层面的处理来提高分类器的性能，常用的技术有欠抽样（undersampling）、过抽样（oversampling）及两种技术的混合。
3 结论
通过数据实验，得出以下关于随机森林与支持向量机在分类性能方面的几点结论：（1）使用随机森林无需预先对数据进行预处理，而若使用支持向量机则有必要进行数据预处理；（2）在二分类问题上，二者的泛化能力无显著差异；（3）在多分类问题上，随机森林的泛化能力显著优于支持向量机；（4）二者对数据类别噪声的鲁棒性无显著差异；（5）在不平衡分类问题上，随机森林显著逊色于支持向量机。
[参考文献] (References)
[1]BREIMAN L. Random Forests[J]. Machine Learning, 2001, 45: 5-32.
[2]方匡南, 吴见彬, 朱建平等. 随机森林方法研究综述[J]. 统计与信息论坛, 2011, 26(3): 32-38.
FANG K N, WU J B, ZHU J P, et al. A Review of Technologies on Random Forests[J]. Statistics & Information Forum, 2011, 26(3): 32-38. (in Chinese)
[3]V APNIK V. The Nature of Statistical Learning Theory[M]. New York: Springer-Verlag, 1995.
[4]FRANK A, ASUNCION A. UCI Machine Learning Repository[DB/OL]. https://www.360docs.net/doc/a411359779.html,/
ml.
[5]LIAW A, WIENER M. RandomForest: Breiman and Cutler's random forests for classification and
regression[CP/OL]. https://www.360docs.net/doc/a411359779.html,/package=randomForest.
[6]EVGENIA D, KURT H, FRIEDRICH L, et al. E1071: Misc Functions of the Department of
Statistics[CP/OL]. https://www.360docs.net/doc/a411359779.html,/package=e1071.
[7]CHANG C C, LIN C J. LIBSVM: A Library for Support Vector Machines[J]. ACM Transactions on
Intelligent Systems and Technology, 2011, 2(3): 27:1-27:27.
[8]KEERTHI S S, LIN C J. Asymptotic Behaviors of Support Vector Machines with Gaussian Kernel[J]. Neural
Computation, 2003, 15(7): 1667－1689.
[9]LIN H T, LIN C J. A Study on Sigmoid Kernels for SVM and the Training of non-PSD Kernels by SMO-type
Methods[R]. Department of Computer Science, National Taiwan University, 2003.
[10]MENKE J, MARTINEZ T R. Using Permutations Instead of Student’s t Distribution for p-values in
Paired-Difference Algorithm Comparisons[C]. Proceedings of 2004 IEEE International Joint Conference on Neural Networks 2004, 2: 1331-1335.
[11]GOOD P I. Permutation Tests: A Practical Guide to Resampling Methods for Testing Hypotheses[M]. New
York: Springer, 2000.
[12]李建更, 高志坤. 随机森林针对小样本数据类权重设置[J]. 计算机工程与应用, 2009, 45(26):
131-134.
LI J G, GAO Z K. Setting of Class Weights in Random Forest for Small-sample Data[J]. Computer Engineering and Applications, 2009, 45(26): 131-134. (in Chinese)
*作者简介：黄衍（1986-），男，福建福州人，硕士研究生，研究方向：数据挖掘与统计分析。
身份证号：350124************
查伟雄（1963-），男，江西九江人，博士，教授，研究方向：交通运输与经济统计分析。
通讯地址：江西南昌华东交通大学南区国防生楼北104室邮编：330013
联系电话： 138******** 137********
0791-*******
Email: huangyan189@https://www.360docs.net/doc/a411359779.html,
支持向量机分类器
支持向量机分类器 1 支持向量机的提出与发展 支持向量机( SVM, support vector machine )是数据挖掘中的一项新技术，是借助于最优化方法来解决机器学习问题的新工具，最初由V.Vapnik 等人在1995年首先提出，近几年来在其理论研究和算法实现等方面都取得了很大的进展，开始成为克服“维数灾难”和过学习等困难的强有力的手段，它的理论基础和实现途径的基本框架都已形成。 根据Vapnik & Chervonenkis的统计学习理论 ,如果数据服从某个(固定但未知的)分布,要使机器的实际输出与理想输出之间的偏差尽可能小,则机器应当遵循结构风险最小化 ( SRM,structural risk minimization)原则,而不是经验风险最小化原则,通俗地说就是应当使错误概率的上界最小化。SVM正是这一理论的具体实现。与传统的人工神经网络相比, 它不仅结构简单,而且泛化( generalization)能力明显提高。 2 问题描述 2.1问题引入 假设有分布在Rd空间中的数据，我们希望能够在该空间上找出一个超平面(Hyper-pan),将这一数据分成两类。属于这一类的数据均在超平面的同侧，而属于另一类的数据均在超平面的另一侧。如下图。 比较上图，我们可以发现左图所找出的超平面（虚线），其两平行且与两类数据相切的超平面（实线）之间的距离较近，而右图则具有较大的间隔。而由于我们希望可以找出将两类数据分得较开的超平面，因此右图所找出的是比较好的超平面。 可以将问题简述如下： 设训练的样本输入为xi，i=1，…，l，对应的期望输出为yi∈{+1，-1}，其中+1和-1分别代表两类的类别标识，假定分类面方程为ω﹒x+b=0。为使分类面对所有样本正确分类并且具备分类间隔，就要求它满足以下约束条件： 它追求的不仅仅是得到一个能将两类样本分开的分类面，而是要得到一个最优的分类面。 2.2 问题的数学抽象 将上述问题抽象为： 根据给定的训练集
植物学分类学总结
植物学分类学总结 一、植物分类检索表的编制原则和应用 植物分类检索表是鉴别植物种类的一种工具，通常植物态、植物分类手册都 有检索表，以便校对和鉴别原植物的科、属、种时应用。 检索表的编制是采取“由一般到特殊”和“由特殊到一般”的二歧归类原则 编制。首先必须将所采到的地区植物标本进行有关习性、形态上的记载，将根、 茎、叶、花、果实和种子的各种特征的异同进行汇同辨异，找出互相矛盾和互相 显着对立的主要特征，依主、次特征进行排列，将全部植物分成不同的门、纲、 目、科、属、种等分类单位的检索表。其中主要是分科、分属、分种三种检索表。 检索表的式样一般有三种，现以植物界分门的分类为例列检索表如下： (1)定距检索表将每一对互相矛盾的特征分开间隔在一定的距离处，而注 明同样号码如1～1，2—2，3—3等依次检索到所要鉴定的对象(科、属、种)。 1．植物体无根、茎、叶的分化，没有胚胎………………………低等植物 2．植物体不为藻类和菌类所组成的共生复合体。 3．植物体内有叶绿素或其他光合色素，为自养生活方式…藻类植物 3．植物体内，无叶绿素或其他光合色素，为异养生活方式…菌类植物 2．植物体为藻类和菌类所组成的共生复合体……………………地衣植物 1．植物体有根、茎、叶的分化、有胚胎……………………………高等植物 4．植物体有茎、叶而无真根………………………………苔藓植物 4．植物体有茎、叶也有真根。 5．不产生种子，用孢子繁殖…………………………蕨类植物 5．产生种子，用种子繁殖……………………………种子植物
(2)平行检索表将每一对互相矛盾的特征紧紧并列，在相邻的两行中也给予一个号码，而每一项条文之后还注明下一步依次查阅的号码或所需要查到的对象。 1．植物体无根、茎、叶的分化，无胚胎……………………………(低等植物)(2) 1．植物体有根、茎、叶的分化，有胚胎……………………………(高等植物)(4) 2．植物体为菌类和藻类所组成的共生复合体...........................地衣植物 2．植物体不为菌类和藻类所组成的共生复合体 (3) 3．植物体内含有叶绿素或其他光合色素，为自养生活方式.........藻类植物 3．植物体内不含有叶绿素或其他光合色素，为异养生活方式......菌类植物 4．植物体有茎、叶；而无真根.............................................苔藓植物 4．植物体有茎、叶，也有真根 (5) 5．不产生种子，用孢子繁殖…………………………………………蕨类植物 5．产生种子，以种子繁殖……………………………………………种子植物 (3)连续平行检索表从头到尾，每项特征连续编号。将每一对相互矛盾的特征用两个号码表示，如1(6)和6(1)，当查对时，若所要查对的植物性状符合1时，就向下查2，若不符合时，就查6，如此类推向下查对一直查到所需要的对象。 1．(6)植物体无根、茎、叶的分化，无胚胎…………………………低等植物 2．(5)植物体不为藻类和菌类所组成的共生复合体。 3．(4)植物体内有叶绿素或其他光合色素，为自养生活方式”……藻类植物
植物学分类哈钦松系统
G1 铁科Cycadaceae 1：207 4：3 7 3： 1 1：285 1：338 上：83 G2 银杏科Ginkgoaceae 4：6 7 3：11 1：286 1：339 上：84 G3 南洋杉科Araucariaceae 1：214 4：8 7 3：12 1：316 1：340 上：85 G4 松科Pinaceae 1：208 4：11 7 3：13 1：286 1：342 上：86 G5 杉科Taxodiaceae 4：19 7 3：68 1：313 1：359 上：100 G6 柏科Cupressaceae 1：212 4：25 7 3：73 1：316 1：369 上：106 G7 罗汉松科Podocarpaceae 1：215 4：32 7 3：95 1：327 1：380 上：116 G8 三尖杉科Cephalotaxaceae 1：219 4：38 7 3：101 1：330 1：383 上：117 G9 红豆杉科Taxaceae 4：41 7 3：105 1：331 1：385 上：119 G10 麻黄科Ephedraceae 7 1：336 G11 买麻藤科Gnetaceae 1：220 4：44 7 3：118 1：338 1 木兰科Magnoliaceae 1：22 2 1：1 30（1）3：12 3 1：785 2：327 下：193 2A 八角科Illiciaceae 1：230 2：1 3：360 3 五味子科Schisandraceae 1：232 1：22 3：367 6 昆栏树科Trochodendroaceae 2 7 3：697 1：649 6B 水青树科Tetracentraceae 7 连香树科Cercidiphyllaceae 27 3：697 1：650 2：253 8 番荔枝科Annonaceae 1：234 2：7 30（2）3：158 1：805 2：346 10 檬立米科Monimiaceae 11 樟科Lauraceae 1：259 31 3：206 1：816 2：347 下：204 13 莲叶桐科Hernandiaceae 1：301 3：1 31 3：304 1：864 14 肉豆蔻科Myristicaceae 1：303 2：41 30（2）3：196 1：814 15 毛茛科Ranumculaceae 1：304 5：1 27，28 3：388 1：651 2：254 下：158 16 莼菜科Cabombaceae 3：385 17 金鱼藻科Ceratophyllaceae 3：5 27 3：386 1：649 2：250 下：157 18 睡莲科Nymphaeaceae 1：309 3：6 27 3：379 1：646 2：245 下：154 19 小檗科Berberidaceae 3：11 26 1：758 2：307 下：186 20 星叶草科Circaeasteraceae 3：581 21 木通科Lardizabalaceae 1：311 4：49 29 3：583 1：753 2：299 下：183 22 大血藤科Sargentoboxaceae 1：312 4：56 3：582 下：185 23 防己科Menispermaceae 1：313 1：27 30（1）3：596 1：778 2：320 下：190 24 马兜铃科Aristolochiaceae 1：326 1：47 24 3：336 1：541 2：134 下：90 25 大花草科Cytinaceae 2：44 24 7：773 27 猪笼草科Nepenthaceae 1：329 2：46 34（1）5：104 2：72 28 胡椒科Piperaceae 1：330 1：63 20（1）3：318 1：341 2：5 29 三白草科Saururaceae 1：338 1：78 20（1）3：316 1：339 2：3 下：13
随机森林算法
随机森林算法 1.算法简介 随机森林由LeoBreiman（2001）提出，它通过自助法（bootstrap）重采样技术，从原始训练样本集N中有放回地重复随机抽取k个样本生成新的训练样本集合，然后根据自助样本集生成k个分类树组成随机森林，新数据的分类结果按分类树投票多少形成的分数而定。其实质是对决策树算法的一种改进，将多个决策树合并在一起，每棵树的建立依赖于一个独立抽取的样品，森林中的每棵树具有相同的分布，分类误差取决于每一棵树的分类能力和它们之间的相关性。特征选择采用随机的方法去分裂每一个节点，然后比较不同情况下产生的误差。能够检测到的内在估计误差、分类能力和相关性决定选择特征的数目。单棵树的分类能力可能很小，但在随机产生大量的决策树后，一个测试样品可以通过每一棵树的分类结果经统计后选择最可能的分类。 2.算法原理 决策树（decision tree）是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。 随机森林模型的基本思想是：首先，利用bootstrap抽样从原始训练集抽取k 个样本，且每个样本的样本容量都与原始训练集一样；其次，对k个样本分别建立k个决策树模型，得到k种分类结果；最后，根据k种分类结果对每个记录进行投票表决决定其最终分类，如下图所示。 在建立每一棵决策树的过程中，有两点需要注意采样与完全分裂。首先是两个随机采样的过程，random forest对输入的数据要进行行、列的采样。对于行采样，采用有放回的方式，也就是在采样得到的样本集合中，可能有重复的样本。
植物学分类哈钦松系统
植物学分类哈钦松系统集团标准化工作小组 #Q8QGGQT-GX8G08Q8-GNQGJ8-MHHGN#
海南志广东志中国志高等植物图鉴浙江志江苏志科号 科名 1：207 4：3 7 3： 1 1：285 1：338 上：83 G1 苏铁科Cycadaceae 4：6 7 3： 11 1：286 1：339 上：84 G2 银杏科Ginkgoaceae 1：214 4：8 7 3： 12 1：316 1：340 上：85 G3 南洋杉科Araucariaceae 1：208 4：11 7 3： 13 1：286 1：342 上：86 G4 松科Pinaceae 4：19 7 3： 68 1：313 1：359 上：100 G5 杉科Taxodiaceae 1：212 4：25 7 3： 73 1：316 1：369 上：106 G6 柏科Cupressaceae 1：215 4：32 7 3： 95 1：327 1：380 上：116 G7 罗汉松科Podocarpaceae 1：219 4：38 7 3：101 1：330 1：383 上：117 G8 三尖杉科Cephalotaxaceae 4：41 7 3：105 1：331 1：385 上：119 G9 红豆杉科Taxaceae 7 1：336 G10 麻黄科Ephedraceae 1：220 4：44 7 3：118 1：338 G11 买麻藤科Gnetaceae 1：222 1：1 30（1）3：123 1：785 2：327 下：193 1木兰科Magnoliaceae 1：230 2：1 3：360 2A 八角科Illiciaceae 1：232 1： 22 3：367 3五味子科Schisandraceae 27 3：697 1：649 6昆栏树科Trochodendroaceae 6B水青树科Tetracentraceae 27 3：697 1：650 2：253 7连香树科Cercidiphyllaceae 1：234 2：7 30（2）3：158 1：805 2：346 8番荔枝科Annonaceae 10檬立米科Monimiaceae 1：259 31 3：206 1：816 2：347 下：204 11樟科Lauraceae 1：301 3：1 31 3：304 1：864 13莲叶桐科Hernandiaceae 1：303 2：41 30（2）3：196 1：814 14肉豆蔻科Myristicaceae 1：304 5：1 27，28 3：388 1：651 2：254 下：158 15毛茛科Ranumculaceae 3：385 16莼菜科Cabombaceae 3：5 27 3：386 1：649 2：250 下：157 17金鱼藻科Ceratophyllaceae 1：309 3：6 27 3：379 1：646 2：245 下：154 18睡莲科Nymphaeaceae 3：11 26 1：758 2：307 下：186 19小檗科Berberidaceae 3：581 20星叶草科Circaeasteraceae 1：311 4：49 29 3：583 1：753 2：299 下：183 21木通科Lardizabalaceae 1：312 4：56 3：582 下：185 22大血藤科Sargentoboxaceae 1：313 1：27 30（1）3：596 1：778 2：320 下：190 23防己科Menispermaceae 1：326 1：47 24 3：336 1：541 2：134 下：90 24马兜铃科Aristolochiaceae 2：44 24 7：773 25大花草科Cytinaceae 1：329 2：46 34（1）5：104 2： 72 27猪笼草科Nepenthaceae 1：330 1：63 20（1）3：318 1：341 2：5 28胡椒科Piperaceae
支持向量机数据分类预测
支持向量机数据分类预测 一、题目——意大利葡萄酒种类识别 Wine数据来源为UCI数据库，记录同一区域三种品种葡萄酒的化学成分，数据有178个样本，每个样本含有13个特征分量。50%做为训练集，50%做为测试集。 二、模型建立 模型的建立首先需要从原始数据里把训练集和测试集提取出来，然后进行一定的预处理，必要时进行特征提取，之后用训练集对SVM进行训练，再用得到的模型来预测试集的分类。 三、Matlab实现 3.1 选定训练集和测试集 在178个样本集中，将每个类分成两组，重新组合数据，一部分作为训练集，一部分作为测试集。 % 载入测试数据wine,其中包含的数据为classnumber = 3,wine:178*13的矩阵,wine_labes:178*1的列向量 load chapter12_wine.mat; % 选定训练集和测试集 % 将第一类的1-30,第二类的60-95,第三类的131-153做为训练集 train_wine = [wine(1:30,:);wine(60:95,:);wine(131:153,:)]; % 相应的训练集的标签也要分离出来 train_wine_labels = [wine_labels(1:30);wine_labels(60:95);wine_labels(131:153)]; % 将第一类的31-59,第二类的96-130,第三类的154-178做为测试集 test_wine = [wine(31:59,:);wine(96:130,:);wine(154:178,:)]; % 相应的测试集的标签也要分离出来 test_wine_labels = [wine_labels(31:59);wine_labels(96:130);wine_labels(154:178)]; 3.2数据预处理 对数据进行归一化： %% 数据预处理 % 数据预处理,将训练集和测试集归一化到[0,1]区间 [mtrain,ntrain] = size(train_wine); [mtest,ntest] = size(test_wine); dataset = [train_wine;test_wine]; % mapminmax为MATLAB自带的归一化函数 [dataset_scale,ps] = mapminmax(dataset',0,1); dataset_scale = dataset_scale';
基于支持向量机的分类方法
基于支持向量机的分类方法 摘要：本文首先概述了支持向量机的相关理论，引出了支持向量机的基本模型。当训练集的两类样本点集重合区域很大时，线性支持向量分类机就不适用了，由此介绍了核函数相关概念。然后进行了核函数的实验仿真，并将支持向量机应用于实例肿瘤诊断，建立了相应的支持向量机模型，从而对测试集进行分类。最后提出了一种支持向量机的改进算法，即根据类向心度对复杂的训练样本进行预删减。 1、支持向量机 给定训练样本集1122{[,],[,], ,[,]}()l l l T a y a y a y Y =∈Ω?L ，其中n i a R ∈Ω=，Ω是输入空间，每一个点i a 由n 个属性特征组成，{1,1},1,,i y Y i l ∈=-=L 。分类 就是在基于训练集在样本空间中找到一个划分超平面，将不同的类别分开，划分超平面可通过线性方程来描述： 0T a b ω+= 其中12(;;;)d ωωωω=K 是法向量，决定了超平面的方向，b 是位移项，决定 了超平面与原点之间的距离。样本空间中任意点到超平面的距离为|| |||| T a b r ωω+=。 支持向量、间隔： 假设超平面能将训练样本正确分类，即对于[,]i i a y T ∈，若1i y =+，则有 0T i a b ω+>，若1i y =-，则有0T i a b ω+<。则有距离超平面最近的几个训练样本点使得 11 11 T i i T i i a b y a b y ωω?+≥+=+?+≤-=-? 中的等号成立，这几个训练样本点被称为支持向量；两个异类支持向量到超平面 的距离之和2 |||| r ω=被称为间隔。 支持向量机基本模型： 找到具有最大间隔的划分超平面，即 ,2max ||||..()1,1,2,...,b T i i s t y a b i m ωωω+≥= 这等价于 2 ,||||min 2..()1,1,2,...,b T i i s t y a b i m ωωω+≥= 这就是支持向量机（SVM ）的基本模型。 支持向量机问题的特点是目标函数2 ||||2 ω是ω的凸函数，并且约束条件都是 线性的。
用于分类的支持向量机
文章编号:100228743(2004)0320075204 用于分类的支持向量机 黄发良,钟 智Ξ (1.广西师范大学计算机系,广西桂林541000; 2.广西师范学院数学与计算机科学系,广西南宁530001) 摘 要:支持向量机是20世纪90年代中期发展起来的机器学习技术,建立在结构风险最小化原理之上的支持向量机以其独有的优点吸引着广大研究者,该文着重于用于分类的支持向量机,对其基本原理与主要的训练算法进行介绍,并对其用途作了一定的探索. 关键词:支持向量机;机器学习;分类 中图分类号:TP181 文献标识码:A 支持向量机S VM (Support Vector Machine )是AT&T Bell 实验室的V.Vapnik 提出的针对分类和回归问题的统计学习理论.由于S VM 方法具有许多引人注目的优点和有前途的实验性能,越来越受重视,该技术已成为机器学习研究领域中的热点,并取得很理想的效果,如人脸识别、手写体数字识别和网页分类等. S VM 的主要思想可以概括为两点:(1)它是针对线性可分情况进行分析,对于线性不可分的情况,通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分,从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能;(2)它基于结构风险最小化理论之上在特征空间中建构最优分割超平面,使得学习器得到全局最优化,并且在整个样本空间的期望风险以某个概率满足一定上界. 1 基本原理 支持向量机理论最初来源于数据分类问题的处理,S VM 就是要寻找一个满足要求的分割平面,使训练集中的点距离该平面尽可能地远,即寻求一个分割平面使其两侧的margin 尽可能最大. 设输入模式集合{x i }∈R n 由两类点组成,如果x i 属于第1类,则y i =1,如果x i 属于第2类,则y i =-1,那么有训练样本集合{x i ,y i },i =1,2,3,…,n ,支持向量机的目标就是要根据结构风险最小化原理,构造一个目标函数将两类模式尽可能地区分开来,通常分为两类情况来讨论,(1)线性可分,(2)线性不可分. 1.1 线性可分情况 在线性可分的情况下,就会存在一个超平面使得训练样本完全分开,该超平面可描述为: w ?x +b =0(1) 其中,“?”是点积,w 是n 维向量,b 为偏移量. 最优超平面是使得每一类数据与超平面距离最近的向量与超平面之间的距离最大的这样的平面.最优超平面可以通过解下面的二次优化问题来获得: min <(w )= 12‖w ‖2(2) Ξ收稿日期:2004202206作者简介:黄发良(1975-),男,湖南永州人,硕士研究生;研究方向:数据挖掘、web 信息检索. 2004年9月 广西师范学院学报(自然科学版)Sep.2004 第21卷第3期 Journal of G u angxi T eachers Education U niversity(N atural Science Edition) V ol.21N o.3
植物学植物分类教学教材
裸子植物的分类 现存裸子植物有71属800余种，我国有41属236种。 分五个纲 铁树纲（苏铁纲：9属110种） 银杏纲（1科1属1种，我国特产，国家一濒危级保护植物） 松柏纲（球果纲：7科51属600余种） 红豆杉纲（紫杉纲：3科14属162种） 买麻藤纲（3科3属80种） 1. 苏铁纲(Cycadopsida) 苏铁（Cycas revoluta）苏铁科，苏铁属 主要特征：常绿木本茎不分枝羽状复叶集生茎顶雌雄异株 2. 银杏纲(Ginkgopsida) 银杏（Ginkgo biloba）银杏科，银杏属 特征：高大落叶乔木；有长枝和短枝之分；叶扇形，叉状脉；雌雄异株。 3. 松柏纲分类及代表植物（种类最多，有600余种，分为7 个科） 本纲主要特 乔木，多分枝，叶针形、线形、鳞片形具有树脂道 孢子叶球球果状（球果植物），大孢子叶球由多枚 大孢子叶（珠鳞）和苞鳞组成 胚珠在大孢子叶腹面倒生 小孢子有气囊或无气囊精子无鞭毛 可分为3个科： 松科：种鳞与苞鳞离生，每种鳞有2粒种子 杉科：种鳞和苞鳞半合生，每个种鳞有2—9 粒种子 柏科：种鳞和苞鳞完全合生，每个种鳞有1—多胚珠 （1）松科：叶常针形或线形，每种鳞两粒种子，种鳞与苞鳞离生。 冷杉属(Abies)（枝具圆形微凹的叶痕叶条形球果直立，当年成熟）该属约50种，分布于亚洲、欧洲、北美、中美及非洲北部的高山地带。我国有19种3变种。分布于东北、华北、西北、西南及浙江、台湾各省区的高山地带，常组成大面积的纯林，为令后开发利用的森林资源，有些种类是森林更新的主要树种。多为耐寒的耐荫性较强的树种，常生于气候凉润、雨量较多的高山地区。 （2）杉科：叶披针形、条形或鳞状，种鳞和苞鳞半合生，每个种鳞有2--9粒种子 常见植物有：杉木属(Cunninghamia) 南洋杉属南洋杉科植物。常绿乔木，原产澳大利亚诺和克岛，它的名称繁多，按属地称谓有英杉、澳杉、南洋杉等。 南洋杉树形高大，姿态优美，为世界5大公园树种之一。最宜独植作为园景树或作纪念树，亦可作行道树。但以选无强风地点为宜，以免树冠偏斜。南洋杉又是珍贵的室内盆栽装饰树种。南洋杉为美丽的园景树，可孤植、列植或配植在树丛内。也可作为大型雕塑或风景建筑背景树。南洋杉又是珍贵的室内盆栽装饰树种，用于厅堂环境的点缀装饰，显得十分高雅。 （3）柏科：叶对生或轮生，具两型叶，种鳞和珠鳞完全合生 常见植物：圆柏属(Sabina) ：龙柏侧柏属(Platycladus)刺柏属(Juniperus) （4）南洋杉科：栽培种南洋杉Araucaria 原产大洋州
数据挖掘之随机森林算法实验报告
太原师范学院 实验报告 Experimentation Report of Taiyuan Normal University 系部计算机系年级大三课程大数据分析 姓名XXX 同组者日期 项目数据挖掘之随机森林算法 一、实验目的 1.了解随机森林。随机森林就是通过集成学习的思想将多棵树 集成的一种算法，它的基本单元是决策树，而它的本质属于 机器学习的一大分支——集成学习（Ensemble Learning）方 法。 2.掌握随机森林的相关知识，信息、熵、信息增益等的概念。 3.掌握随机森林中数据分析的几种基本方法，决策树算法， CART算法等。 4.了解集成学习的定义和发展。 5.掌握随机森林的生成规则，随机森林的生成方法，随机森林 的特点等相关知识。 二、实验内容 1.结合老师上课所讲内容及课本知识，通过查找相关资料，
学习与决策树，随机森林相关的知识。 2.查找相关例题，深入理解随机森林的各种算法。 3.找一个数据集，利用随机森林的相关算法训练随机森林， 对样本进行判段并计算其判断的准确度。 三、实验仪器及平台 计算机一台MATLAB 2018a 四、实验原理 1.随机森林的基本概念： 通过集成学习的思想将多棵树集成的一种算法，它的基本单 元是决策树，而它的本质属于机器学习的一大分支——集成 学习（Ensemble Learning）方法。随机森林的名称中有两个 关键词，一个是“随机”，一个就是“森林”。“森林”我们 很好理解，一棵叫做树，那么成百上千棵就可以叫做森林了， 这样的比喻还是很贴切的，其实这也是随机森林的主要思想 --集成思想的体现。 2.决策树 2.1信息、熵、信息增益 这三个基本概念是决策树的根本，是决策树利用特征来分类 时，确定特征选取顺序的依据。 2.2决策树算法 决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可
支持向量机SVM分类算法
支持向量机SVM分类算法 SVM的简介 支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[10]。 支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力[14]（或称泛化能力）。 以上是经常被有关SVM 的学术文献引用的介绍，我来逐一分解并解释一下。 Vapnik是统计机器学习的大牛，这想必都不用说，他出版的《Statistical Learning Theory》是一本完整阐述统计机器学习思想的名著。在该书中详细的论证了统计机器学习之所以区别于传统机器学习的本质，就在于统计机器学习能够精确的给出学习效果，能够解答需要的样本数等等一系列问题。与统计机器学习的精密思维相比，传统的机器学习基本上属于摸着石头过河，用传统的机器学习方法构造分类系统完全成了一种技巧，一个人做的结果可能很好，另一个人差不多的方法做出来却很差，缺乏指导和原则。所谓VC维是对函数类的一种度量，可以简单的理解为问题的复杂程度，VC维越高，一个问题就越复杂。正是因为SVM关注的是VC维，后面我们可以看到，SVM解决问题的时候，和样本的维数是无关的（甚至样本是上万维的都可以，这使得SVM很适合用来解决文本分类的问题，当然，有这样的能力也因为引入了核函数）。 结构风险最小听上去文绉绉，其实说的也无非是下面这回事。 机器学习本质上就是一种对问题真实模型的逼近（我们选择一个我们认为比较好的近似模型，这个近似模型就叫做一个假设），但毫无疑问，真实模型一定是不知道的（如果知道了，我们干吗还要机器学习？直接用真实模型解决问题不就可以了？对吧，哈哈）既然真实模型不知道，那么我们选择的假设与问题真实解之间究竟有多大差距，我们就没法得知。比如说我们认为宇宙诞生于150亿年前的一场大爆炸，这个假设能够描述很多我们观察到的现象，但它与真实的宇宙模型之间还相差多少？谁也说不清，因为我们压根就不知道真实的宇宙模型到底是什么。 这个与问题真实解之间的误差，就叫做风险（更严格的说，误差的累积叫做风险）。我们选择了一个假设之后（更直观点说，我们得到了一个分类器以后），真实误差无从得知，但我们可以用某些可以掌握的量来逼近它。最直观的想法就是使用分类器在样本数据上的分类的结果与真实结果（因为样本是已经标注过的数据，是准确的数据）之间的差值来表示。这个差值叫做经验风险Remp(w)。以前的机器学习方法都把经验风险最小化作为努力的目标，但后来发现很多分类函数能够在样本集上轻易达到100%的正确率，在真实分类时却一塌糊涂（即所谓的推广能力差，或泛化能力差）。此时的情况便是选择了一个足够复杂的分类函数（它的VC维很高），能够精确的记住每一个样本，但对样本之外的数据一律分类错误。回头看看经验风险最小化原则我们就会发现，此原则适用的大前提是经验风险要确实能够逼近真实风险才行（行话叫一致），但实际上能逼近么？答案是不能，因为样本数相对于现实世界要分类的文本数来说简直九牛
植物学分类学总结归纳
精心整理 植物学分类学总结 一、植物分类检索表的编制原则和应用 植物分类检索表是鉴别植物种类的一种工具，通常植物态、植物分类手册都有检 索表，以便校对和鉴别原植物的科、属、种时应用。 检索表的编制是采取“由一般到特殊”和“由特殊到一般”的二歧归类原则制。首先必须将所采到的地区植物标本进行有关习性、形态上的记载，将根、茎叶、花、果实和种子的各种特征的异同进行汇同辨异，找出互相矛盾和互相显着立的主要特征，依主、次特征进行排列，将全部植物分成不同的门、纲、目、科属、种等分类单位的检索表。其中主要是分科、分属、分种三种检索表检索表的式样一般有三种，现以植物界分门的分类为例列检索表如下： 将每一对互相矛盾的特征分开间隔在一定的距离处，而注明定距检索(1科、属、等依次检索到所要鉴定的对样号码3 ．植物体无根、茎、叶的分化，没有胚胎………………………低等植物 1 2．植物体不为藻类和菌类所组成的共生复合体。 3．植物体内有叶绿素或其他光合色素，为自养生活方式…藻类植物．植物体内，无叶绿素或其他光合色素，为异养生活方式…菌类植物 3 ．植物体为藻类和菌类所组成的共生复合体……………………地衣
植物 2 ．植物体有根、茎、叶的分化、有胚胎……………………………高等植物1 4．植物体有茎、叶而无真根………………………………苔藓植物．植物体有茎、叶也有真根。 4 5．不产生种子，用孢子繁殖…………………………蕨类植物 ．产生种子，用种子繁殖……………………………种子植物 5 精心整理． 精心整理 (2)平行检索表将每一对互相矛盾的特征紧紧并列，在相邻的两行中也给予一个号码，而每一项条文之后还注明下一步依次查阅的号码或所需要查到的对象。 1．植物体无根、茎、叶的分化，无胚胎……………………………(低等植物)(2) 1．植物体有根、茎、叶的分化，有胚胎……………………………(高等植物)(4) 2．植物体为菌类和藻类所组成的共生复合体………………………地衣植物 2．植物体不为菌类和藻类所组成的共生复合体 (3) ．植物体内含有叶绿素或其他光合色素，为自养生活方式………藻类植物3
20.ENVI4.3 支持向量机分类原理、操作及实例分析
ENVI4.3 支持向量机分类原理、操作及实例分析 一、支持向量机算法介绍 1.支持向量机算法的理论背景 支持向量机分类（Support Vector Machine或SVM）是一种建立在统计学习理论（Statistical Learning Theory或SLT）基础上的机器学习方法。 与传统统计学相比，统计学习理论（SLT）是一种专门研究小样本情况下及其学习规律的理论。该理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将许多现有方法纳入其中，有望帮助解决许多原来难以解决的问题，如神经网络结构选择问题、局部极小点问题等；同时，在这一理论基础上发展了一种新的通用学习方法——支持向量机（SVM），已初步表现出很多优于已有方法的性能。一些学者认为，SLT和SVM正在成为继神经网络研究之后新的研究热点，并将推动机器学习理论和技术的重大发展。 支持向量机方法是建立在统计学习理论的VC维（VC Dimension）理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力。 支持向量机的几个主要优点有： （1）它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值； （2）算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最优点，解决了在神经网络方法中无法避免的局部极值问题； （3）算法将实际问题通过非线性变换转换到高维的特征空间(Feature Space)，在高维空间中构造线性判别函数来实现原空间中的非线性判别函数，特殊性质能保证机器有较 好的推广能力，同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关； 2.支持向量机算法简介 通过学习算法，SVM可以自动寻找那些对分类有较大区分能力的支持向量，由此构造出分类器，可以将类与类之间的间隔最大化，因而有较好的推广性和较高的分类准确率。 最优分类面（超平面）和支持向量
随机森林实验报告
随机森林实验报告 实验目的 实现随机森林模型并测试。 实验问题 Kaggle第二次作业Non-linear classification 算法分析与设计 一．算法设计背景: 1.随机森林的原子分类器一般使用决策树，决策树又分为拟合树和分类树。这两者的区别在于代价估值函数的不同。 2.根据经验，用拟合树做分类的效果比分类树略好。 3.对于一个N分类问题,它总是可以被分解为N个2分类问题，这样分解的好处是其决策树更加方便构造，更加简单，且更加有利于用拟合树来构建分类树。对于每一个2分类问题，构造的树又叫CART树，它是一颗二叉树。 4.将N个2分类树的结果进行汇总即可以得到多分类的结果。 树构造：
6.随机森林构造： 二．算法思路： 将一个N分类问题转化为N个二分类问题。转化方法是：构造N棵二叉拟合树，这里假设N为26，然后我们给N棵二叉树依次标号为1，2，3...26。1号树的结果对应于该条记录是不是属于第一类，是则输出1，否则输出号树的结果对应于该条记录是不是属于第二类，是则1否则0，依此类推。这样，我们的26棵二叉树的结果就对应了26个下标。 例如对于某条记录，这26个二叉树的结果按序号排列为{0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，...1,0}，那么这条记录的分类应该为25。要将一个26维的0，1序列变回
一个索引，我们只需要找出这个序列中值最大的元素的索引，这个索引即是序列号。 我们将上面的26棵分别对26个索引做是否判断的二分类树视为一个整体，在多线程的环境下，构造多个这样的整体，然后进行求和运算，最后取出每个结果序列中值最大的元素的下标作为分类值，那么久得到了我们想要的结果，随机森林完成。 三．算法流程： 1.读入训练集trainset,测试集testset 2.将训练集分割为输入trainIn,输出trainOut 3.这里假设类别数N为26，将trainOut[记录条数] 映射为 transformTrainOut[训练记录数][26] 4.初始化transformTestOut[测试记录数][26]全部为0 i = 1 : ForestSize: 策树 在这里，我们每一次26分类是由26棵CART共同完成的，CART的cost function采用的是gini系数，CART的最大层数为7，分裂停止条件为当前节点GINI为0或者当前节点所在层数到达了7. 2.随机森林 a.随机森林每次循环的训练集采样为原训练集的. b.对于森林中每一棵决策树每一次分割点的选取，对属性进行了打乱抽样，抽样数为25，即每次分割只在25个属性中寻找最合适的值。并且对于每个选取的属性，我们进行了行采样。即如果这个属性所拥有的属性值数大于30，我们选取其中30个作为分割候选，如果小于30，则全部纳入分割候选。 四．代码详解 1.训练集/测试集的读入 a.在中定义了：
植物学分类哈钦松系统
科号科名海南志广东志中国志高等植物图鉴浙江志江苏志G1 苏铁科Cycadaceae 1：207 4：3 7 3： 1 1：285 1：338 上：83 G2 银杏科Ginkgoaceae 4：6 7 3：11 1：286 1：339 上：84 G3 南洋杉科Araucariaceae 1：214 4：8 7 3：12 1：316 1：340 上：85 G4 松科Pinaceae 1：208 4：11 7 3：13 1：286 1：342 上：86 G5 杉科Taxodiaceae 4：19 7 3：68 1：313 1：359 上：100 G6 柏科Cupressaceae 1：212 4：25 7 3：73 1：316 1：369 上：106 G7 罗汉松科Podocarpaceae 1：215 4：32 7 3：95 1：327 1：380 上：116 G8 三尖杉科Cephalotaxaceae 1：219 4：38 7 3：101 1：330 1：383 上：117 G9 红豆杉科Taxaceae 4：41 7 3：105 1：331 1：385 上：119 G10 麻黄科Ephedraceae 7 1：336 G11 买麻藤科Gnetaceae 1：220 4：44 7 3：118 1：338 1 木兰科Magnoliaceae 1：22 2 1：1 30（1）3：12 3 1：785 2：327 下：193 2A 八角科Illiciaceae 1：230 2：1 3：360 3 五味子科Schisandraceae 1：232 1：22 3：367 6 昆栏树科Trochodendroaceae 2 7 3：697 1：649 6B 水青树科Tetracentraceae 7 连香树科Cercidiphyllaceae 27 3：697 1：650 2：253 8 番荔枝科Annonaceae 1：234 2：7 30（2）3：158 1：805 2：346 10 檬立米科Monimiaceae 11 樟科Lauraceae 1：259 31 3：206 1：816 2：347 下：204 13 莲叶桐科Hernandiaceae 1：301 3：1 31 3：304 1：864 14 肉豆蔻科Myristicaceae 1：303 2：41 30（2）3：196 1：814 15 毛茛科Ranumculaceae 1：304 5：1 27，28 3：388 1：651 2：254 下：158 16 莼菜科Cabombaceae 3：385 17 金鱼藻科Ceratophyllaceae 3：5 27 3：386 1：649 2：250 下：157 18 睡莲科Nymphaeaceae 1：309 3：6 27 3：379 1：646 2：245 下：154 19 小檗科Berberidaceae 3：11 26 1：758 2：307 下：186 20 星叶草科Circaeasteraceae 3：581 21 木通科Lardizabalaceae 1：311 4：49 29 3：583 1：753 2：299 下：183 22 大血藤科Sargentoboxaceae 1：312 4：56 3：582 下：185 23 防己科Menispermaceae 1：313 1：27 30（1）3：596 1：778 2：320 下：190 24 马兜铃科Aristolochiaceae 1：326 1：47 24 3：336 1：541 2：134 下：90 25 大花草科Cytinaceae 2：44 24 7：773 27 猪笼草科Nepenthaceae 1：329 2：46 34（1）5：104 2：72 28 胡椒科Piperaceae 1：330 1：63 20（1）3：318 1：341 2：5
随机森林
随机森林 定义：随机森林是一个分类器，它有一系列的单株树决策器{h （X,，θk ）；k=1，......} 来组成,其中{θk }是独立同分布的随机变量。再输入X 时，每一棵树只投一票给它认为最合适的类。在机器学习中，随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定,构成随机森林的基础分类器称为决策树。 Leo Breiman 和Adele Cutler 发展出推论出随机森林的算法。 这个术语是1995年由贝尔实验室的Tin Kam Ho 所提出的随机决策森林（random decision forests ）而来的。这个方法则是结合 Breimans 的 "Bootstrap aggregating" 想法和 Ho 的"random subspace method"" 以建造决策树的集合。 随机森林是一个组合分类器，构成随机森林的基础分类器是决策树。 决策树算法 决策树可以视为一个树状预测模型，它是由结点和有向边组成的层次结构。树中包含3个节点：根节点。内部节点，终节点（叶子节点）。决策树只有一个根节点，是全体训练集的结合。树中的每个内部节点都是一个分裂问题，它将到达该节点的样本按某个特定的属性进行分割，可以将数据集合分割成2块或若干块。每个终结点（叶子节点）是带有分裂标签的数据集合，从决策树的根节点到叶子节点的每一条路径都形成一个类；决策树的算法很多，例如ID3算法，CART 算法等。这些算法均采用自上而下的贪婪的算法，每个内部节点选择分类效果最好的属性进行分裂节点，可以分为两个或若干个子节点，继续此过程到这可决策树能够将全部训练数据准确的分类，或所有属性都被用到为止。具体步骤如下： 1)假设T 为训练样本集。 2)选择一个最能区分T 中样本的一个属性。 3)创建一个数的节点，它的值是所选择的属性，创建此节点的子节点，每个子链代表所选属性的唯一值，适用子链的值进一步将样本细分为子类。 对于3)创建的三个子类 （1）如果子类的样本满足预定义的标准，或者树的这条路的剩余可选属性集为空，为沿此路径的新的样本指定类别。 （2）如果子类不满足于定义的标准，或者至少有一个属性能细分树的路径，设T 为当前子类样本的集合，返回步骤2），以下简单的给出二分树的结构图示： 根节点 中间节点 叶节点 规则1 叶节点 规则2 中间节点