模式识别实验报告
模式识别上机实验报告
实验一、二维随机数的产生1、实验目的（1） 学习采用Matlab 程序产生正态分布的二维随机数 （2） 掌握估计类均值向量和协方差矩阵的方法（3） 掌握类间离散度矩阵、类内离散度矩阵的计算方法（4） 熟悉matlab 中运用mvnrnd 函数产生二维随机数等matlab 语言2、实验原理多元正态分布概率密度函数：11()()2/21/21()(2)||T X X d p X eμμπ---∑-=∑其中：μ是d 维均值向量：Td E X μμμμ=={}[,,...,]12Σ是d ×d 维协方差矩阵：TE X X μμ∑=--[()()]（1）估计类均值向量和协方差矩阵的估计 各类均值向量1ii X im X N ω∈=∑ 各类协方差矩阵1()()iTi iiX iX X N ωμμ∈∑=--∑（2）类间离散度矩阵、类内离散度矩阵的计算类内离散度矩阵：()()iTi iiX S X m X m ω∈=--∑， i=1,2总的类内离散度矩阵：12W S S S =+类间离散度矩阵：1212()()Tb S m m m m =--3、实验内容及要求产生两类均值向量、协方差矩阵如下的样本数据，每类样本各50个。
1[2,2]μ=--，11001⎡⎤∑=⎢⎥⎣⎦，2[2,2]μ=，21004⎡⎤∑=⎢⎥⎣⎦ （1）画出样本的分布图；（2） 编写程序，估计类均值向量和协方差矩阵；（3） 编写程序，计算类间离散度矩阵、类内离散度矩阵； （4）每类样本数增加到500个，重复（1）-（3）4、实验结果(1)、样本的分布图(2)、类均值向量、类协方差矩阵根据matlab 程序得出的类均值向量为：N=50 : m1=[-1.7160 -2.0374] m2=[2.1485 1.7678] N=500: m1=[-2.0379 -2.0352] m2=[2.0428 2.1270] 根据matlab 程序得出的类协方差矩阵为：N=50: ]0628.11354.01354.06428.1[1=∑ ∑--2]5687.40624.00624.08800.0[N=500：∑--1]0344.10162.00162.09187.0[∑2]9038.30211.00211.09939.0[(3)、类间离散度矩阵、类内离散度矩阵根据matlab 程序得出的类间离散度矩阵为：N=50： ]4828.147068.147068.149343.14[=bS N=500： ]3233.179843.169843.166519.16[b =S根据matlab 程序得出的类内离散度矩阵为：N=50：]0703.533088.73088.71052.78[1=S ]7397.2253966.13966.18975.42[2--=S ]8100.2789123.59123.50026.121[=W SN=500: ]5964.5167490.87490.86203.458[1--=S ]8.19438420.78420.70178.496[2=S ]4.24609071.09071.06381.954[--=W S5、结论由mvnrnd 函数产生的结果是一个N*D 的一个矩阵，在本实验中D 是2，N 是50和500.根据实验数据可以看出，当样本容量变多的时候，两个变量的总体误差变小，观测变量各个取值之间的差异程度减小。
模式识别实验报告
模式识别实验报告————————————————————————————————作者：————————————————————————————————日期：实验报告实验课程名称：模式识别姓名：王宇班级： 20110813 学号： 2011081325实验名称规范程度原理叙述实验过程实验结果实验成绩图像的贝叶斯分类K均值聚类算法神经网络模式识别平均成绩折合成绩注：1、每个实验中各项成绩按照5分制评定，实验成绩为各项总和2、平均成绩取各项实验平均成绩3、折合成绩按照教学大纲要求的百分比进行折合2014年 6月实验一、 图像的贝叶斯分类一、实验目的将模式识别方法与图像处理技术相结合，掌握利用最小错分概率贝叶斯分类器进行图像分类的基本方法，通过实验加深对基本概念的理解。
二、实验仪器设备及软件 HP D538、MATLAB 三、实验原理 概念：阈值化分割算法是计算机视觉中的常用算法，对灰度图象的阈值分割就是先确定一个处于图像灰度取值范围内的灰度阈值，然后将图像中每个像素的灰度值与这个阈值相比较。
并根据比较的结果将对应的像素划分为两类，灰度值大于阈值的像素划分为一类，小于阈值的划分为另一类，等于阈值的可任意划分到两类中的任何一类。
最常用的模型可描述如下：假设图像由具有单峰灰度分布的目标和背景组成，处于目标和背景内部相邻像素间的灰度值是高度相关的，但处于目标和背景交界处两边的像素灰度值有较大差别，此时，图像的灰度直方图基本上可看作是由分别对应于目标和背景的两个单峰直方图混合构成。
而且这两个分布应大小接近，且均值足够远，方差足够小，这种情况下直方图呈现较明显的双峰。
类似地，如果图像中包含多个单峰灰度目标，则直方图可能呈现较明显的多峰。
上述图像模型只是理想情况，有时图像中目标和背景的灰度值有部分交错。
这时如用全局阈值进行分割必然会产生一定的误差。
分割误差包括将目标分为背景和将背景分为目标两大类。
实际应用中应尽量减小错误分割的概率，常用的一种方法为选取最优阈值。
模式识别 实验报告一
402
132
识别正确率
73.36
84.87
99.71
70.31
82.89
86.84
结果分析：
实验中图像3的识别率最高，图像1和图像2的识别率次之。图像1和图像2的分辨率相对图像3更低，同时图像2有折痕影响而图像1则有大量噪声。通过阈值处理能较好的处理掉图像1的噪声和图像2的折痕，从而使得图像1的识别率有所提升，而图像2的识别率变化不大。从而可以得出结论，图像3和图像2识别率不同的原因主要在于图像分辨率，而图像2和图像1识别率的不同则在于噪声干扰。
实验报告
题目
模式识别系列实验——实验一字符识别实验
内容：
1．利用OCR软件对文字图像进行识别，了解图像处理与模式识别的关系。
2．利用OCR软件对文字图像进行识别，理解正确率的概念。
实验要求：
1．利用photoshop等软件对效果不佳的图像进行预处理，以提高OCR识别的正确率。
2．用OCR软件对未经预处理和经过预处理的简体和繁体中文字符图像进行识别并比较正确率。
图像4内容既有简体又有繁体，从识别结果中可了解到错误基本处在繁体字。
遇到的问题及解决方案：
实验中自动旋转几乎没效果，所以都是采用手动旋转；在对图像4进行识别时若采用系统自己的版面分析，则几乎识别不出什么，所以实验中使用手动画框将诗的内容和标题及作者分开识别。
主要实验方法：
1．使用汉王OCR软件对所给简体和繁体测试文件进行识别；
2．理，再次识别；
实验结果：
不经过图像预处理
经过图像预处理
实验图像
图像1
图像2
图像3
图像4
图像1
图像2
字符总数
458
《模式识别》实验报告-贝叶斯分类
《模式识别》实验报告---最小错误率贝叶斯决策分类一、实验原理对于具有多个特征参数的样本（如本实验的iris 数据样本有4d =个参数），其正态分布的概率密度函数可定义为112211()exp ()()2(2)T d p π-⎧⎫=--∑-⎨⎬⎩⎭∑x x μx μ 式中，12,,,d x x x ⎡⎤⎣⎦=x 是d 维行向量，12,,,d μμμ⎡⎤⎣⎦=μ是d 维行向量，∑是d d ⨯维协方差矩阵，1-∑是∑的逆矩阵，∑是∑的行列式。
本实验我们采用最小错误率的贝叶斯决策，使用如下的函数作为判别函数()(|)(),1,2,3i i i g p P i ωω==x x （3个类别）其中()i P ω为类别i ω发生的先验概率，(|)i p ωx 为类别i ω的类条件概率密度函数。
由其判决规则，如果使()()i j g g >x x 对一切j i ≠成立，则将x 归为i ω类。
我们根据假设：类别i ω，i=1,2,……,N 的类条件概率密度函数(|)i p ωx ，i=1,2,……,N 服从正态分布，即有(|)i p ωx ~(,)i i N ∑μ，那么上式就可以写为1122()1()exp ()(),1,2,32(2)T i i dP g i ωπ-⎧⎫=-∑=⎨⎬⎩⎭∑x x -μx -μ对上式右端取对数，可得111()()()ln ()ln ln(2)222T i i i i dg P ωπ-=-∑+-∑-i i x x -μx -μ上式中的第二项与样本所属类别无关，将其从判别函数中消去，不会改变分类结果。
则判别函数()i g x 可简化为以下形式111()()()ln ()ln 22T i i i i g P ω-=-∑+-∑i i x x -μx -μ二、实验步骤（1）从Iris.txt 文件中读取估计参数用的样本，每一类样本抽出前40个，分别求其均值，公式如下11,2,3ii iii N ωωω∈==∑x μxclear% 原始数据导入iris = load('C:\MATLAB7\work\模式识别\iris.txt'); N=40;%每组取N=40个样本%求第一类样本均值 for i = 1:N for j = 1:4w1(i,j) = iris(i,j+1); end endsumx1 = sum(w1,1); for i=1:4meanx1(1,i)=sumx1(1,i)/N; end%求第二类样本均值 for i = 1:N for j = 1:4 w2(i,j) = iris(i+50,j+1);end endsumx2 = sum(w2,1); for i=1:4meanx2(1,i)=sumx2(1,i)/N; end%求第三类样本均值 for i = 1:N for j = 1:4w3(i,j) = iris(i+100,j+1); end endsumx3 = sum(w3,1); for i=1:4meanx3(1,i)=sumx3(1,i)/N; end（2）求每一类样本的协方差矩阵、逆矩阵1i -∑以及协方差矩阵的行列式i ∑， 协方差矩阵计算公式如下11()(),1,2,3,41i ii N i jklj j lk k l i x x j k N ωωσμμ==--=-∑其中lj x 代表i ω类的第l 个样本，第j 个特征值；ij ωμ代表i ω类的i N 个样品第j 个特征的平均值lk x 代表i ω类的第l 个样品，第k 个特征值；iw k μ代表i ω类的i N 个样品第k 个特征的平均值。
《模式识别》实验报告K-L变换特征提取
《模式识别》实验报告K-L变换特征提取基于K-L 变换的iris 数据分类⼀、实验原理K-L 变换是⼀种基于⽬标统计特性的最佳正交变换。
它具有⼀些优良的性质：即变换后产⽣的新的分量正交或者不相关；以部分新的分量表⽰原⽮量均⽅误差最⼩；变换后的⽮量更趋确定，能量更集中。
这⼀⽅法的⽬的是寻找任意统计分布的数据集合之主要分量的⼦集。
设n 维⽮量12,,,Tn x x x =x ，其均值⽮量E=µx ，协⽅差阵()T x E=--C x u)(x u ，此协⽅差阵为对称正定阵，则经过正交分解克表⽰为x =TC U ΛU ,其中12,,,[]n diag λλλ=Λ，12,,,n u u u =U 为对应特征值的特征向量组成的变换阵，且满⾜1T-=UU。
变换阵TU 为旋转矩阵，再此变换阵下x 变换为()T -=x u y U ,在新的正交基空间中，相应的协⽅差阵12[,,,]xn diag λλλ==x U C U C。
通过略去对应于若⼲较⼩特征值的特征向量来给y 降维然后进⾏处理。
通常情况下特征值幅度差别很⼤，忽略⼀些较⼩的值并不会引起⼤的误差。
对经过K-L 变换后的特征向量按最⼩错误率bayes 决策和BP 神经⽹络⽅法进⾏分类。
⼆、实验步骤（1）计算样本向量的均值E =µx 和协⽅差阵()T xE ??=--C x u)(x u5.8433 3.0573 3.7580 1.1993??=µ，0.68570.0424 1.27430.51630.04240.189980.32970.12161.27430.3297 3.1163 1.29560.51630.12161.29560.5810x----=--C （2）计算协⽅差阵xC 的特征值和特征向量，则4.2282 , 0.24267 , 0.07821 , 0.023835[]diag =Λ-0.3614 -0.6566 0.5820 0.3155 0.0845 -0.7302 -0.5979 -0.3197 -0.8567 0.1734 -0.0762 -0.4798 -0.3583 0.0755 -0.5458 0.7537??=U从上⾯的计算可以看到协⽅差阵特征值0.023835和0.07821相对于0.24267和4.2282很⼩，并经计算个特征值对误差影响所占⽐重分别为92.462%、5.3066%、1.7103%和0.52122%，因此可以去掉k=1~2个最⼩的特征值，得到新的变换阵12,,,newn k u u u -=U。
模式识别与智能信息处理实践实验报告
模式识别与智能信息处理实践实验报告
一、实验目的
本次实验的目的是：实现基于Matlab的模式识别与智能信息处理。
二、实验内容
1.对实验图片进行处理
根据实验要求，我们选取了两张图片，一张是原始图片，一张是锐化处理后的图片。
使用Matlab的imtool命令进行处理，实现对图片锐化、模糊处理、边缘检测、图像增强等功能。
2.基于模式识别算法进行图像分类
通过Matlab的k-means算法和PCA算法对实验图片进行图像分类，实现对图像数据特征提取，并将图像分类结果可视化。
3.使用智能信息处理技术处理实验数据
使用Matlab的BP网络算法，对实验图片进行处理，并实现实验数据的智能信息处理，以获得准确的分类结果。
三、实验结果
1.图片处理结果
2.图像分类结果
3.智能信息处理结果
四、总结
本次实验中，我们利用Matlab进行模式识别与智能信息处理的实践，实现了对图片的处理，图像分类，以及智能信息处理，从而获得准确的分
类结果。
《模式识别》线性分类器设计实验报告
《模式识别》实验报告三、线性分类器实验1.(a)产生两个都具有200 个二维向量的数据集X1 和X1 ’。
向量的前半部分来自m1=[-5;0]的正态分布，并且S1=I 。
向量的后半部分来自m2=[5;0]的正态分布，并且S1=I。
其中I是一个2×2 的单位矩阵。
(b)在上面产生的数据集上运用Fisher 线性判别、感知器算法和最小平方误差判别算法，需要初始化参数的方法使用不同的初始值。
(c)测试每一种方法在X1 和X1 ’ 上的性能（错误率）。
(d)画出数据集X1 和X1 ’，已经每种方法得到对应参数向量W 的分界线。
Fisher线性判别图1 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数向量w = [-9.9406, 0.9030]’错误率error=0，感知器算法：图2 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[0.1;0.1]；迭代次数iter=2参数向量w = [-4.8925, 0.0920]’错误率error=0图3 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[1; 1]；迭代次数iter=2参数向量w = [-3.9925, 0.9920]’错误率error=0图4 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[10; 10]；迭代次数iter=122参数向量w = [-5.6569, 7.8096]’错误率error=0图5 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[50; 50]；迭代次数iter=600参数向量w = [-27.0945, 37.4194]’错误率error=0图6 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[50; 100]；迭代次数iter=1190参数向量w = [-54.0048, 74.5875]’错误率error=0最小平方误差判别算法：图7 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[0.1; 0.1]；参数向量w = [-0.1908, -0.0001]’错误率error=0图8 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[0.5; 0.5]；参数向量w = [-0.1924, 0.1492]’错误率error=0图9 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[1; 0.5]；参数向量w = [-0.1914, 0.0564]’错误率error=0图10 红色为第一类，绿色为第二类，直线为对应参数向量W的分界线，参数的初始值为[1; 1]；参数向量w = [-0.1943, 0.3359]’错误率error= 0.00502.重复1.中的实验内容，数据集为X2 和X2 ’。
模式识别实验报告
模式识别实验报告关键信息项：1、实验目的2、实验方法3、实验数据4、实验结果5、结果分析6、误差分析7、改进措施8、结论1、实验目的11 阐述进行模式识别实验的总体目标和期望达成的结果。
111 明确实验旨在解决的具体问题或挑战。
112 说明实验对于相关领域研究或实际应用的意义。
2、实验方法21 描述所采用的模式识别算法和技术。
211 解释选择这些方法的原因和依据。
212 详细说明实验的设计和流程，包括数据采集、预处理、特征提取、模型训练和测试等环节。
3、实验数据31 介绍实验所使用的数据来源和类型。
311 说明数据的规模和特征。
312 阐述对数据进行的预处理操作，如清洗、归一化等。
4、实验结果41 呈现实验得到的主要结果，包括准确率、召回率、F1 值等性能指标。
411 展示模型在不同数据集或测试条件下的表现。
412 提供可视化的结果，如图表、图像等，以便更直观地理解实验效果。
5、结果分析51 对实验结果进行深入分析和讨论。
511 比较不同实验条件下的结果差异，并解释其原因。
512 分析模型的优点和局限性，探讨可能的改进方向。
6、误差分析61 研究实验中出现的误差和错误分类情况。
611 分析误差产生的原因，如数据噪声、特征不充分、模型复杂度不足等。
612 提出减少误差的方法和建议。
7、改进措施71 根据实验结果和分析，提出针对模型和实验方法的改进措施。
711 描述如何优化特征提取、调整模型参数、增加训练数据等。
712 预测改进后的可能效果和潜在影响。
8、结论81 总结实验的主要发现和成果。
811 强调实验对于模式识别领域的贡献和价值。
812 对未来的研究方向和进一步工作提出展望。
在整个实验报告协议中，应确保各项内容的准确性、完整性和逻辑性，以便为模式识别研究提供有价值的参考和借鉴。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
河海大学物联网工程学院《模式识别》课程实验报告学号 _______________专业 ____计算机科学与技术_____ 授课班号 _________________________ 学生姓名 ___________________指导教师 ___________________完成时间 _______________实验报告格式如下（必要任务必须写上，可选的课后实验任务是加分项，不是必要任务，可不写）：实验一、Fisher分类器实验1.实验原理如果在二维空间中一条直线能将两类样本分开,或者错分类很少,则同一类别样本数据在该直线的单位法向量上的投影的绝大多数都应该超过某一值。
而另一类数据的投影都应该小于(或绝大多数都小于)该值,则这条直线就有可能将两类分开。
准则:向量W的方向选择应能使两类样本投影的均值之差尽可能大些,而使类內样本的离散程度尽可能小。
2.实验任务（1）两类各有多少组训练数据？（易）（2）试着用MATLAB画出分类线，用红色点划线表示（中）（3）画出在投影轴线上的投影点（较难）3.实验结果（1）第一类数据有200组训练数据，第二类数据有100组训练数据。
（2）如图所示，先得出投影线的斜率，后求其投影线的垂直线的斜率，即分类线的斜率，再求分类线的过的中垂点，加上即可得出。
画出红线代码：m = (-40:0.1:80);kw = w(2)/w(1);b = classify(w1, w2, w, 0);disp(b);n = (-1/kw).* m + b;plot(m,n,'r-', 'LineWidth', 3);（3）画出投影上的投影点如图，点用X表示。
代码：u = w/sqrt(sum(w.^2));p1 = w1*u*u';plot(p1(:,1),p1(:,2),'r+')p2 = w2*u*u';plot(p2(:,1),p2(:,2),'b+')实验二、感知器实验1.实验原理（1）训练数据必须是线性可分的（2）最小化能量，惩罚函数法-错分样本的分类函数值之和（小于零）作为惩罚值（3）方法：梯度下降法，对权值向量的修正值-错分样本的特征向量2.实验任务（1）训练样本不线性可分时，分类结果如何？（2）程序33-35行完成什么功能？用MATLAB输出x1、x2、x的值，进行观察（中）（3）修改程序，输出梯度下降法迭代的次数（易）；3.实验结果（1）在创建样本时，故意将两组数据靠近，实现训练样本非线性。
训练样本由于训练样本不是非线性的，所以无法保证收敛，得不出结果，在运行非线性样本时，无法得到收敛，所以我的程序也经常卡住，只能重启matlab。
（2）程序33-35行在计算得出训练样本，x1加上全为1的一维矩阵得到新的x1，x2也如此，只不过x2全部取烦，取负。
最后得到X = [x1;x2],为下面应用于感知器算法做准备。
（3）通过增加一些代码可得，梯度下降法迭代次数为1244次。
实验三、BP网络预测实验1.实验原理学习过程中由信号的正向传播与误差的逆向传播两个过程组成。
正向传播时, 模式作用于输入层, 经隐层处理后, 传入误差的逆向传播阶段, 将输出误差按某种子形式, 通过隐层向输入层逐层返回, 并“分摊”给各层的所有单元, 从而获得各层单元的参考误差或称误差信号, 以作为修改各单元权值的依据. 权值不断修改的过程, 也就是网络学习过程. 此过程一直进行到网络输出的误差准逐渐减少到可接受的程度或达到设定的学习次数为止. BP网络模型包括其输入输出模型, 作用函数模型, 误差计算模型和自学习模型。
BP网络由输入层, 输出层以及一个或多个隐层节点互连而成的一种多层网, 这种结构使多层前馈网络可在输入和输出间建立合适的线性或非线性关系, 又不致使网络输出限制在-1和1之间. 见图1。
2.实验任务（1）将net = newff（inputn,output, [5,5]），均方误差，运行时间如何变化，与net = newff（inputn,output, 5）进行对比（2）net = newff（inputn,output, 5）中的5，设置为6,7,8,9,10，分别观察均方误差，运行时间的变化3.实验结果(1)任务1当net = newff（inputn,output, 5）时，结果如图：当net = newff（inputn,output, [5,5]）时，结果如图：前者为一个隐藏层，中有5个隐藏节点，第二个为有两个隐藏层，各有5个隐藏节点。
两者从实验结果中，均方误差后者更小，运行时间上后者需要时间长，因为其隐藏层多一层，迭代次数增加。
结论为，利用两层隐藏节点比一层误差小，效果更好。
（2）任务2当net = newff（inputn,output, 6）时如下图，当net = newff（inputn,output, 7）时如下图，下面为隐藏节点为8和9的结果：结论:随着隐藏节点的增加，运行时间逐渐变长，但是均方误差不一定越来越小，而且可能出现误差越来越大的情况，说明隐藏节点数不是越多越好，而是有一个最佳值，在最佳值往上或往下，误差都会变大，例如此实验中5便是最佳隐藏节点数。
实验四、SVM实验1.实验原理支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。
SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。
SVM的的学习算法就是求解凸二次规划的最优化算法。
svm是一个二分器，只能用于2类样本的分类，现在我们将它推广到多类问题。
本文是对svm进行推广到能够处理多类问题。
采用一对一的投票策略。
将a、b、c、d 4类样本两类两类的分成训练集，即（a,b）、(a,c)、（a,d）、(b,c)、（b,d）、（c,d）,得到6个（对于n类问题，为n(n-1)/2个）svm二分器。
在测试的时候，把测试样本x依次送入这6个二分器，采取投票形式，最后得到一组结果。
投票是以如下方式进行。
初始化：vote(a)=vote(b)=vote(c)=vote(d)=0. 投票过程：如果使用训练集（a,b）得到的分类器将x判定为a类，则vote(a)=vote(a)+1，否则vote(b)=vote(b)+1；如果使用（a,c）训练的分类器将x判定为a类，则vote(a)=vote(a)+1,否则vote(c)=vote(c)+1；...;如果使用（c,d）训练的分类器将x判定为c类，则vote(c)=vote(c)+1,否则vote(d)=vote(d)+1。
最终判决：max(vote(a),vote(b),vote(c),vote(d))。
如有两个以上的最大值，则一般可以简单地取第一个最大值所对应的类别。
2.实验任务为什么一定要进行数据归一化处理，如果不归一化，程序错误率如何呢？请修改程序进行观察。
3.实验结果因为归一化很有可能提高精度，，例如一共特征值域范围非常大，那么距离计算就主要取决于这个特征，从而于实际情况相悖。
而且归一化还可以提高求解最优解速度，更快地收敛。
如果不进行归一化处理，程序错误率较高，最后进行分类的时候也出现了大量的错误归类现象。
如下两图中，左图是进行归一化处理的，右图则没有进行归一化处理，右边在执行的时候，收敛较慢，且分类结果有较大的误差，远远没有归一化的好。
实验五、决策树分类器实验1.实验原理决策树是通过一系列规则对数据进行分类的过程。
它提供一种在什么条件下会得到什么值的类似规则的方法。
决策树分为分类树和回归树两种，分类树对离散变量做决策树，回归树对连续变量做决策树。
一棵决策树的生成过程主要分为以下3个部分:特征选择：特征选择是指从训练数据中众多的特征中选择一个特征作为当前节点的分裂标准，如何选择特征有着很多不同量化评估标准标准，从而衍生出不同的决策树算法。
决策树生成：根据选择的特征评估标准，从上至下递归地生成子节点，直到数据集不可分则停止决策树停止生长。
树结构来说，递归结构是最容易理解的方式。
剪枝：决策树容易过拟合，一般来需要剪枝，缩小树结构规模、缓解过拟合。
剪枝技术有预剪枝和后剪枝两种。
决策树的基本构造方法有ID#算法，理论基础为熵。
如果一个时间有k中可能的结果，每种结果对应的概率为Pi,i = 1,2,…,k，则用I表示该事件的不纯度：计算如下：∑=-=+++-=k i ii k k P P P P P P P P I 122222121log )log log log (这反映了节点的熵不纯度。
2. 实验任务利用决策树的程序，编写一个随机森林分类器，采用决策树，通过投票的方法，得到最终的分类结果，试比较决策树与随机森林的分类错误率。
（中）提示：随机森林的实现步骤：重采样、决策树分类、投票决策。
3. 实验结果随机森林算法我利用python 实现，具体步骤如下：（1）从样本集中用Bootstrap 采样选出n 个样本；（2）从所有属性中随机选择K 个属性，选择出最佳分割属性作为节点创建决策树；（3）重复以上两步m 次，即建立m 棵决策树；（4）这m 个决策树形成随机森林，通过投票表决结果决定数据属于那一类具体关键步骤代码：#######################随机森林模型### n_estimators ：迭代次数，每次迭代为Y 产生一个模型forest = RandomForestClassifier(n_estimators =100, criterion ='gini', max_depth =1, random_state =0) forest.fit(x_train, y_train)#max_depth 一般不宜设置过大，把每个模型作为一个弱分类器#模型效果评估score = forest.score(x_test, y_test)print ("准确率:%.2f%%" % (score * 100))forest_y_score = forest.predict_proba(x_test)# prodict_proba 输出概率下图一为决策树分类器，图2为随机森林分类由此可见，多个决策树形成的随机森林效果要好于决策树分类。
并且随机森林通过调参等方法可以使得正确性进一步提升。
我还计算出了随机森林中树数目、深度和错误率的关系如图：当树深度越深，数目越大，错误率也就越小。