3模式识别与机器学习期末考查

模式识别与机器学习期末考查

试 卷

研究生姓名：王晓薇 学号：20110777 入学年份：2011 导师姓

名：吴庆祥

试题1（15%）：列出你所知道的模式识别与机器学习中的常用算法, 并给出其优

缺点。

答：1. k-近邻法

近邻法是一种最简单的非参数模式识别方法中的模式匹配法,它主要依据样本

间的多维空间距离来实现分类.其基本规则是，在所有N 个样本中找到与测试样本

的k 个最近邻者，其中各类别所占个数表示成k i , i ＝1，…，c 。定义判别函数

为： g i (x)=k i , i=1, 2,…,c 。

决策规则为：

c i x g j i

i ,,1;)(m ax arg ==

优点：算法简单，易于理解和分析，分类效果好, 在训练样本趋于无穷大时接

近最优。

缺点：可以明显看出它需要的计算量大，存储容量大；没有考虑到决策的风

险；对于近邻法错误率的分析都是建立在样本数趋向于无穷大的假定上的，而这在

实际应用时是很难实现的。而对有限样本集的情况，又缺乏理论上的分析。

2. 贝叶斯决策理论

贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分，是基于概率统计的

基本的判别函数分类理论。

贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用

贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。

贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：

1. 已知类条件概率密度参数表达式和先验概率

2. 利用贝叶斯公式转换成后验概率

3. 根据后验概率大小进行决策分类

设D 1，D 2，……，D n 为样本空间S 的一个划分，如果以P(D i )表示事件D i 发生

的概率，且P(D i )>0(i=1，2，…，n)。对于任一事件x ，P(x)>0，得到贝叶斯公

式：

∑==n i i i i i i D P D x P D P D x P x D P 1

)

()|()()|()|( 优点：

（1）算法简单，易于理解和分析，其基本概念被众多的先进决策算法运用，

判断结果较精确；

（2）能对信息的价值或是否需要采集新的信息做出科学的判断；

（3）它能对调查结果的可能性加以数量化的评价，而不是像一般的决策方法那样，对调查结果或者是完全相信，或者是完全不相信。

（4）如果说任何调查结果都不可能完全准确，先验知识或主观概率也不是完全可以相信的，那么贝叶斯决策则巧妙地将这两种信息有机地结合起来了；

（5）它可以在决策过程中根据具体情况下不断地使用，使决策逐步完善和更加科学。

缺点：

（1）它需要的数据多，分析计算比较复杂，特别在解决复杂问题时，这个矛盾就更为突出。

（2）有些数据必须使用主观概率，有些人不太相信，这也妨碍了贝叶斯决策方法的推广使用。

3. 逆向传播神经网络

逆向传播神经网络的优点：

（1）每个神经元的运算功能十分简单。

（2）各神经元之间是并行结构互使得其具有高速处理能力。

（3）在神经网络中，知识与信息的存储表现为神经元之间分布式的物理联系，知识存储容量很大。

（4）网状结构似的整个系统的工作不会因为个别的神经元的损失而大大降低系统性能。

（5）它可以实现输入和输出数据之间的非线性映射.

逆向传播神经网络的缺点：

（1）算法的稳定性与学效率成反比。

（2）还没找到某一明确的规则确定学效率的大小，尤其相对于非线性网络来说，学效率的选择更是一个难题。

（3）训练过程也可能陷入局部最小，可以通过变换初始值进行多次训练来决绝这个问题，但又增加了计算的负担。

（4）没有有效的方法可以确定网络层数，太多或太少都会影响系统的性能。

4. 遗传算法

遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法，是一种仿生全局优化方法。遗传算法具有的隐含并行性、易于和其它模型结合等性质使得它在数据挖掘中被加以应用。

遗传算法的优点：

（1）遗传算法解决了传统优化算法容易误入局部最优解的缺点，不用单值迭代，而是从解集合进行搜索，利于全局择优。

（2）遗传算法需要的参数少，容易形成通用算法程序。

（3）遗传算法有极强的容错能力，遗传算法的初始串集本身就带有大量与最优解甚远的信息；该算法具有收敛性，通过选择、交叉、变异操作能迅速排除与最优解相差极大的串。

（4）遗传算法是采用随机方法进行最优解搜索，选择体现了向最优解迫近，交叉体现了最优解的产生，变异体现了全局最优解的复盖。

（5）力称为隐含并行性(Implicit Parallelism)。它说明遗传算法其内在具有并行处理的特质。

遗传算法的缺点：

（1）选取的值范围大，变量多时，收敛速度也随之下降，甚至有时还无法给定取值范围。

（2）可找到最优解附近，但无法精确确定最优解位臵。

（3）遗传算法的参数(n,Pm,Pc)选择还没准确的定数，还需要进一步研究其数学基础理论。

5. 决策树算法

决策树是一种常用于预测模型的算法，它通过将大量数据有目的分类，从中找到一些有价值的，潜在的信息。

优点：由于决策树具有易构造、结构简单、易于理解、分类精度高，且易于转化成SQL语句有效地存取数据库，易于算法实现等优点，决策树尤其适于数据挖掘。描述简单，分类速度快，特别适合大规模的数据处理。

缺点：在学习过程中不能有很多背景知识。是非递增学习算法；ID3决策树是单变量决策树，复杂概念的表达困难；同性间的相互关系强调不够；抗噪性差。决策树的这种明确性可能带来误导。

试题2（15%）：你认为可从几个方面来评价模式识别与机器学习算法？什么叫十组交叉验证法？它可被用来评价模式识别与机器学习算法的什么属性？

答：评价模式识别与机器学习算法

1. 正确性

说一个算法是正确的，是指对于一切合法的输入数据，该算法经过有限时间（算法意义上的有限）的执行都能产生正确（或者说满足规格说明要求）的结果。

2. 时间复杂性

应该怎样计算一个算法的执行时间呢？首先想到的是，我们应选择一种度量，对解决同一个问题的诸多算法用该度量可有效地进行比较。：（1）它能告诉我们算法所用方法（包括数据结构）的时间效率；（2）它与算法描述语言（或程序设计语言）及设计风格无关；（3）它与算法实现过程中的许多细节：诸如增加循环下标、计算数组下标、设臵数据结构指针等簿记运算无关；（4）它应该是足够精确和具有一般性的。一个算法的时间复杂性是指该算法的基本运算次数。

3. 空间复杂度

空间复杂度(Space Complexity)是对一个算法在运行过程中临时占用存储空间大小的量度。一个算法在计算机存储器上所占用的存储空间，包括存储算法本身所占用的存储空间，算法的输入输出数据所占用的存储空间和算法在运行过程中临时占用的存储空间这三个方面。

4. 占用空间

算法执行需要存储空间来存放算法本身包含的语句、常数、变量、输入数据和实现其运算所需的数据（如中间结果等），此外还需要一些工作空间用来对（以某种方式存储的）数据进行操作。

5. 可读性

可读性好的算法有助于设计者和他人阅读、理解、修改和重用。与此相反，晦涩难懂的算法不但容易隐藏较多的错误，而且增加了人们在阅读、理解、调试、修改和重用算法等方面的困难。

6. 坚固性

当输入数据非法时，算法能适当地做出合适的反应。

可用多组数据交叉等方法，用标准数据集对上述指标进行实验结果比较。

十组交叉验证法就是十折交叉验证。英文名叫做10-fold cross-validation，用来测试算法准确性。是常用的测试方法。将数据集分成十分，轮流将其中9

份作为训练数据，1份作为测试数据，进行试验。每次试验都会得出相应的正确率（或差错率）。10次的结果的正确率（或差错率）的平均值作为对算法精度的估计，一般还需要进行多次10折交叉验证（例如10次10折交叉验证），再求其均值，作为对算法准确性的估计。

之所以选择将数据集分为10份，是因为通过利用大量数据集、使用不同学习技术进行的大量试验，表明10折是获得最好误差估计的恰当选择，而且也有一些理论根据可以证明这一点。但这并非最终诊断，争议仍然存在。而且似乎5折或者20折与10折所得出的结果也相差无几。

它可被用来评价模式识别与机器学习算法的算法准确性属性

试题3（15%）：简述在模式识别与机器学习中解决问题的主要步骤。指出那些步骤涉及到学习？是如何进行学习？

答：一、在模式识别与机器学习中解决问题的主要步骤：

(1)数据采集

数据采集是指利用各种传感器把被研究对象的各种信息转换为计算机可以接受的数值或符号(串)集合。这一步的关键是传感器的选取。

(2)数据预处理

为了从这些数字或符号(串)中抽取出对模式识别与机器学习有效的信息，必须进行数据预处理，包括数字滤波和特征提取。数据预处理是一个非常重要的步骤，它影响着整个模式识别与机器学习的成败。

(3)选择或设计模型

对同一个问题或许有许多不同的模型可以描述，不同的模型会导致识别和学习结果的不同，因此需要利用已有的经验和知识来选择或设计适当的模型。在确定了所建立的模型后，就可以估计模型的参数，需要注意的时，应该使得模型对未知数据有良好的适应性。

(4)训练所建立的模型

用前面所得的数据分成两组，一组作为训练数据，一组作为测试数据。设定目标误差，用训练数据对所建立的模型进行训练，达到目标误差，就停止训练，这样就确定了所建立模型的参数。

(5)测试、验证模型

测试模型的目的是为了确定所建立模型是否满足实际应用的要求。测试数据应该和训练用的样本数据不一致，否则，测试所得的结果永远都是满意的。用测试数据对

所建立模型进行测试，观察测试结果是否与实际情况是相符合。若与实际情况相符合，所建立模型就可对未知数据做预测，从而得到进一步的验证。

二、在这些步骤中，步骤(4)训练所建立的模型，涉及到学习。

三特征选取（也称作属性选择）是简化数据表达形式，是在模式识别中根据一定的原则，选取反映被识别模式本质的那些特征的方法或过程。模式识别和机器学习方法首先要解决的一个问题就是特征选择。在数据的前处理中，特征选择是一个非常重要的步骤，特征选择不合理，会影响识别和学习效果。通过特征选择和提取，我们才可得到所采集数据中最有效的信息，最有效的特征，选择出有利于分类或聚类建立模型的变量，从而实现特征空间维数的压缩，以降低后续处理过程的难度，才能基于这些特征对所建立模型进行训练和测试。同时特征选取也是降低存储要求，提高分类精度和效率的重要途径。

试题4（15%）：在使用模式识别与机器学习算法时，常常要进行数据的前处理，请指出在数据的前处理中，应完成些什么工作？什么叫特征选择？特征选择起什么作用？

答：1数据的前处理中，应完成数字滤波和特征提取等工作。数字滤波是为了消除输入数据或信息中的噪声，排除不相干的信号，只留下与被研究对象的性质和采用的识别方法密切相关的特征（如表征物体的形状、周长、面积等等）。特征提取是指从滤波数据中衍生出有用的信息，从许多特征中寻找出最有效的特征，以降低后续处理过程的难度。比如，图像识别时，提取的特征有灰度变化、纹理、形状等。我们对滤波后的这些特征进行必要的计算（比如进行快速傅里叶变换以得到信号功率谱）后，通过特征选择和提取或基元选择形成模式识别与机器学习的特征空间。2特征提取是指从滤波数据中衍生出有用的信息，从许多特征中寻找出最有效的特征，以降低后续处理过程的难度。

3在数据的前处理中，特征选择是一个非常重要的步骤，是模式识别和机器学习的关键，特征选择不合理，会影响识别和学习效果。通过特征选择和提取，我们才可得到所采集数据中最有效的信息，最有效的特征，以降低后续处理过程的难度，才能基于这些特征对所建立模型进行训练和测试。

（1）简化计算特征空间的维数越高，需占用的计算资源越多，设计和计算也就月复杂（2）简化特征空间结构由于特征提取和选择是去除类间差别小的特征，保留类间差别大的特征，因此，在特征空间中，每类所占据的子空间结构可分离性更强，从而也简化了类间分界面形状的复杂度。

试题5（15%）：根据下列的数据集，请利用一种机器学习的算法，设计一个程序，当输入三个数值作为Age, Tall，Weight时，马上就能给出答案，这应该是何种动物？（Sheep, Ox，或 Pig）。例如（0,30,8）=Sheep。

Age Tall Weight Animal

0 30 8 sheep

1 35 10 sheep

2 37 16 sheep

3 40 20 sheep

4 4

5 25 sheep

5 50 35 sheep

6 55 40 sheep

7 60 45 sheep

8 65 50 sheep

9 65 50 sheep

10 65 50 sheep

0 45 15 ox

1 50 25 ox

2 55 35 ox

3 65 45 ox

4 70 5

5 ox

5 75 65 ox

6 80 75 ox

7 85 85 ox

8 90 95 ox

9 95 105 ox

10 105 115 ox

0 15 5 pig

1 17 15 pig

2 20 25 pig

3 23 35 pig

4 27 4

5 pig

5 30 55 pig

6 33 65 pig

7 35 75 pig

8 37 85 pig

9 40 95 pig

10 45 105 pig

（1）用以上30个实例求出十组交叉验证的平均准确率。

两个问题都要提供可执行的Matlab程序。

答：（1）程序如下：直接用以下，每次选出两组数据（同时删去），看运行结果重复十次，

可知答案是70%

（2）用上述数据建立一个KNN模型见件附带程序KNNtrainfromFile.m，在Matlab 7.1 版本中运行这程序，将获得一个训练好的模型存到硬盘上的名字为

TrainingGroup.mat. 在程序useTrainedKNN.m中装入这个训练好的模型利用KNN 算法就可通过Age, Tall，Weight三个数据来识别是什么动物。KNNtrainfromFile.m程序

程序如下：

function asd=KNNtrainingFromFile()

% This program demostrates the application of KNN

.

namePre='animalExm'; %%%%%%%%%%%%

nameExt1='.txt';

name=[namePre nameExt1];

ptCell=file2cells(name); %converte data file to cellarray

%dispplayPt(ptCell)

im=size(ptCell,2); %number of training samples

jm=size(ptCell{1},2); %number of attributes for each sample.

training=zeros(im,jm-1);

decision{1}=cellstr(ptCell{1}{jm});

num=1;

group(im)=0;

%create training set and group numbers

for i=1:im

fprintf('\n No.%g ',i);

for j=1:jm-1

training(i,j)=str2num(ptCell{i}{j});

fprintf(' %s ',ptCell{i}{j});

end

tt=0;

for k=1:num

ads=cellstr(ptCell{i}{jm});

ads2=cellstr(decision{k});

if strcmp(ads,ads2)

group(i)=k;

tt=1;

break;

end

end

if tt==0

num=num+1;

decision{num}=cellstr(ptCell{i}{jm});

group(i)=num;

end

strc=char(ptCell{i}{jm});

fprintf('%s GROUP No. %g ',strc,group(i));

end

%test the KNN using samples

fprintf('Input sample\n');

sample =[ 3 60 46; 5 51 36;9 42 96] %examples

fprintf('Sample class\n');

class = knnclassify(sample, training, group)

save TrainingGroup training group%save the KNN model %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%5555

function dispplayPt(ptCell)

fprintf('\n Number of samples= %g\n',size(ptCell,2));

for i=1:size(ptCell,2)

fprintf('No.%g ',i);

for j=1:size(ptCell{i},2)

fprintf(' %s ',ptCell{i}{j}); %{j});

end

fprintf('\n');

end

fprintf('\n\n'); %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

function ptCell=file2cells(filename)

%read a text file adn transfer to cell ptCell

fid = fopen(filename,'r');

line = fgetl(fid);

linecell=line2cell(line);

numInput=size(linecell,2);

s{1}=linecell;

i=2;

while ~feof(fid)

line = fgetl(fid);

linecell=line2cell(line);

if size(linecell,2)~=numInput

s{i-1}

linecell

fprintf('\n Data number is wrong at record No:%g.',i);

fprintf('This data number is %g. It should be %g\n

\n',size(linecell,2),numInput);

break;

end

s{i}=linecell;

i=i+1;

end

ptCell=s;

status = fclose(fid); %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

function acell=line2cell(line)

acell={};

n=0;

while ~isempty(strtok(line))

if ~isempty(findstr(',',line))

delimiter=',';

else

fprintf('\n Data items sould be seperated by ","\n');

end

[token,line]=strtok(line,delimiter);

n=n+1;

acell{n}=token;

end

%%%%end of file2cells %%%%%%%%%%%%%%%%55555555

运行结果如下：

No.1 0 30 8 1 GROUP No. 1

No.2 1 35 10 1 GROUP No. 1

No.3 2 37 16 1 GROUP No. 1

No.4 3 40 20 1 GROUP No. 1

No.5 4 45 25 1 GROUP No. 1

No.6 5 50 35 1 GROUP No. 1

No.7 6 55 40 1 GROUP No. 1

No.8 7 60 45 1 GROUP No. 1

No.9 8 65 50 1 GROUP No. 1

No.10 9 65 50 1 GROUP No. 1

No.11 10 65 50 1 GROUP No. 1

No.12 0 45 15 2 GROUP No. 2

No.13 1 50 25 2 GROUP No. 2

No.14 2 55 35 2 GROUP No. 2

No.15 3 65 45 2 GROUP No. 2

No.16 4 70 55 2 GROUP No. 2

No.17 5 75 65 2 GROUP No. 2

No.18 6 80 75 2 GROUP No. 2

No.19 7 85 85 2 GROUP No. 2

No.20 8 90 95 2 GROUP No. 2

No.21 9 95 105 2 GROUP No. 2

No.22 10 105 115 2 GROUP No. 2

No.23 0 15 5 3 GROUP No. 3

No.24 1 17 15 3 GROUP No. 3

No.25 2 20 25 3 GROUP No. 3

No.26 3 23 35 3 GROUP No. 3

No.27 4 27 45 3 GROUP No. 3

No.28 5 30 55 3 GROUP No. 3

No.29 6 33 65 3 GROUP No. 3

No.30 7 35 75 3 GROUP No. 3

No.31 8 37 85 3 GROUP No. 3

No.32 9 40 95 3 GROUP No. 3

No.33 10 45 105 3 GROUP No. 3 Input sample

sample =

3 60 46

5 51 36

9 42 96

Sample class

class =

1

1

3

1为sheep； 2为ox；3为pig；

试题6（15%）：在你所知道的模式识别与机器学习算法中，那些方法较合适用来解决纯数值型数据的问题，那些方法较适合用来解决包含非数值数据的问题。答：在计算机进行信息处理时，所涉及到的数据包含数值型数据（Numeric）和非数值型数据（NonNumeric）两大类。数值型数据是指能参加算术或逻辑运算的数据；非数值型数据是指不能参加算术运算的数据，这些数据只能参加逻辑运算。纯数值型：

1. 贝叶斯决策法

是基于概率统计的基本的判别函数分类法。只要知道先验概率和条件概率就可以对样本进行判断，算法简单，易于理解和分析，其基本概念被众多的先进决策算法运用，判断结果较精确。

由于数据是纯数值型数据，数据简单，样本间的空间距离易计算，且先验概率和条件概率易求得。

2、BP神经网络算法

神经网络只能处理数值型数据，建立神经网络需要做的数据准备工作量很大. 要想得到准确度高的模型必须认真的进行数据清洗,整理,转换,选择等工作,对任何数据挖掘技术都是这样,神经网络尤其注重这一点.比如神经网络要求所有的输入变量都必须是0-1(或-1 -- +1)之间的实数,因此像"地区"之类文本数据必须先做必要的处理变成数值之后才能用作神经网络的输入。

但每个神经元的运算功能十分简单。各神经元之间是并行结构互使得其具有高速处理能力。在神经网络中，知识与信息的存储表现为神经元之间分布式的物理联系，知识存储容量很大。

3、贝叶斯算法

是一种具有最小错误率或最小风险概率的分类方法，是利用事件的先验概率和条件概率确定事件的后验概率，只要知道各个属性发生的频率数，就可根据结果进行精确的分类，效率高。

非数值型数据:

1、决策树

决策树很擅长处理非数值型数据, 决策树的分类方法.它是从实例集中构造决策树,是一种有指导的学习方法.该方法先根据训练子集(又称为窗口)形成决策树.如果该树不能对所有对象给出正确的分类,那么选择一些例外加入到窗口中,重复该过程一直到形成正确的决策集. 决策树提供了一种展示类似在什么条件下会得到什么值这类规则的方法.是根据样本的必要属性分类的。其算法的特点是通过将大量数据有目的分类，从中找到一些有价值的，潜在的信息。它的主要优点是描述简单，分类速度快，特别适合大规模的数据处理。

2. 近邻法

是一种最简单的非参数模式识别方法中的模式匹配法,它主要依据样本间的多维空间距离来实现分类. 且该算法简单，易于理解和分析，分类效果好。

3、遗传算法，

特点从解集合进行搜索，利于全局择优。该算法具有收敛性，通过选择、交叉、变异操作能迅速排除与最优解相差极大的串。是非数值并行算法之一，解决了非数值数据及大量数据带来的计算量和存储量的问题。

试题7（10%）：请简单回答什么是督导学习？什么是无督导学习？什么是强化学习？各自可用来解决什么类型的问题？

答：1 督导学习，也就是监督学习。通过已有的一部分输入数据与输出数据之间的对应关系，生成一个函数，将输入映射到合适的输出，例如分类。利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。可用来解决训练神经网络和决策树问题。

2督导学习，就是非监督学习。直接对输入数据集进行建模，例如聚类。根据类别未知（没有被标记）的训练样本解决模式识别中的各种问题。可用来解决聚类和特征分析问题。

3强化学习(reinforcement learning，又称再励学习，评价学习)是一种重要的机器学习方法，在智能控制机器人及分析预测等领域有许多应用。所谓强化学习就是智能系统从环境到行为映射的学习，以使奖励信号(强化信号)函数值最大，强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价(通常为标量信号)，而不是告诉强化学习系统如何去产生正确的动作。由于外部环境提供的信息很少，强化学习系统必须靠自身的经历进行学习。通过这种方式，强化学习系统在行动-评价的环境中获得知识，改进行动方案以适应环境。这类方法适合于动态、复杂的开放环境。

其实很多机器学习都是在解决类别归属的问题，即给定一些数据，判断每条数据属于哪些类，或者和其他哪些数据属于同一类等等。这样，如果我们上来就对这一堆数据进行某种划分(聚类)，通过数据内在的一些属性和联系，将数据自动整理

为某几类，这就属于非监督学习。如果我们一开始就知道了这些数据包含的类别，并且有一部分数据(训练数据)已经标上了类标，我们通过对这些已经标好类标的数据进行归纳总结，得出一个“数据-->类别”的映射函数，来对剩余的数据进行分类，这就属于监督学习。

监督学习中，我们的目标是学习从输入到输出的映射关系，其中输出的正确值已经由指导者提供。然而，非监督学习中却没有这样的指导者，只有输入数据。我们的目标是发现输入数据中的规律。输入空间存在着某种结构，使得特定的模式比其他模式更常出现，而我们希望知道哪些经常发生，哪些不经常发生。

需要注意的是，监督学习和非监督学习从一开始就是相对的，而强化学习在提出时并没有从训练样本歧义性的角度考虑其与监督学习和非监督学习的区别，因此，一些早期的研究中把强化学习视为一种特殊的非监督学习。事实上，对强化学习的定位到目前仍然是有争议的，有的学者甚至认为它是与“从例子中学习”同一级别的概念。