模式识别1
模式识别上机作业[1]
![模式识别上机作业[1]](https://img.taocdn.com/s3/m/db7de2105901020207409cf4.png)
模式识别上机作业队别：研究生二队姓名：孙祥威学号：112082作业一：1{(0,0),(0,1)}ω=，2{(1,0),(1,1)}ω=。
用感知器固定增量法求判别函数，设1(1,1,1)w=，1kρ=。
写程序上机运行，写出判别函数，打出图表。
解答：1、程序代码如下：clc,clearw=[0 0 1;0 1 1;-1 0 -1;-1 -1 -1];W=[1 1 1];rowk=1;flag=1;flagS=zeros(1,size(w,1));k=0;while flagfor i=1:size(w,1)if isempty(find(flagS==0))flag=0;break;endk=k+1;pb=w(i,:)*W';if pb<=0flagS(i)=0;W=W+rowk*w(i,:);elseflagS(i)=1;endendendW,kwp1=[0 0;0 1;];wp2=[1 0;1 1];plot(wp1(:,1),wp1(:,2),'o')hold onplot(wp2(:,1),wp2(:,2),'*')hold ony=-0.2:1/100:1.2;plot(1/3*ones(1,size(y)),y,'r-') axis([-0.25 1.25 -0.25 1.25])2、判别函数。
计算得到增广权矢量为*(3,0,1)T w =-，故判别函数表达式为：1310x -+=3、分类示意图：图 1 感知器算法分类结果图作业二：在下列条件下，求待定样本(2,0)T x =的类别，画出分界线，编程上机。
1解答：经计算，两类的协方差矩阵不相等。
设12()()P P ωω=，计算时相关项直接略去。
1、计算时，参考书中P96页式（4-1-31）等。
程序代码如下：clc,clear,close all D1=[1,1,2;1,0,-1;]; D2=[-1,-1,-2;1,0,-1;]; u1=mean(D1,2); u2=mean(D2,2);c1=zeros(size(D1,1),size(D1,1)); for i=1:size(D1,2)c1=c1+D1(:,i)*D1(:,i)'; endc1=c1/size(D1,2)-u1*u1';c2=zeros(size(D2,1),size(D2,1)); for i=1:size(D2,2)c2=c2+D2(:,i)*D2(:,i)'; endc2=c2/size(D2,2)-u2*u2'; I=eye(size(c1,1),size(c1,1)); ic1=c1\I; ic2=c2\I; W1=-0.5*ic1; W2=-0.5*ic2; w1=ic1*u1;; w2=ic2*u2;;w10=-0.5*log(det(c1))-0.5*u1'*ic1*u1; w20=-0.5*log(det(c2))-0.5*u2'*ic2*u2; syms x1 x2; x=[x1;x2];fprintf('决策界面方程为：')D=x'*(W1-W2)*x+(w1-w2)'*x+(w10-w20); pretty(D)fprintf('（2，0）代入决策面方程的值为：') value=subs(D,{x1,x2},[2 0]) figure ezplot(D) hold onplot(D1(1,:),D1(2,:),'bo')plot(D2(1,:),D2(2,:),'ks') plot(2,0,'rp')运行结果显示，决策面方程为：11248180x x x -=。
模式识别系统的基本构成单元
模式识别系统的基本构成单元模式识别系统是一种人工智能技术，其目的在于让计算机能够自动识别和分类图像、声音、文本等数据。
模式识别系统的基本构成单元包括数据采集、特征提取、分类器和反馈控制。
下面将依次介绍这些构成单元。
1. 数据采集数据采集是模式识别系统的第一步，也是最基本的步骤。
数据可以从传感器、摄像机、麦克风等设备中获取，也可以从网络、数据库等数据源中获取。
数据采集的质量直接影响到后续的特征提取和分类器的性能。
因此，在数据采集阶段，需要注意数据的准确性、完整性和可靠性。
2. 特征提取特征提取是模式识别系统中最关键的步骤之一。
它的目的是从原始数据中提取出最具有代表性的特征，用于后续的分类器建模和识别。
特征可以是形状、颜色、纹理、频率、时域、空间等方面的信息。
一般来说，特征提取的方法可以分为基于统计学、基于几何学、基于神经网络等不同的方法。
3. 分类器分类器是模式识别系统的核心部分。
它的作用是根据提取出的特征来进行数据分类和识别。
分类器可以分为监督学习和无监督学习两种。
监督学习需要有标注数据集作为训练样本，通过学习样本的特征与标签的对应关系来建立分类模型。
无监督学习则不需要标注数据，通过学习样本之间的相似性和差异性来进行数据分类。
4. 反馈控制反馈控制是模式识别系统的最后一步。
它的作用是根据分类器的输出结果来进行调整和优化。
如果分类结果不满足要求，可以通过改变特征提取方法、调整分类器参数等方式来提高分类器的准确率和鲁棒性。
反馈控制是模式识别系统的一个迭代过程，通过不断地优化和调整，可以不断提升系统的性能。
模式识别作业题(1)
m 2 mn ] 是奇异的。 mn n 2
1
2、参考参考书 P314“模式识别的概要表示”画出第二章的知识结构图。 答：略。 3、现有两类分类问题。如下图所示， （1,
1 1 3 ） 、 （ ， ） 、 （1， 3 ） 、 （1，-tan10°）为 3 2 2 3 3 ，- * tan 10° ） 、 （2，0）为 W2 类。 5 5
W1 类，其中（1，-tan10°）已知为噪声点； （1,0） 、 （ 自选距离度量方法和分类器算法，判别（
6 ，0）属于哪一类？ 5
答：度量方法：根据题意假设各模式是以原点为圆心的扇状分布，以两个向量之间夹角（都 是以原点为起点）的余弦作为其相似性测度，P22。 然后使用 K 近邻法，K 取 3，求已知 7 个点与（
2
答： （1）×，不一定，因为仅仅是对于训练样本分得好而已。 （2）×，平均样本法不需要。 （3）√，参考书 P30，将 r 的值代入式（2.26）即得。 （4）√，参考书 P34，三条线线性相关。 （ 5 ） √ ，就是说解区是 “ 凸 ” 的，参考书 P37 ，也可以证明，设 W1T X’=a, W2T X’=b, 则 a≤λW1+(1-λ)W2≤b（设 a≤b） 。 （6）√，参考书 P38。 （7）×，前一句是错的，参考书 P46。 （8）×，是在训练过程中发现的，参考书 P51。 （9）×，最简单的情况，两个点（0,0）∈w1,（2,0）∈w2，用势函数法求出来的判决界面是 x1=1。 （10）√，一个很简单的小证明， 设 X1=a+K1*e，X2= a-K1*e，X3=b+K2*e，X4= b-K2*e， Sw=某系数*e*e’，设 e=[m n]，则 e *e’= [
方法三：参照“两维三类问题的线性分类器的第二种情况（有不确定区域） ”的算法，求 G12,G23,G13。 G12*x1>0, G12*x2<0, G12=(-1,-1,-1)’ G23*x2>0, G23*x3<0, G23=(-1,-1,1)’ G13*x1>0, G13*x3<0, G12=(-1,-1,1)’ 有两条线重合了。
机器学习中的数据挖掘与模式识别(Ⅰ)
机器学习中的数据挖掘与模式识别机器学习是当今信息技术领域的热门话题，而数据挖掘和模式识别则是机器学习中非常重要的两个方面。
数据挖掘是指从大规模数据集中发现有用信息和模式的过程，而模式识别则是指利用计算机自动识别数据中的规律和特征。
在这篇文章中，我们将探讨机器学习中的数据挖掘与模式识别的相关概念、方法和应用。
数据挖掘是机器学习中的核心环节之一，它通过从大量数据中发现隐含的模式和信息，帮助人们做出更准确的决策。
数据挖掘的方法包括聚类、分类、关联规则挖掘等。
聚类是将数据集中的对象划分为若干组，使得同一组内的对象相似度最大，组间的差异性最大；分类是给定一个类别标签集合，将数据集中的对象划分为这些类别中的一个；关联规则挖掘是发现数据集中不同属性之间的关联关系。
这些方法可以帮助人们理解数据的分布、归纳数据的特征和规律，为决策提供数据支持。
模式识别是机器学习中另一个重要的方面，它是指计算机自动识别数据中的规律和特征。
模式识别的方法包括统计模式识别、神经网络、支持向量机等。
统计模式识别是利用统计学的方法来对数据进行建模和分析，常见的方法包括贝叶斯分类器、最大似然估计、EM算法等；神经网络是模拟生物神经网络的计算模型，它通过学习和训练来识别数据中的模式和特征；支持向量机是一种利用统计学习理论来构建分类器的方法，它通过在特征空间中寻找最优的超平面来进行分类。
这些方法可以帮助人们识别和分类数据中的模式和特征，为数据分析和决策提供支持。
数据挖掘和模式识别在各个领域都有着广泛的应用。
在医疗领域，数据挖掘和模式识别可以帮助医生诊断疾病、预测疾病的发生和发展趋势，优化治疗方案和用药方案；在金融领域，数据挖掘和模式识别可以帮助银行和保险公司识别风险、预测市场变化、进行信用评估和反欺诈；在电商领域，数据挖掘和模式识别可以帮助企业理解用户行为、推荐商品、优化营销策略；在智能制造领域，数据挖掘和模式识别可以帮助企业实现智能生产、预测设备故障、优化生产工艺。
模式识别导论1
一.模式识别的基本定义
模式(pattern) ----存在于时间，空间中可观察的事 物,具有时间或空间分布的信息。 模式识别(Pattern Recognition) ---- 用计算机实现 人对各种事物或现象的分析,描述,判断,识别。 模式识别与图象识别，图象处理的关系 模式识别是模拟人的某些功能 模拟人的视觉: 计算机+光学系统 模拟人的听觉: 计算机+声音传感器 模拟人的嗅觉和触觉: 计算机+传感器
2018/10/26
自动检测：产品质量自动检测 语声识别，机器翻译，电话号码自动查询，侦 听，机器故障判断。 军事应用
2018/10/26
§1-4 模式识别的基本问题
一.模式(样本)表示方法
1. 向量表示 : 假设一个样本有n个变量(特征) Ⅹ= (X1,X2,…,Xn)T 2. 矩阵表示: N个样本，n个变量(特征)
2018/10/26
特征抽取和选择：在模式识别中，需要进行特征的 抽取和选择。例如，一幅64x64的图象可以得到 4096个数据，这种在测量空间的原始数据通过变换 获得在特征空间最能反映分类本质的特征。这就是 特征提取和选择的过程。 分类器设计：分类器设计的主要功能是通过训练确 定判决规则，使按此类判决规则分类时，错误率最 低。把这些判决规则建成标准库。 分类决策：在特征空间中对被识别对象进行分类。
2018/10/26
4. 基元（链码）表示： 在右侧的图中八个基 元分别表0,1,2,3,4,5,6,7, 八个方向和基元线段长度。 则右侧样本可以表示为 X1=006666。 这种方法将在句法模 式识别中用到。
2018/10/26
二.模式类的紧致性
模式识别(PatternRecognition)
近年来模式识别在化学、生物、医学、 近年来模式识别在化学、生物、医学、 食品、环境科学、 食品、环境科学、电子等学科中得到了 迅速发展及广泛应用，特别是聚类分析， 迅速发展及广泛应用，特别是聚类分析， 它可以解决样品的分类、 它可以解决样品的分类、方法的选择及 分析过程优化等问题， 分析过程优化等问题，因而越来越受到 人们的重视，并渗透到分析化学领域中。 人们的重视，并渗透到分析化学领域中。
经过许多国际组织多年的研究和讨论 ， 经过许多国际组织多年的研究和讨论， 1993年终于制定了 《 测量不确定度表示 年终于制定了《 年终于制定了 指南》 指南》 （Guide to the Expression of Uncertainty in Measurement） 得到了包括 ） 得到了包括IUPAC在 在 内的七个国际组织的批准， 内的七个国际组织的批准 ， 并由国际标 准化组织（ 准化组织（ISO）出版。 ）出版。 目前 目前GUM的执行已得到了包括中国在内 的执行已得到了包括中国在内 的许多国家政府机构的批准。 的许多国家政府机构的批准。
化学模式识别是根据化学测量矩阵，自 化学模式识别是根据化学测量矩阵， 动将样本集按样本的某种性质（ 动将样本集按样本的某种性质（通常是 隐含的）进行分类及特征选取的方法， 隐含的）进行分类及特征选取的方法， 化学模式识别从化学测量数据出发， 化学模式识别从化学测量数据出发，进 一步揭示样本的隐含性质， 一步揭示样本的隐含性质，提供十分有 用的决策性信息。 用的决策性信息。
对于系统误差来说，可以运用消除误差源、改变测量方 对于系统误差来说，可以运用消除误差源、 寻求修正值等方法来使其减小。在分析化学中， 法、寻求修正值等方法来使其减小。在分析化学中，常 用以下一些方法来进行： 用以下一些方法来进行： 1.空白试验 空白试验 空白试验就是用纯试剂、纯样品来对照，或者用不含对 空白试验就是用纯试剂、纯样品来对照， 象的样品来对照，最终用测得值扣去空白值。 象的样品来对照，最终用测得值扣去空白值。. 2.对照试验 对照试验 凡由方法引起的误差，都应该用标准方法或公认的准确 凡由方法引起的误差， 的方法来进行对照试验。 的方法来进行对照试验。 3.回收试验 回收试验 试验中样品的损失是取样和处理样品的难题。通常是在 试验中样品的损失是取样和处理样品的难题。 被测样品中加入已知量的被测组分，然后看其能否定量 被测样品中加入已知量的被测组分， 回收。 回收。
模式识别上机作业[1]
模式识别上机作业队别：研究生二队姓名：孙祥威学号：112082作业一：1{(0,0),(0,1)}ω=，2{(1,0),(1,1)}ω=。
用感知器固定增量法求判别函数，设1(1,1,1)w=，1kρ=。
写程序上机运行，写出判别函数，打出图表。
解答：1、程序代码如下：clc,clearw=[0 0 1;0 1 1;-1 0 -1;-1 -1 -1];W=[1 1 1];rowk=1;flag=1;flagS=zeros(1,size(w,1));k=0;while flagfor i=1:size(w,1)if isempty(find(flagS==0))flag=0;break;endk=k+1;pb=w(i,:)*W';if pb<=0flagS(i)=0;W=W+rowk*w(i,:);elseflagS(i)=1;endendendW,kwp1=[0 0;0 1;];wp2=[1 0;1 1];plot(wp1(:,1),wp1(:,2),'o')hold onplot(wp2(:,1),wp2(:,2),'*')hold ony=-0.2:1/100:1.2;plot(1/3*ones(1,size(y)),y,'r-') axis([-0.25 1.25 -0.25 1.25])2、判别函数。
计算得到增广权矢量为*(3,0,1)T w =-，故判别函数表达式为：1310x -+=3、分类示意图：图 1 感知器算法分类结果图作业二：在下列条件下，求待定样本(2,0)T x =的类别，画出分界线，编程上机。
1解答：经计算，两类的协方差矩阵不相等。
设12()()P P ωω=，计算时相关项直接略去。
1、计算时，参考书中P96页式（4-1-31）等。
程序代码如下：clc,clear,close all D1=[1,1,2;1,0,-1;]; D2=[-1,-1,-2;1,0,-1;]; u1=mean(D1,2); u2=mean(D2,2);c1=zeros(size(D1,1),size(D1,1)); for i=1:size(D1,2)c1=c1+D1(:,i)*D1(:,i)'; endc1=c1/size(D1,2)-u1*u1';c2=zeros(size(D2,1),size(D2,1)); for i=1:size(D2,2)c2=c2+D2(:,i)*D2(:,i)'; endc2=c2/size(D2,2)-u2*u2'; I=eye(size(c1,1),size(c1,1)); ic1=c1\I; ic2=c2\I; W1=-0.5*ic1; W2=-0.5*ic2; w1=ic1*u1;; w2=ic2*u2;;w10=-0.5*log(det(c1))-0.5*u1'*ic1*u1; w20=-0.5*log(det(c2))-0.5*u2'*ic2*u2; syms x1 x2; x=[x1;x2];fprintf('决策界面方程为：')D=x'*(W1-W2)*x+(w1-w2)'*x+(w10-w20); pretty(D)fprintf('（2，0）代入决策面方程的值为：') value=subs(D,{x1,x2},[2 0]) figure ezplot(D) hold onplot(D1(1,:),D1(2,:),'bo')plot(D2(1,:),D2(2,:),'ks') plot(2,0,'rp')运行结果显示，决策面方程为：11248180x x x -=。
模式识别_作业1
作业一：作业二：对如下5个6维模式样本，用最小聚类准则进行系统聚类分析： x 1: 0, 1, 3, 1, 3, 4 x 2: 3, 3, 3, 1, 2, 1 x 3: 1, 0, 0, 0, 1, 1 x 4: 2, 1, 0, 2, 2, 1 x 5: 0, 0, 1, 0, 1, 01、 计算D (0)=⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛0 12 3 5 2612 0 7 15 243 7 0 24 55 15 24 0 2326 24 5 23 0，因为x3与x5的距离最近，则将x3与x5分为一类。
同时可以求出x1,x2,x4与x3,5的距离，如x1到x3,5的距离为x1到x3的距离与x1与x5的距离中取最小的一个距离。
2、 则D (1)=⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛0 7 15 2470 24 515 24 0 2324 5 23 0，同样现在该矩阵中x4与x3,5的距离最近，则可以将x3,4,5分为一类，这样分类结束，总共可以将x1,x2,x3,x4,x5分为三类，其中:x1为第一类；x2为第二类；x3和x4和x5为第三类。
• 作业三：（K-均值算法）• 选k=2,z 1(1)=x 1,z 2(1)=x 10,用K-均值算法进行聚类分析由图可以看出这二十个点的坐标：x1(0,0),x2(1,0),x3(0,1),x4(1,1),x5(2,1),x6(1,2),x7(2,2),x8( 3,2),x9(6,6),x10(7,6),x11(8,6),x12(6,7),x13(7,7),x14(8,7),x 15(9,7),x16(7,8),x17(8,8),x18(9,8),x19(8,9),x20(9,9)。
1、选2个初始聚类中心，z1(1)=x1，z2(1)=x10.2、求取其它十八个点分别到x1与x10的距离：x2到x1的距离为1;x2到x10的距离为6x3到x1的距离为1;x3到x10的距离为x4到x1的距离为;x4到x10的距离为x5到x1的距离为;x5到x10的距离为5x6到x1的距离为;x6到x10的距离为x7到x1的距离为2;x7到x10的距离为x8到x1的距离为;x8到x10的距离为4x9到x1的距离为6;x9到x10的距离为1x11到x1的距离为10;x11到x10的距离为1x12到x1的距离为;x12到x10的距离为x13到x1的距离为7;x13到x10的距离为1x14到x1的距离为;x14到x10的距离为x15到x1的距离为;x15到x10的距离为x16到x1的距离为;x16到x10的距离为2x17到x1的距离为8;x17到x10的距离为x18到x1的距离为;x18到x10的距离为2x19到x1的距离为;x19到x10的距离为x20到x1的距离为9;x20到x10的距离为所以其中x2到x8距离x1近些，则可以将x2到x8与x1分为一类，而x9与x11到x20与x10分为另一类；3、通过将第一类中的所有x1到x8的坐标求取平均来计算该类别的中心坐标，求取新的类别的中心坐标z1(2)= (5/4,9/8),同理可以求出另一类的中心坐标z2(2)= (92/12,22/3)4、然后重新计算各点距离这二点中心坐标的距离，最后可以得出x1到x8仍然为第一类，x9到x20仍然为第二类。
统计模式识别的原理与方法
统计模式识别的原理与⽅法1统计模式识别的原理与⽅法简介 1.1 模式识别 什么是模式和模式识别？⼴义地说，存在于时间和空间中可观察的事物，如果可以区别它们是否相同或相似，都可以称之为模式；狭义地说，模式是通过对具体的个别事物进⾏观测所得到的具有时间和空间分布的信息；把模式所属的类别或同⼀类中模式的总体称为模式类(或简称为类）]。
⽽“模式识别”则是在某些⼀定量度或观测基础上把待识模式划分到各⾃的模式类中去。
模式识别的研究主要集中在两⽅⾯，即研究⽣物体(包括⼈）是如何感知对象的，以及在给定的任务下，如何⽤计算机实现模式识别的理论和⽅法。
前者是⽣理学家、⼼理学家、⽣物学家、神经⽣理学家的研究内容，属于认知科学的范畴；后者通过数学家、信息学专家和计算机科学⼯作者近⼏⼗年来的努⼒，已经取得了系统的研究成果。
⼀个计算机模式识别系统基本上是由三个相互关联⽽⼜有明显区别的过程组成的，即数据⽣成、模式分析和模式分类。
数据⽣成是将输⼊模式的原始信息转换为向量，成为计算机易于处理的形式。
模式分析是对数据进⾏加⼯，包括特征选择、特征提取、数据维数压缩和决定可能存在的类别等。
模式分类则是利⽤模式分析所获得的信息，对计算机进⾏训练，从⽽制定判别标准，以期对待识模式进⾏分类。
有两种基本的模式识别⽅法，即统计模式识别⽅法和结构(句法）模式识别⽅法。
统计模式识别是对模式的统计分类⽅法，即结合统计概率论的贝叶斯决策系统进⾏模式识别的技术，⼜称为决策理论识别⽅法。
利⽤模式与⼦模式分层结构的树状信息所完成的模式识别⼯作，就是结构模式识别或句法模式识别。
模式识别已经在天⽓预报、卫星航空图⽚解释、⼯业产品检测、字符识别、语⾳识别、指纹识别、医学图像分析等许多⽅⾯得到了成功的应⽤。
所有这些应⽤都是和问题的性质密不可分的，⾄今还没有发展成统⼀的有效的可应⽤于所有的模式识别的理论。
1.2 统计模式识别 统计模式识别的基本原理是：有相似性的样本在模式空间中互相接近，并形成“集团”，即“物以类聚”。
模式识别基本工作流程
模式识别基本工作流程模式识别基本工作流程主要包含以下步骤：1.信息获取：这是模式识别的第一步，将对象转化为计算机可以运算的符号，也就是将事物所包含的各种信息通过采集转换成计算机能接受和处理的数据。
对于各种物理量，可以通过传感器将其转换成电信号，再由信号变换部件对信号的形式、量程等进行变换，最后经A/D采样转换成对应的数据值。
2.预处理：预处理环节通过各种滤波降噪措施，降低干扰的影响，增强有用的信息。
在此基础上，生成在分类上具有意义的各种特征。
预处理生成的特征可以仍然用数值来表示，也可以用拓扑关系、逻辑结构等其他形式来表示，分别用于不同的模式识别方法。
3.特征提取与选择：特征提取是将识别样本构造成便于比较、分析的描述量即特征向量。
特征选择是从已提取的特征中选择一部分特征作为建模的数据，以免特征的维数太大。
有时可采用某种变换技术，得到数目上比原来少的综合性特征用于分类，称为特征维数压缩，也成为特征提取。
4.分类器设计：分类器设计是通过训练过程将训练样本提供的信息变为判别事物的判别函数。
5.分类决策：分类决策是对样本特征分量按判别函数的计算结果进行分类，是模式识别的核心和难点。
其主要方法是计算待识别事物的属性，分析它是否满足是某类事物的条件。
满足这种数学式子与否就成为分类决策的依据。
此外，模式识别的方法主要有四类：数据聚类（用于非监督学习）、统计分类（用于监督学习）、结构模式识别（通过对基本单元判断是否符合某种规则）和神经网络（可同时用于监督或者非监督学习，通过模拟人脑，调节权重来实现）。
综上所述，模式识别的工作流程涵盖了从数据获取到分类决策的多个环节，每个环节都有其特定的任务和方法，共同构成了完整的模式识别过程。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
xcwang@ (COE at CQU)
第1讲
模式识别基础
Mar,2010
7 / 38
An Example of Fish Processing Plan
B-Feature Extraction
Preprocessing image processing algorithms segmentation: to isolate fishes from one another and from the background Feature extraction feature construction: converting raw" data into a set of useful features feature selection: selecting relevant and informative features, data reduction, visualization
1 3 8
xcwang@ (COE at CQU) 第1讲
2
.
23
. . . . .
模式识别基础
Mar,2010
11 / 38
An Example of Fish Processing Plan
B-Cost and Decision Boundary
In most cases, people prefer to tasty Salmon than sea bass. Cost for misclassification Salmon is misclassified to sea bass Sea bass is wrongly classified to salmon
1 8 19
2.5 3
23
. . .
2
. . .
xcwang@ (COE at CQU)
第1讲
模式识别基础
Mar,2010
13 / 38
An Example of Fish Processing Plan
B-Classification II
We might add other features that are not correlated with the ones we already have A precaution should be taken not to reduce the performance by adding such noisy features" Suppose that other features are too expensive to measure, or provide little improvement or possibly even degrade the performance We are forced to make our decision based on the two features
salmon, sea base :
.
.
.
.
.
.
xcwang@ (COE at CQU)
第1讲
模式识别基础
Mar,2010
3 / 38
An Example of Fish Processing Plan
A
, : 1. 2. 3. 4. 识别
.
.
.
.
.
.
xcwang@ (COE at CQU)
.
.
.
.
.
.
xcwang@ (COE at CQU)
第1讲
模式识别基础
Mar,2010
8 / 38
An Example of Fish Processing Plan
B-Feature Extraction
The features are passed to a classifier, where inputs: a feature vector x = {x1 , x2 , · · · } output: classes is {salmon, sea bass } ==>y ∈ {−1, +1}
.
.
.
.
.
.
xcwang@ (COE at CQU)
第1讲
模式识别基础
Mar,2010
14 / 38
An Example of Fish Processing Plan
B-Classification II
If our models were extremely complicated, our classifier would have a decision boundary more complex than the simple straight line Ideally, the best decision boundary should be the one which provides an optimal performance such that all the training samples would be separated perfectly ⇒ Issue of generalization
.
.
.
.
.
.
xcwang@ (COE at CQU)
第1讲
模式识别基础
Mar,2010
1 / 38
.
. 1 . . An Example of Fish Processing Plan . 2 . . Components of a Pattern Recognition System . 3 . . The Learning . 4 . . Decision Theory . 5 . . Typical Applications of PR
Move our decision boundary toward smaller values of lightness in order to minimize the cost (reduce the number of sea bass that are classified salmon!==> Task of decision theory
. . . . . .
xcwang@ (COE at CQU)
第1讲
模式识别基础
Mar,2010
10 / 38
An Example of Fish Processing Plan
B-Classification I
To obtain training samples of different types of fish in terms of length measurement To attempt to classify the fish merely by seeing whether or not the length of a fish exceeds some critical value
y = f (x), f
xcwang@ (COE at CQU) 第1讲
???
. . . . . .来自模式识别基础Mar,2010
9 / 38
An Example of Fish Processing Plan
B-Classification I
Collect a set of examples from both species Select the length of the fish as a possible feature for discrimination Compute the distribution (histogram) of lengths for both classes Determine a decision boundary (threshold) that minimizes the classification error Salmon(100) 3 15 12 8 5 4 7 10 12 7.5 6.5 4.5 17 22 10 ...... 1 3 2 4 3 5 4 6 3.5 3 5 6 3.5 7 2 ...... Sea base(100) 5 7 11 18 15 13 8 6 22 24 21 14 9 6 20 ...... 9 5 6 14 13 10 7 9 8 8 7 5 8 8 7 ......
.
.
.
.
.
.
xcwang@ (COE at CQU)
第1讲
模式识别基础
Mar,2010
2 / 38
An Example of Fish Processing Plan
Basic Descrip.
Task: A fish processing plan wants to automate the process of sorting incoming fish according to species (salmon or sea bass) on a conveyor belt using optical sensing.
第1讲
模式识别基础
Mar,2010
4 / 38
An Example of Fish Processing Plan
B
The automation system consists of 1. a conveyor belt for incoming products 2. two conveyor belts for sorted products 3. a pick-and-place robotic arm 4. a vision system with an overhead CCD camera 5. a computer to analyze images and control the robot arm