模式识别复习重点总结
模式识别复习重点总结
1．线性判别方法（1）两类：二维及多维判别函数，判别边界，判别规则 二维情况：（a ）判别函数： ( ) （b ）判别边界：g(x)=0; （cn 维情况：（a ）判别函数： 也可表示为：（b ）判别边界：g 1(x ) =W T X=0（c ）判别规则：（2）多类：3种判别方法（函数、边界、规则）(A)第一种情况：(a)判别函数：M 类可有M 个判别函数(b) 判别边界：ωi （i=1,2,…,n ）类与其它类之间的边界由 g i (x )=0确定(c)(B)第二种情况：(a)判别函数：有 M (M _ 1)/2个判别平面(b) 判别边界： (c)判别规则：(C)第三种情况：(a)判别函数： (b) 判别边界：g i (x ) =g j (x ) 或g i (x ) -g j (x ) =0(c)判别规则：32211)(w x w x w x g ++=为坐标向量为参数，21,x x w 12211......)(+++++=n n n w x w x w x w x g X W x g T =)(为增值模式向量。
，＝为增值权向量，Tn n T n n x x x x X w w w w W )1,...,,(),,...,,(21121+=+XW x g Tij ij =)(0)(=x g ij j i x g ij ≠⎩⎨⎧∈→<∈→>j ix 0x 0)(ωω当当权向量。
个判别函数的为第式中i w w w w W T in in i i i ),,,...,,(121+=XW x g K k =)(⎩⎨⎧∈=小，其它最大，当i Tki x X W x g ω)(2．分段线性判别方法1）基于距离:（1）子类，类判别函数 （2）判别规则（1）子类：把ωi 类可以分成l i 个子类:∴ 分成l 个子类。
子类判别函数：在同类的子类中找最近的均值 （2）判别规则： 这是在M 类中找最近均值。
模式识别 复习笔记
第一章 概论① 什么是模式识别？使计算机模仿人的感知能力，从感知数据中提取信息（判别物体和行为）的过程。
（老师的简略说法：用机器判断事物类别）② 模式识别系统主要由四个部分组成：原始数据的获取和预处理，特征提取与选择，分类或类聚，后处理。
③ 紧致性：做模式识别的前提条件是每个模式类满足紧致性。
④ 相似性度量满足的条件：1234点⑤ 一些专业术语的中英文：PR （pattern recognition ）模式识别 BP （back-propagation ）反向传播算法 PCA （principal component analysis ）主成分分析NN （neural networks ）神经网络 ⑥ 欧式距离：()()Tx u x u -- ⑦ 马氏距离：()()1Tx u x u ---∑第二章 贝叶斯决策（两大贝叶斯决策=最小错误率贝叶斯决策+最小风险贝叶斯决策）：①贝叶斯决策的三个前提条件：类别数确定，各类的先验概率p(w i)已知，各类的条件概率密度函数p(x|w i)已知。
②最小错误率贝叶斯决策：使错误率最小的分类决策。
对应于最大后验概率。
贝叶斯公式：P17 白细胞例子③最小风险贝叶斯决策：考虑各种错误造成损失不同时的一种最优决策。
第三章最大似然估计（两大参数估计=最大似然估计+贝叶斯估计）：最可能出一题最大似然估计的计算题。
判断估计好坏的标准：无偏性、有效性、一致性。
①最大似然估计的求解流程：1、构造似然函数2、对数化3、求偏导4、求解第四章线性分类器①Fisher判别法Fisher准则：找到一个最合适的投影轴，使两类样本在该轴上的投影之间的距离尽可能远，而每一类样本的投影尽可能紧凑，从而使分类效果为最佳。
各类样本均值向量m i判定函数J（w）越大，说明分子类间距离越大，分母类内距离越小。
符合fisher准则。
引入拉格朗日函数：求偏导②最小二乘法y=ax+b第五章非线性分类器①反向传播算法BP：1.三层结构2.简述BP过程、偏差回来调整权系数P953.学习规则：a.随机给定权系数；b.计算输出；c.得到偏差；d.进行调整4.算法步骤：第七章特征选择遗传算法过程：a.初始化：设置进化代数计数器t=0，设置最大进化代数T，随机生成M个个体作为初始群体P（0）.b.个体评价：计算群体P（t）中各个个体的适应度。
模式识别考试总结
1.对一个染色体分别用一下两种方法描述：(1)计算其面积、周长、面积/周长、面积与其外接矩形面积之比可以得到一些特征描述，如何利用这四个值？属于特征向量法，还是结构表示法？(2)按其轮廓线的形状分成几种类型，表示成a、b、c等如图表示，如何利用这些量？属哪种描述方法？（3）设想其他的描述方法。
（1）这是一种特征描述方法，其中面积周长可以体现染色体大小，面积周长比值越小，说明染色体越粗，面积占外接矩形的比例也体现了染色体的粗细。
把这四个值组成特征向量可以描述染色体的一些重要特征，可以按照特征向量匹配方法计算样本间的相似度。
可以区分染色体和其它圆形、椭圆细胞结构。
（2）a形曲线表示水平方向的凹陷，b形表示竖直方向的凹陷，c形指两个凹陷之间的突起，把这些值从左上角开始，按顺时针方向绕一圈，可以得到一个序列描述染色体的边界。
它可以很好的体现染色体的形状，用于区分X和Y染色体很合适。
这是结构表示法。
（3）可以先提取待识别形状的骨架，在图中用蓝色表示，然后，用树形表示骨架图像。
2. 设在一维特征空间中两类样本服从正态分布，，两类先验概率之比，试求按基于最小错误率贝叶斯决策原则的决策分界面的x值。
答：由于按基于最小错误率的贝叶斯决策，则分界面上的点服从3、设两类样本的类内离散矩阵分别为，试用fisher准则求其决策面方程，并与第二章习题二的结构相比较。
答：由于两类样本分布形状是相同的（只是方向不同），因此应为两类均值的中点。
4，设在一个二维空间，A类有三个训练样本，图中用红点表示，B类四个样本，图中用蓝点表示。
试问：（1）按近邻法分类，这两类最多有多少个分界面（2）画出实际用到的分界面（3） A1与B4之间的分界面没有用到下图中的绿线为最佳线性分界面。
答：(1)按近邻法，对任意两个由不同类别的训练样本构成的样本对，如果它们有可能成为测试样本的近邻，则它们构成一组最小距离分类器，它们之间的中垂面就是分界面，因此由三个A类与四个B类训练样本可能构成的分界面最大数量为3×4＝12。
模式识别 总结
2.3 聚类算法
（一）简单聚类 最邻近规则试探法 给定阀值T，聚类到zl （二）层次聚类 初始每个样本点为一类（N类），将类间距离最小者 合并为一类，逐级进行。 类间距离可用：最小、最大、中间、重心、平均距离 等。
（三）动态聚类算法
C-均值算法（适用于团状分布的情况） c 0, zi (1) xi1 , i 1, 2,..., c;
1 z j (k ) Nj
x
i 1
Nj
( j) i
, N N j,
重新聚类
j1
c
x
( j) i
j
ISODATA算法 c（预期类数），Nc（初始类心个数），N（各类最小样本数）， s（类中样本特征分量标准差上限）， jmax， D（聚合中心最小间距），L，I
C-均值算法性能
i j
⑶ 没有不确定区的 两分法 i j 令 dij ( x) di ( x) d j ( x) ( w i wj ) x
if
di ( x ) d j ( x ), j i then x i
or if di ( x ) max[d j ( x )] then x i
Fisher准则函数 2 SB (m1 m2 )2 uS Bu J F (u ) 2 2 max 2 sW1 sW2 uSW u SW
（2）Fisher变换
1 SW SBu u
对于两类问题,
u S S 它所对应的本征矢量 称为Fisher
最佳鉴别矢量。 1 u S Fisher变换函数 W (m 1 m2 ) ： 1 y (m1 m2 )SW x
最近距离 最远距离 中间距离 重心距离
p 1/2 1/2 1/2 np/(np+nq)
模式识别基础复习资料
Contents卷一、模式识别机经 (3)卷二、2008~2009秋_模式识别_张学工_期末B (5)卷三、2007~2008秋_模式识别_张学工_期末B (7)卷四、2007~2008秋_模式识别_张学工_期末A (10)卷五、2006~2007秋_模式识别_张学工_期末B (11)卷六、2005~2006秋_模式识别_张学工_期末 (12)卷七、2004~2005秋_模式识别_张学工_期末 (13)卷八、2003~2004秋_模式识别_张学工_期末 (14)卷九、1999~2000春_模式识别_张学工_期末 (14)附录、名词以及原理 ................................................... 错误!未定义书签。
卷一、模式识别机经１．设计最小错误率分类器：如果12(|)(|)P x P x ωω>则x 为1ω反之12(|)(|)P x P x ωω<则x 为2ω（特别的，当12(|)(|)P x P x ωω=，可以接受x 为任何一类也可以拒绝。
在连续情况下这种情况几乎完全不出现。
1122(|)()(|)(|)()(|)()i i i p x P P x p x P p x P ωωωωωωω=+，112212,(|)(|),(|)(|)when P x P x x when P x P x ωωωωωω>⎧∈⎨<⎩ 2．画图如下，红色表示1(|)P x ω（[5,10]均匀分布的后验概率），蓝色表示2(|)P x ω（N(0,9)的后验概率）（注意图是错的——作者）（图是错的）3．最小错误分类器有许多局限性。
其一，其只考虑到错误率的限制，并未考虑到实际情况中不同错误的代价等等，为了克服这类局限性，学者们在最小错误率之外又设计了最小风险分类器、限定一类错误率令另一类错误率最小的分类器等；其二，其只能用于监督学习，要求已知分类情况，并且要满足I.I.D 条件即样本与总体分布相符；其三，其要求必须知道先验概率，许多实际问题的先验概率是难以得到的。
模式识别总结
模式识别压轴总结
另外，使用欧氏距离度量时，还要注意模式样本测量值的选取，应该是有效 反映类别属性特征（各类属性的代表应均衡） 。但马氏距离可解决不均衡（一个 多，一个少）的问题。例如，取 5 个样本，其中有 4 个反映对分类有意义的特征 A，只有 1 个对分类有意义的特征 B，欧氏距离的计算结果，则主要体现特征 A。
信息获取 预处理 特征提取与选择 聚类 结果解释
1.4 模式识别系统的构成 基于统计方法的模式识别系统是由数据获取， 预处理， 特征提取和选择， 分类决策构成
2
模式识别压轴总结
1.5 特征提取和特征选择 特征提取 (extraction)：用映射（或变换）的方法把原始特征变换为较少 的新特征。 特征选择(selection) ：从原始特征中挑选出一些最有代表性，分类性能最 好的特征 特征提取/选择的目的，就是要压缩模式的维数，使之便于处理。 特征提取往往以在分类中使用的某种判决规则为准则，所提取的特征使在 某种准则下的分类错误最小。为此，必须考虑特征之间的统计关系，选用 适当的变换，才能提取最有效的特征。 特征提取的分类准则：在该准则下，选择对分类贡献较大的特征，删除贡 献甚微的特征。 特征选择：从原始特征中挑选出一些最有代表性、分类性能最好的特征进 行分类。 从 D 个特征中选取 d 个,共 CdD 种组合。 － 典型的组合优化问题 特征选择的方法大体可分两大类： Filter 方法：根据独立于分类器的指标 J 来评价所选择的特征子集 S，然后 在所有可能的特征子集中搜索出使得 J 最大的特征子集作为最优特征子 集。不考虑所使用的学习算法。 Wrapper 方法：将特征选择和分类器结合在一起，即特征子集的好坏标准 是由分类器决定的，在学习过程中表现优异的的特征子集会被选中。
模式识别期末复习总结
1、贝叶斯分类器贝叶斯分类器的定义：在具有模式的完整统计知识的条件下，按照贝叶斯决策理论进行设计的一种最优分类器。
贝叶斯分类器的分类原理：通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。
贝叶斯分类器是各种分类器中分类错误概率最小或者在预先给定代价的情况下平均风险最小的分类器。
贝叶斯的公式：什么情况下使用贝叶斯分类器：对先验概率和类概率密度有充分的先验知识，或者有足够多的样本，可以较好的进行概率密度估计，如果这些条件不满足，则采用最优方法设计出的分类器往往不具有最优性质。
2、K近邻法kNN算法的核心思想:如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。
假设有N个已知样本分属c个类,考察新样本x在这些样本中的前K个近邻，设其中有个属于类，则类的判别函数就是决策规则:若则∈什么情况下使用K近邻法:kNN只是确定一种决策原则，在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别,并不需要利用已知数据事先训练出一个判别函数，这种方法不需要太多的先验知识。
在样本数量不足时，KNN法通常也可以得到不错的结果。
但是这种决策算法需要始终存储所有的已知样本，并将每一个新样本与所有已知样本进行比较和排序，其计算和存储的成本都很大。
对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。
3、PCA和LDA的区别Principal Components Analysis(PCA)：uses a signal representation criterionLinear Discriminant Analysis(LDA)：uses a signal classification criterionLDA：线性判别分析，一种分类方法。
它寻找线性分类器最佳的法线向量方向，将高维数据投影到一维空间，使两类样本在该方向上的投影满足类内尽可能密集，类间尽可能分开。
模式识别知识重点
1、你如何理解“人工智能”以及“智能”？参考答案：人工智能是通过研制智能机器或者编制程序模拟人或者高级生物的智能行为。
智能的行为具有如下特征：感知能力、记忆与思维能力、学习与自适应能力、行为能力等，这些来自于人脑的活动结果。
2、什么是不确定推理？不确定的因素有哪些？是什么原因造成的？参考答案：从不确定的初始证据出发，通过运用不确定性的知识，最终推出具有一定不确定性但是合理的或者近乎合理的思维过程。
不确定的因素有：证据不确定（存在错误、准确性无法判定）、匹配不确定、知识（规则）不确定、合成规则不确定等。
造成不确定的原因有：主观的和客观的，例如概率的、模糊的、信息不完备、准确性无法验证等，本质上是由于人的认识的有限性。
需要解决的基本问题有：不确定性的表示和量度，不确定性匹配算法以及阈值的选择，组合证据不确定性算法，不确定性的传递算法，结论不确定性的合成等。
3、你如何理解特征空间？表示样本有哪些常见方法？参考答案：由利用某些特征描述的所有样本组成的集合称为特征空间或者样本空间，特征空间的维数是描述样本的特征数量。
描述样本的常见方法：矢量、矩阵、列表等。
4、贝叶斯决策理论中，参数估计和非参数估计有什么区别？参考答案：参数估计就是已知样本分布的概型，通过训练样本确定概型中的一些参数；非参数估计就是未知样本分布概型，利用Parzen窗等方法确定样本的概率密度分布规律。
5、线性和非线性分类器与基于贝叶斯决策理论的分类器之间是什么关系？参考答案：线性分类器与非线性分类器都属于几何分类器，是统计模式识别的一种；基于贝叶斯决策理论的分类器属于概率分类，主要是基于样本在特征空间的概率分布；利用未知样本属于已知类别的概率或者风险大小进行分类。
几何分类的理论基础是概率分类，是一种简单的处理方式，不需要求解样本的概率分布，只需要利用已知样本训练得到一些几何分界面即可。
6、无教师示范的非监督学习与聚类分析之间有何联系？有哪些常见的非监督学习方法？试简要介绍其中一种方法，并给出必要的公式。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1.什么是模式及模式识别模式识别的应用领域主要有哪些模式：存在于时间，空间中可观察的事物，具有时间或空间分布的信息；模式识别：用计算机实现人对各种事物或现象的分析,描述,判断,识别。
模式识别的应用领域：（1）字符识别；（2）医疗诊断；（3）遥感；(4）指纹识别脸形识别；（5）检测污染分析，大气，水源，环境监测；（6）自动检测；（7 ）语声识别，机器翻译，电话号码自动查询，侦听，机器故障判断；（8）军事应用。
2.模式识别系统的基本组成是什么（1）信息的获取：是通过传感器，将光或声音等信息转化为电信息；（2）预处理：包括A\D,二值化，图象的平滑，变换，增强，恢复，滤波等, 主要指图象处理；（3）特征抽取和选择：在测量空间的原始数据通过变换获得在特征空间最能反映分类本质的特征；（4）分类器设计：分类器设计的主要功能是通过训练确定判决规则，使按此类判决规则分类时，错误率最低。
把这些判决规则建成标准库；（5）分类决策：在特征空间中对被识别对象进行分类。
3.模式识别的基本问题有哪些（1）模式(样本)表示方法：（a ）向量表示；（b ）矩阵表示；（c ）几何表示；（4）基元(链码)表示；（2）模式类的紧致性：模式识别的要求:满足紧致集，才能很好地分类；如果不满足紧致集，就要采取变换的方法,满足紧致集（3）相似与分类；(a)两个样本x i ，x j 之间的相似度量满足以下要求： ① 应为非负值② 样本本身相似性度量应最大 ③ 度量应满足对称性④ 在满足紧致性的条件下，相似性应该是点间距离的 单调函数(b) 用各种距离表示相似性（4）特征的生成:特征包括：(a)低层特征;(b)中层特征;(c)高层特征（5） 数据的标准化:(a)极差标准化；(b)方差标准化4．线性判别方法（1）两类：二维及多维判别函数，判别边界，判别规则 二维情况：（a ）判别函数：( )（b ）判别边界：g(x)=0;（cn 维情况：（a ）判别函数： 也可表示为：32211)(w x w x w x g ++=为坐标向量为参数，21,x x w 12211......)(+++++=n n n w x w x w x w x g XW x g T =)(（b ）判别边界：g 1(x ) =W TX =0 （c ）判别规则：（2）多类：3种判别方法（函数、边界、规则）(A)第一种情况：(a)判别函数：M 类可有M 个判别函数(b) 判别边界：ωi （i=1,2,…,n ）类与其它类之间的边界由 g i (x )=0确定(c)(B)第二种情况：(a)判别函数：有 M (M _ 1)/2个判别平面(b) 判别边界： (c) 判别规则：(C)第三种情况：(a)判别函数：(b) 判别边界：g i (x ) =g j (x ) 或g i (x ) -g j (x ) =0为增值模式向量。
，＝为增值权向量，T n n T n n x x x x X w w w w W )1,...,,(),,...,,(21121+=+XW x g Tij ij =)(0)(=x g ij ji x g ij ≠⎩⎨⎧∈→<∈→>j ix 0x 0)(ωω当当权向量。
个判别函数的为第式中i w w w w W T in in i i i ),,,...,,(121+=XW x g K k =)((c) 判别规则：5．什么是模式空间及加权空间，解向量及解区 （1）模式空间：由 构成的n 维欧氏空间；（2）加权空间：以 为变量构成的欧氏空间； （3）解向量：分界面为H ，W 与H 正交，W 称为解向量； （4）解区：解向量的变动范围称为解区。
6．超平面的四个基本性质是什么性质①：W 与H 正交； 性质 ②：W)x (g r =其中， 为x 矢量到H 的正交投影；性质③：性质④：7．二分法能力如何表示N 个样品线性可分数目(条件：样本分布良好）：⎩⎨⎧∈=小，其它最大，当iT ki x X W x g ω)(Tn x x x x X ),...,,(321=121,...,,+n w w w r成正比的距离与原点到11,++=n n W H WWq 通过原点。
，说明超平面则若在原点负侧。
则在原点正侧，若则若H x W x g W H W H WT n n n ==<>+++)(,0,0,0111⎪⎩⎪⎨⎧+>+<=∑=-n k kN N n N C n N n N D 011,21,2),(若若线性可分概率:8．广义线性判别方法（1）非线性→线性一个非线性判别函数通过映射，变换成线性判别函数：（2）线性判别9．分段线性判别方法 1）基于距离:（1）子类，类判别函数 （2）判别规则（1）子类：把ωi 类可以分成l i 个子类:为特征数为样本数其中n N k N k N C kN ,,])!1(![)!1(1---=-强。
说明样本少时二分能力范围，即在。
时，线性可分概率为时，即值，对于任意。
处出现明显的门限效应时，曲线急剧下降，在由当,1),(),1(22:)(21),()1(22:)(21:)(≈+<<=+===∞→n N P n N c n N P n N n b n a λλλ.2),1(2:)(,),1(22:)(0是最好情况即二分能力）的估计：个样本的线性可分性（对多线性可分能力越差。
说明样品越线性可分概率急剧下降范围，即在=+=+>>λλn N N e n N d )(,)(...)()()(,...)()()(212111增广模式向量。
广义权向量其中：空间变换空间⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡==−−−−−−→−=→→+=∑x f x f x f Y w w w W Y g Y W x f w x g k k Ty x k i ii 0=Y W T 判别平面：⎩⎨⎧∈<∈>=21,0,0)(ωωxx Y g Y W T∴ 分成l 个子类。
子类判别函数：在同类的子类中找最近的均值 （2）判别规则：这是在M 类中找最近均值。
则把x 归于ωj 类完成分类2）基于函数：（1）子类，类判别函数 （2）判别规则（1）子类类判别函数：对每个子类定义一个线性判别函数为：（2）判别规则：在各子类中找最大的判别函数作为此类的代表，则对于M 类，可定义M 个判别函数g i (x ),i =1,2,…..M,因此，决策规则3）基于凹函数的并：（1）析取范式，合取范式，凹函数（2）判别规则（1）析取范式：P=(L 11∧L 12∧…∧L 1m )∨…∨(L q 1∧L q 2∧…∧L q m )合取范式：Q= (L 11 ∨ L 12 ∨ … ∨ L 1m ) ∧ … ∧(L q 1 ∨ L q 2∨ … ∨ L q m )凹函数：P i =L i 1∧L i 2∧…∧L i m（2）判别规则：设第一类有q),...,,(21l i i i i ωωωω=li ll i x x g μ-==,...,2,1m in )(Mi x g x g i j ,...,2,1),(min )(==子类的权向量。
为其中l i l i l i l i w x w x g ω,)(=ji Mi j x x g x g ω∈==则),(max )(,.....,2,1个峰，则有q 个凹函数。
即P=P 1∨P 2∨……∨P q10．非线性判别方法 （1）1ω集中，2ω分散（2）1ω, 2ω均集中11．分类器的设计（1）梯度下降法（迭代法）：准则函数，学习规则（a ）准则函数：J(W)≈J(W k )+ ▽J T (W- W k )+(W- W k )T D(W- W k )T /2其中D 为当W = W k 时 J(W)的二阶偏导数矩阵（b ）学习规则：从起始值W 1开始，算出W 1处目标函数的梯度矢量▽J(W 1)，⎩⎨⎧=∈<=∈>=。
每个子类的判别函数数子类。
m j x q i x x w L ij ij ,...,2,1,,0,...,2,1,,021ωω⎩⎨⎧∈≤∈>21,0,0ωωx P x P 则则判别规则：协方差为均值，为其中：大小。
的大小，决定超平面的判别函数定义1111111121,)()()(:ωωμμμω∑∑---=-k x x k x g T 协方差，为均值，，为其中：，两个判别函数：都比较集中，那么定义，如果212112212,1)()()(ωωωωμμμωω∑∑=---=-i i i i T i i i i x x k x g 。
可用来调整二类错误率判别规则：判别平面方程：21212221212211111221111211221,,0,0)(0)()()(2)()()()(k k x x x g k k x x x x g x g x g T T T T ⎩⎨⎧∈<∈>=-+---+--=-=∑∑∑∑∑∑------ωωμμμμμμ则下一步的w 值为：W 2 = W 1-ρ1▽J(W 1) 其中W 1为起始权向量， ρ1为迭代步长，J(W 1) 为目标函数，▽J(W 1)为W 1处的目标函数的梯度矢量在第K 步的时候W k+1 = W k -ρk ▽J(W k ) 最佳步长为ρk =||▽J||2/▽J T D ▽J 这就是梯度下降法的迭代公式。
（2）感知器法：准则、学习规则（批量，样本） （a ）准则函数： 其中x 0为错分样本（b ）学习规则：1.错误分类修正w k如w k T x≤0并且x ∈ω1 w k+1= w k +ρk x如w k T x≥0并且x ∈ω2 w k+1= w k -ρk x2.正确分类 ，w k 不修正 如w k T x ＞0并且x ∈ω1 如w k T x ＜0并且x ∈ω2 w k+1= w k（3）最小平方误差准则法（MSE 法）（非迭代法）：准则、权向量解 (a)准则函数：(b)权向量解：()∑∈-=)(X X X WW J T()∑-==-==Ni b iX i W T b XW e W J 1222||||||||)(()bX b X XX T W T +-==1()的伪逆（规范矩阵）称为其中X X XX T X T=-+1（4）韦—霍氏法（LMS 法）（迭代法）：准则，学习规则 (a)准则函数：(b)学习规则： W 1任意 ，W k+1=W k +ρk (b k -W k T X k ) Xk ρk 随迭代次数k 而减少，以保证算法收敛于满意的W值（5）何—卡氏法（H-K 法）（迭代法）：准则，b ，W 的学习规则(a)准则：它的解为：（b ）b ，W 的学习规则：其中 c 为矫正系数，e k 为误差矢量，e k =XW k -b k初始条件 W 1=X +b 1并且b 1>0 迭代时检测如果e k ≥0时，XW?>b ，系统线性可分，迭代收敛 如果e k <0时，XW?<b ，系统线性不可分，迭代不收敛（6）Fisher 分类法：准则函数的建立，W 权值计算，0W 的选择(a)准则函数的建立：投影样本之间的类间分离性越大越好，投影样本的总离散度越小越好。