模式识别期末考试复习
最新模式识别期末考试
问答1. 什么是模式？通过对具体个别事物进行观测所得到的具有时间和空间分布的信息称为模式。
模式所指的不是事物本身，而是我们从事物中获得的信息。
2. 模式识别系统主要由哪些部分组成？信息获取，预处理，特征提取与选择，分类决策，后处理。
3. 最小错误率贝叶斯分类器设计过程?答：根据训练数据求出先验概率类条件概率分布 p ( x |W i ), i =1,2 \ P (X | W j ) P (w j )如果输入待测样本 X ,计算X 的后验概率根据后验概率大小进行分类决策分析。
4. 怎样利用朴素贝叶斯方法获得各个属性的类条件概率分布？答：假设各属性独立，P(x| 3 i) =P(x1, x2, …,xn | 3 i) = P(x1| 3 i) P(x2| 3 i)…P(xn| 3 i)后验概率： P( 3 i|x) = P( 3 i) P(x1|3 i) P(x2| 3 i)…P(xn| 3 i) 类别清晰的直接分类算，如果是数据连续的，假设属性服从正态分布，算出每个类的均 值方差，最后得到类条件概率分布。
方差：var(x) (x^x)A 2 m —1 i 二二：解答1.设有如下三类模式样本集 3 1, 3 2和3 3,其先验概率相等，求 S W 和Sb3 1 : {(1 0) T , (2 0) T , (1 1)、3 2 : {(-1 0) T , (0 1) T, (-1 1)T}3 3: {(-1-1) T, (0 -1) T , (0 -2) T }答：由于三类样本集的先验概率相等，则概率均为1/3。
多类情况的类内散度矩阵，可写成各类的类内散布矩阵的先验概率的加权和，即:ccS w P®i )E{(x —m)(x —mJ T|斜}=送 C ii =1i 4类间散布矩阵常写成：cS b「P(・i)(m i - m °)(m i - m °)T其中，m 。
为多类模式(如共有 c 类)分布的总体均值向量，即:P ( X | W i ) P (W i ) 2利用贝叶斯公式得到后验概率 P(W i | x)二均值:1mmean(x)xim y 其中Ci 是第i 类的协方差矩阵。
模式识别期末试题及答案
模式识别期末试题及答案正文：模式识别期末试题及答案1. 选择题1.1 下列关于机器学习的说法中，正确的是：A. 机器学习是一种人工智能的应用领域B. 机器学习只能应用于结构化数据C. 机器学习不需要预先定义规则D. 机器学习只能处理监督学习问题答案：A1.2 在监督学习中，以下哪个选项描述了正确的训练过程？A. 通过输入特征和预期输出，训练一个模型来进行预测B. 通过输入特征和可能的输出，训练一个模型来进行预测C. 通过输入特征和无标签的数据，训练一个模型来进行预测D. 通过输入特征和已有标签的数据，训练一个模型来进行分类答案：D2. 简答题2.1 请解释什么是模式识别？模式识别是指在给定一组输入数据的情况下，通过学习和建模，识别和分类输入数据中的模式或规律。
通过模式识别算法，我们可以从数据中提取重要的特征，并根据这些特征进行分类、聚类或预测等任务。
2.2 请解释监督学习和无监督学习的区别。
监督学习是一种机器学习方法，其中训练数据包含了输入特征和对应的标签或输出。
通过给算法提供已知输入和输出的训练样本，监督学习的目标是学习一个函数，将新的输入映射到正确的输出。
而无监督学习则没有标签或输出信息。
无监督学习的目标是从未标记的数据中找到模式和结构。
这种学习方法通常用于聚类、降维和异常检测等任务。
3. 计算题3.1 请计算以下数据集的平均值：[2, 4, 6, 8, 10]答案：63.2 请计算以下数据集的标准差：[1, 3, 5, 7, 9]答案：2.834. 综合题4.1 对于一个二分类问题，我们可以使用逻辑回归模型进行预测。
请简要解释逻辑回归模型的原理，并说明它适用的场景。
逻辑回归模型是一种用于解决二分类问题的监督学习算法。
其基本原理是通过将特征的线性组合传递给一个非线性函数（称为sigmoid函数），将实数值映射到[0,1]之间的概率。
这个映射的概率可以被解释为某个样本属于正类的概率。
逻辑回归适用于需要估计二分类问题的概率的场景，例如垃圾邮件分类、欺诈检测等。
【模式识别】期末考试试卷01
《模式识别》期末考试试题（B ）一、填空题（15个空，每空2分，共30分）1．基于机器学习的模式识别系统通常由两个过程组成, 即分类器设计和（ ）。
2．统计模式识别把( )表达为一个随机向量(即特征向量), 将模式类表达为由有穷或无穷个具有相似数值特性的模式组成的集合。
3．特征一般有两种表达方法：(1)将特征表达为数值；(2)将特征表达为( )。
4．特征提取是指采用( )实现由模式测量空间向特征空间的转变。
5．同一类模式类样本的分布比较集中，没有或临界样本很少，这样的模式类称为( )。
6．加权空间的所有分界面都通过( )。
7．线性多类判别： 若每两个模式类间可用判别平面分开， 在这种情况下，M 类有( )个判别函数,存在有不确定区域。
8．当取0-1损失函数时, 最小风险贝叶斯判决准则等价于( )判决准则。
9．Neyman-Pearson 决策的基本思想是( )某一错误率，同时追求另一错误率最小。
10．聚类/集群：用事先不知样本的类别，而利用样本的先验知识来构造分类器属于( )学习。
11．相似性测度、聚类准则和( )称为聚类分析的三要素。
12．K/C 均值算法使用的聚类准则函数是误差平方和准则，通过反复迭代优化聚类结果，使所有样本到各自所属类别的中心的( )达到最小。
13．根据神经元的不同连接方式，可将神经网络分为分层网络和相互连接型网络两大类。
其中分层网络可细分为前向网络、( )和层内互连前向网络三种互连方式。
14．神经网络的特性及能力主要取决于网络拓扑结构及( )。
15．BP 神经网络是采用误差反向传播算法的多层前向网络，其中，神经元的传输函数为S 型函数，网络的输入和输出是一种( )映射关系。
二、简答题（2题，每小题10分，共20分）1．两类问题的最小风险Bayes 决策的主要思想是什么？ 2．已知一组数据的协方差矩阵为11/21/21⎡⎤⎢⎥⎣⎦，试问： (1)协方差矩阵中各元素的含义是什么？ (2)K-L 变换的最佳准则是什么？(3)为什么说经K-L 变换后消除了各分量之间的相关性？三、 计算题(2题，每小题13分，共26分)1．已知有两类样本集，分别为ω1={x 1, x 2}={(1,2)T , (-1,0)T }; ω2={x 3, x 4} ={(-1,-2)T , (1,-1)T } 设初始权值w 1=(1,1,1)T , ρk =1，试用感知器固定增量法求判别函数，画出决策面。
模式识别期末复习总结
1、贝叶斯分类器贝叶斯分类器的定义：在具有模式的完整统计知识的条件下，按照贝叶斯决策理论进行设计的一种最优分类器。
贝叶斯分类器的分类原理：通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。
贝叶斯分类器是各种分类器中分类错误概率最小或者在预先给定代价的情况下平均风险最小的分类器。
贝叶斯的公式：什么情况下使用贝叶斯分类器：对先验概率和类概率密度有充分的先验知识，或者有足够多的样本，可以较好的进行概率密度估计，如果这些条件不满足，则采用最优方法设计出的分类器往往不具有最优性质。
2、K近邻法kNN算法的核心思想:如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。
假设有N个已知样本分属c个类,考察新样本x在这些样本中的前K个近邻，设其中有个属于类，则类的判别函数就是决策规则:若则∈什么情况下使用K近邻法:kNN只是确定一种决策原则，在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别,并不需要利用已知数据事先训练出一个判别函数，这种方法不需要太多的先验知识。
在样本数量不足时，KNN法通常也可以得到不错的结果。
但是这种决策算法需要始终存储所有的已知样本，并将每一个新样本与所有已知样本进行比较和排序，其计算和存储的成本都很大。
对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。
3、PCA和LDA的区别Principal Components Analysis(PCA)：uses a signal representation criterionLinear Discriminant Analysis(LDA)：uses a signal classification criterionLDA：线性判别分析，一种分类方法。
它寻找线性分类器最佳的法线向量方向，将高维数据投影到一维空间，使两类样本在该方向上的投影满足类内尽可能密集，类间尽可能分开。
模式识别期末考试试题
模式识别期末考试试题# 模式识别期末考试试题## 一、选择题（每题2分，共20分）1. 模式识别中，特征提取的目的是什么？A. 降低数据维度B. 提高计算效率C. 增强数据的可解释性D. 以上都是2. 在K-近邻算法中，K值的选择对结果的影响是什么？A. 无影响B. 影响分类的准确性C. 影响算法的运行时间D. 影响数据的可读性3. 决策树算法中，信息增益的计算是基于以下哪个概念？A. 熵B. 互信息C. 条件熵D. 联合熵4. 支持向量机（SVM）的主要思想是？A. 寻找数据点之间的最大间隔B. 寻找数据点之间的最小间隔C. 寻找数据点的平均间隔D. 寻找数据点的中心点5. 以下哪个算法属于聚类算法？A. K-近邻B. 决策树C. K-均值D. 支持向量机## 二、简答题（每题10分，共30分）1. 描述主成分分析（PCA）的基本原理及其在模式识别中的应用。
2. 解释什么是过拟合（Overfitting）现象，并给出避免过拟合的几种常用方法。
3. 给出神经网络在模式识别中的基本工作原理，并说明其优缺点。
## 三、计算题（每题25分，共50分）1. 给定以下数据点，使用K-均值算法将它们分为两个簇，并说明算法的步骤：- 数据点：(1, 2), (2, 3), (5, 6), (8, 7), (9, 8)2. 假设有一个二维数据集，其中包含两类数据点，分别用圆形和三角形表示。
数据点的特征如下表所示：| 特征1 | 特征2 | 类别 || | | - || 1.5 | 2.5 | 圆形 || 2.0 | 3.0 | 圆形 || 3.5 | 4.5 | 三角形 || 4.0 | 5.0 | 三角形 |使用线性判别分析（LDA）方法，找出最佳线性边界，并将数据点分为两类。
## 四、论述题（共30分）1. 论述深度学习在图像识别领域的应用，并讨论其与传统机器学习方法相比的优势和局限性。
## 五、案例分析题（共30分）1. 假设你是一名数据科学家，你的团队正在开发一个用于识别手写数字的系统。
模式识别期末试题
一、填空与选择填空（本题答案写在此试卷上，30分）1、模式识别系统的基本构成单元包括：模式采集、特征提取与选择和模式分类。
2、统计模式识别中描述模式的方法一般使用特真矢量；句法模式识别中模式描述方法一般有串、树、网。
3、聚类分析算法属于（1）；判别域代数界面方程法属于（3）。
（1）无监督分类(2)有监督分类（3）统计模式识别方法（4）句法模式识别方法4、若描述模式的特征量为0-1二值特征量，则一般采用（4）进行相似性度量。
（1）距离测度（2）模糊测度（3）相似测度（4）匹配测度5、下列函数可以作为聚类分析中的准则函数的有（1）（3）（4）。
（1）（2）(3)(4)6、Fisher线性判别函数的求解过程是将N维特征矢量投影在（2）中进行。
（1）二维空间（2）一维空间（3）N-1维空间7、下列判别域界面方程法中只适用于线性可分情况的算法有（1）；线性可分、不可分都适用的有（3）。
（1）感知器算法（2）H-K算法（3）积累位势函数法8、下列四元组中满足文法定义的有（1）（2）（4）。
（1）({A, B}, {0, 1}, {A→01, A→ 0A1 , A→ 1A0 , B→BA , B→ 0}, A)（2）({A}, {0, 1}, {A→0, A→ 0A}, A)（3）({S}, {a, b}, {S → 00S, S → 11S, S → 00, S → 11}, S)（4）({A}, {0, 1}, {A→01, A→ 0A1, A→ 1A0}, A)9、影响层次聚类算法结果的主要因素有（计算模式距离的测度、（聚类准则、类间距离门限、预定的类别数目））。
10、欧式距离具有（1、2 ）；马式距离具有（1、2、3、4 ）。
（1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性11、线性判别函数的正负和数值大小的几何意义是（正（负）表示样本点位于判别界面法向量指向的正（负）半空间中；绝对值正比于样本点到判别界面的距离。
模式识别期末复习
模式识别期末复习1似然比决策准则为：若1221()()()()()p P l p P ωωωω=≥x x x ，则1ω∈x ；若1221()()()()()p P l p P ωωωω=≤x x x ，则2ω∈x 。
负对数似然比为[]()ln ()h l =-x x ，当()i p ωx 是均值向量为i μ和协方差矩阵为12=∑∑=∑的正态分布时：①试推导出()h x ，并指出其决策面规则； ②分析这种情况下的决策面类型。
解：①()()111112211()exp 2(2)T dp ωμμπ-⎛⎫=--∑- ⎪⎝⎭∑x x x ；()()122212211()exp 2(2)T dp ωμμπ-⎛⎫=--∑- ⎪⎝⎭∑x x x两边取自然对数()()111111ln ()ln 2ln 222Td p ωμμπ-=--∑---∑x x x ；()()122211ln ()ln 2ln 222Td p ωμμπ-=--∑---∑x x x[]()()()()()2111112211111111122211111211221210201()ln ()ln ()ln ()11221111222211()220 T TT T T T T T T T T T i i h l p p w w w ωωμμμμμμμμμμμμμμμμμ-------------=-=-=-∑---∑-⎛⎫⎛⎫=∑-∑+∑-∑-∑+∑ ⎪ ⎪⎝⎭⎝⎭=-∑-∑∑-∑--+-==∑Tx x x x x x x x x x x x x x x +=w w x w 1012T i i i μμ-=∑似然比决策准则为：若1221()()()()()p P l p P ωωωω=≥x x x ，则1ω∈x ；若1221()()()()()p P l p P ωωωω=≤x x x ，则2ω∈x即 若12()ln ()ln ()h P P ωω≤-x ，则1ω∈x ；若12()ln ()ln ()h P P ωω≥-x ，则2ω∈x ② 由上式所决定的决策面为超平面。
模式识别复习资料
（4）如果 Z j( k 1 ) Z j( k )j 1 ,2 , ,K ，则回到（2），将模式 样本逐个重新分类，重复迭代计算。
.
15
例2.3：已知20个模式样本如下，试用K-均值算法分类。
X1 0,0T X2 1,0T X3 0,1T X4 1,1T X5 2,1T X6 1,2T X7 2,2T X8 3,2T
x1
20
8 聚类准则函数Jj与K的关系曲线
上述K-均值算法，其类型数目假定已知为K个。当K未知时，
可以令K逐渐增加， 此时J j 会单调减少。最初减小速度快，但当 K 增加到一定数值时，减小速度会减慢，直到K =总样本数N 时，
Jj = 0。Jj－K关系曲线如下图：
Jj
曲线的拐点 A 对应着接近最优
④ 判断：
Zj(2)Zj(1)
j 1,2 ，故返回第②步。 .
17
② 从新的聚类中心得：
X 1： D D12||||X X11ZZ12((22))|||| X1S1(2) ┋
X 20：D D12||||X X2200Z Z12((22))|||| X20S2(2) 有： S 1 ( 2 ) { X 1 ,X 2 , ,X 8 } N 1 8
（2）将最小距离 3 对应的类 G1(0) 和G2 (0) 合并为1类，得 新的分类。
G 1( 1 2 ) G 1 ( 0 )G , 2 ( 0 ) G 3(1)G 3(0) G 4(1 )G 4(0 ) G 5(1)G 5(0) G 6(1 )G 6(0)
计算聚类后的距离矩阵D(1)： 由D(0) 递推出D(1) 。
3）计算合并后新类别之间的距离，得D(n+1)。
4）跳至第2步，重复计算及合并。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
题型：1.填空题5题填空题2.名词解释4题3.问答题4题4.计算作图题3题5.综合计算题1题备注1：没有整理第一章和第六章，老师说不考的备注2：非线性判别函数相关概念P69概率相关定义、性质、公式P83以后最小错误率贝叶斯决策公式P85最小风险贝叶斯P86正态贝叶斯P90综合计算有可能是第六次作业一、填空题物以类聚人以群分体现的是聚类分析的基本思想。
模式识别分类：1.从实现方法来分模式识别分为监督分类和非监督分类；2.从理论上来分，有统计模式识别，统计模式识别，模糊模式识别，神经网络模式识别法聚类分析是按照不同对象之间的差异，根据距离函数的规律做模式分类的。
模式的特性：可观察性、可区分性、相似性模式识别的任务：一是研究生物体（包括人）是如何感知对象的，二是如何用计算机实现模式识别的理论和方法。
计算机的发展方向：1.神经网络计算机－－模拟人的大脑思维；2.生物计算机－－运用生物工程技术、蛋白分子作芯片；3.光计算机－－用光作为信息载体，通过对光的处理来完成对信息的处理。
训练学习方法：监督学习、无监督学习（无先验知识，甚至类别数也未知）。
统计模式识别有：1.聚类分析法（非监督）；2.判决函数法/几何分类法(监督)；3.基于统计决策的概率分类法- 以模式集在特征空间中分布的类概率密度函数为基础，对总体特征进行研究，以取得分类的方法数据的标准化目的：消除各个分量之间数值范围大小对算法的影响模式识别系统的基本构成：书P7聚类过程遵循的基本步骤：特征选择；近邻测度；聚类准则；聚类算法；结果验证；结果判定。
相似测度基础：以两矢量的方向是否相近作为考虑的基础,矢量长度并不重要。
确定聚类准则的两种方式：阈值准则，函数准则基于距离阈值的聚类算法——分解聚类：近邻聚类法；最大最小距离聚类法类间距离计算准则:1）最短距离法2）最长距离法 3）中间距离法4）重心法5）类平均距离法6）离差平方和法P24系统聚类法——合并的思想用于随机模式分类识别的方法，通常称为贝叶斯判决。
BAYES 决策常用的准则：最小错误率；最小风险错误率的计算或估计方法：①按理论公式计算；②计算错误率上界；③实验估计。
名词解释1.名词解释相似性测度：衡量模式之间相似性的一种尺度明氏距离：P17当m=2时，明氏距离为欧氏距离。
当m=1时：绝对距离（曼哈顿距离）称为“街坊”距离感知器算法：就是通过训练样本模式的迭代和学习，产生线性（或广义线性）可分的模式判别函数。
梯度：P59感知器P227模糊度P182清晰性P182含混性近似性随机性》》》》》》》模式：对客体（研究对象）特征的描述（定量的或结构的），是取自客观世界的某一样本的测量值的集合（或综合）。
模式所指的不是事物本身，而是从事物获得的信息。
模式识别：确定一个样本的类别属性（模式类）的过程，即把某一样本归属于多个类型中的某个类型。
模式类：具有某些共同特性的模式的集合。
特征选择：在原始特征基础上选择一些主要特征作为判别用的特征。
特征提取：采用某种变换技术，得出数目上比原来少的综合特征作为分类用。
特征抽取：通过各种手段从原始数据中得出反映分类问题的若干特征（有时需进行数据标准化）特征空间：进行模式分类的空间。
特征向量：用 n 维列向量来表示一个（模式）样本，说明该样本具有 n 个数字特征x= (x1 , x2 , …, xn)T常称之为特征向量。
人工智能：是研究如何将人的智能转化为机器智能，或者是用机器来模拟或实现人的智能。
聚类分析：根据模式之间的相似性（相邻性）对模式进行分类，是一种非监督分类方法。
聚类准则：根据相似性测度确定的，衡量模式之间是否相似的标准。
即把不同模式聚为一类还是归为不同类的准则——同一类模式相似程度的标准或不同类模式差异程度的标准。
聚类准则函数：在聚类分析中，表示模式类内相似或类间差异性的函数。
相似度：衡量模式之间相似程度的尺度。
相似性测度：衡量模式之间相似性的一种尺度。
欧氏距离（简称距离）：P15马氏距离：P15明氏距离：P17当m=2时，明氏距离为欧氏距离。
当m=1时：绝对距离（曼哈顿距离）称为“街坊”距离汉明(Hamming)距离:P17判别函数：直接用来对模式进行分类的准则函数。
感知器算法：就是通过训练样本模式的迭代和学习，产生线性（或广义线性）可分的模式判别函数。
梯度：P59分类器的正确率：指分类器正确分类的项目占所有被分类项目的比率。
过拟合：高维空间训练形成的分类器，相当于在低维空间的一个复杂的非线性分类器，这种分类器过多的强调了训练集的准确率甚至于对一些错误/异常的数据也进行了学习，而正确的数据却无法覆盖整个特征空间。
为此，这样得到的分类器在对新数据进行预测时将会出现错误。
这种现象称之为过拟合，同时也是维数灾难的直接体现。
问答题2.问答题统计模式识别的优缺点：主要优点：1）比较成熟2）能考虑干扰噪声等影响3）识别模式基元能力强主要缺点：1）对结构复杂的模式抽取特征困难2）不能反映模式的结构特征，难以描述模式的性质3）难以从整体角度考虑识别问题句法模式识别优缺点：主要优点：1）识别方便，可以从简单的基元开始，由简至繁。
2）能反映模式的结构特征，能描述模式的性质。
3）对图象畸变的抗干扰能力较强。
主要缺点：当存在干扰及噪声时，抽取特征基元困难，且易失误。
模糊模式识别优缺点：主要优点：由于隶属度函数作为样本与模板间相似程度的度量，故往往能反映整体的与主体的特征，从而允许样本有相当程度的干扰与畸变。
主要缺点：准确合理的隶属度函数往往难以建立，故限制了它的应用。
神经网络模式识别法优缺点：主要优点：可处理一些环境信息十分复杂，背景知识不清楚，推理规则不明确的问题。
允许样本有较大的缺损、畸变。
主要缺点：模型在不断丰富与完善中，目前能识别的模式类还不够多。
分类与聚类的区别：分类：用已知类别的样本训练集来设计分类器（监督学习）, 由学习过程和识别过程两部分组成，且用于学习的样本类别是已知的。
聚类（集群）：事先不知样本的类别，而利用样本的先验知识来构造分类器（无监督学习）。
马氏距离的优缺点：优点：它不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关；由标准化数据和中心化数据（即原始数据与均值之差）计算出的二点之间的马氏距离相同；马氏距离还可以排除变量之间的相关性的干扰；满足距离的四个基本公理：非负性、自反性、对称性和三角不等式。
缺点：有可能夸大变化微小的变量的作用；协方差不易计算近邻聚类法优缺点：优点：计算简单（一种虽粗糙但快速的方法）。
局限性：聚类过程中，类的中心一旦确定将不会改变，模式一旦指定类后也不再改变。
聚类结果很大程度上依赖于第一个聚类中心的位置选择、待分类模式样本的排列次序、距离阈值T的大小以及样本分布的几何性质等。
最大最小距离算法（小中取大距离算法）：算法思想：在模式特征矢量集中以最大距离原则选取新的聚类中心。
以最小距离原则进行模式归类，通常使用欧式距离。
层次聚类法（系统聚类法、分级聚类法）:思路：每个样本先自成一类，然后按距离准则逐步合并，减少类数。
动态聚类的基本步骤：建立初始聚类中心，进行初始聚类；计算模式和类的距离，调整模式的类别；计算各聚类的参数，删除、合并或分裂一些聚类；从初始聚类开始，运用迭代算法动态地改变模式的类别和聚类的中心使准则函数取得极值或设定的参数达到设计要求时停止。
ISODATA与K-均值算法比较：相似：聚类中心的位置均通过样本均值的迭代运算决定。
相异： K-均值算法的聚类中心个数不变；ISODATA的聚类中心个数变化。
ISODATA基本思路：（1）选择初始值——包括若干聚类中心及一些指标。
可在迭代运算过程中人为修改，据此将N 个模式样本分配到各个聚类中心去。
（2）按最近邻规则进行分类。
（3）聚类后的处理：计算各类中的距离函数等指标，按照给定的要求，将前次获得的聚类集进行分裂或合并处理，以获得新的聚类中心，即调整聚类中心的个数。
（4）判断结果是否符合要求：符合，结束；否则，回到（2）。
不同聚类算法比较：算法基本思想聚类中心个数样本归类聚类结果对初始中心选择类中心类间距离其他特点分解聚类近邻分裂单调变化，阈值确定不变敏感不变否模式样本的几何分布性质影响均存在！排列次序或读入次序的影响不可忽视。
最大最小距离不变不敏感不变否系统聚类层级聚类合并同上变化不敏感变化需要动态聚类K-均值兼顾指定，不变变化敏感变化否ISODATA变化变化不敏感变化需要线性判别函数的特点：形式简单，容易学习；用于线性可分的模式类。
分段线性判别函数特点：相对简单；能逼近各种形状的超曲面。
一维正态曲线的性质：（1）曲线在 x 轴的上方，与x轴不相交。
（2）曲线关于直线 x =μ对称。
（3）当 x =μ时，曲线位于最高点。
（4）当x＜μ时，曲线上升；当x＞μ时，曲线下降.并且当曲线向左、右两边无限延伸时，以x 轴为渐近线，向它无限靠近。
（5）μ一定时，曲线的形状由σ确定。
σ越大，曲线越“矮胖”，表示总体的分布越分散；σ越小。
曲线越“瘦高”。
表示总体的分布越集中。
特征选择和提取的目的：经过选择或变换，组成识别特征，尽可能保留分类信息，在保证一定分类精度的前提下，减少特征维数，使分类器的工作既快又准确。
K-L变换进行特征提取的优缺点：优点：变换在均方误差最小的意义下使新样本集{X *}逼近原样本集{X}的分布，既压缩了维数又保留了类别鉴别信息。
变换后的新模式向量各分量相对总体均值的方差等于原样本集总体自相关矩阵的大特征值，表明变换突出了模式类之间的差异性。
C*为对角矩阵说明了变换后样本各分量互不相关，亦即消除了原来特征之间的相关性，便于进一步进行特征的选择。
缺点：对两类问题容易得到较满意的结果。
类别愈多，效果愈差。
需要通过足够多的样本估计样本集的协方差矩阵或其它类型的散布矩阵。
当样本数不足时，矩阵的估计会变得十分粗略，变换的优越性也就不能充分的地显示出来。
计算矩阵的本征值和本征向量缺乏统一的快速算法，给计算带来困难。
3.计算作图题最大最小距离算法（小中取大距离算法 ） ：计算按照P22的例2.1来 最短距离准则进行系统聚类分类：P25例 2.2层次聚类分析：（此处为例题）(1) 设全部样本分为6类 (2) 作距离矩阵D(0) (3) 求最小元素(4) 把ω1, ω3合并ω7=(1,3);ω4, ω6合并ω8=(4,6) (5) 作距离矩阵D(1)(6) 若合并的类数没有达到要求，转(3), 否则停止 (7) 求最小元素(8) ω8, ω5, ω2合并, ω9=（2,5,4,6） (9) 如无阈值要求，直至最后归为一类ω10 K 均值算法P28例2.3 判别函数：P40》第一种：例3.1&3.2P42此法将 M 个多类问题分成M 个两类问题，识别每一类均需M 个判别函数。