模式识别第3章
模式识别(3-1)
§3.2 最大似然估计
最大似然估计量： －使似然函数达到最大值的参数向量。 －最符合已有的观测样本集的那一个参数向量。 ∵学习样本从总体样本集中独立抽取的
N ) p( X | ) p( X k | i ) k 1 N个学习样本出现概率的乘积
i
i
∴
p( X | i . i
i
§3.2 Bayes学习
假定： ①待估参数θ是随机的未知量 ②按类别把样本分成M类X1，X2，X3，… XM 其中第i类的样本共N个 Xi = {X1,X2,… XN} 并且是从总体中独立抽取的 ③ 类条件概率密度具有某种确定的函数形式，但其 参数向量未知。 ④ Xi 中的样本不包含待估计参数θj(i≠j)的信息，不 同类别的参数在函数上是独立的，所以可以对每一 类样本独立进行处理。
有时上式是多解的, 上图有5个解,只有一个解最大即 （对所有的可能解进行检查或计算二阶导数）
§3.2 最大似然估计
例：假设随机变量x服从均匀分布，但参数1， 2未知， 1 1 x 2 p ( x | ) 2 1 ， 0 其他 求1， 2的最大似然估计量。 解：设从总体中独立抽取N个样本x1 , x2 , , xN , 则其似然函数为： 1 p ( x1 , x2 , , xN | 1， 2 ) ( 2 1 ) N l ( ) p ( X | ) 0
§3.2 Bayes学习
p ~ N 0 , 0
2
其中 0和 0 是已知的
2
已知的信息还包括一组抽取出来的样本X i x1 , x2 ,, xN ，从而 可以得到关于 的后验概率密度：
模式识别第三章
3 回归的线性模型至此，本书都聚焦在无监督学习，包括的议题有密度估计和数据聚类。
我们现在转向监督学习，并从回归开始。
回归的目的是：对给定的输入变量的D 维向量x 值，预测一个或更多连续目标变量t 值。
我们在第一章考虑多项式曲线拟合时，已经遇到过一个回归问题的例子。
多项式是线性回归模型的一大类函数中一个具体的例子，它也有含可调参数的线性函数的性质，并将组成本章的焦点。
最简单的线性回归模型也是输入变量的线性函数。
但是，通过取输入变量的一组给定的非线性函数的线性组合，我们可以获得更有用的函数类，称为基函数。
这样的模型是参数的线性函数，它们有简单的解析性，并且关于输入变量仍是非线性的。
给定一个训练数据集合，它有N 个观察值{}n x ，其中n=1,…,N ，以及对应的目标值{}n t ，目的是给定一个新的x 预测t 的值。
最简单方法是直接构造一个适当的函数()y x ，对一个新输入x ，它的值组成对应的t 的预测值。
更一般地，从概率角度考虑，我们想建立一个预测分布()p t x ，因为它表示了对x 的每一个值，t 值的不确定性。
由这个条件分布，我们可以为任意的新x 值预测t ，这相当于最小化一个适当选择的损失函数的期望。
如在第1.5.5所讨论的，通常选择损失函数的平方作为实值变量的损失函数，因为它的最优解由t 的条件期望给出。
对模式识别来说，虽然线性模型作为实用的技术有显著的限制，特别是涉及到高维输入空间的问题，但是它们具有好的解析性质，并且是以后章节要讨论的更复杂模型的基础。
3.1 线性基函数模型最简单的线性回归模型是输入变量的线性组合：011(,)D D y w w x w x =+++x w L （3.1） 其中1(,,)T D x x =x L ，这就是通常简称的线性回归。
此模型的关键特征是：它是参数0,,D w w L 的一个线性函数。
但同时它也是输入变量i x 的一个线性函数，这对模型产生了很大的限制。
模式识别讲义_(80pp)
第一章 绪论1．1模式和模式识别模式识别是一门很受人们重视的学科。
早在30年代就有人试图以当时的技术解决一些识别问题，在近代，随着计算机科学技术的发展和应用，模式识别才真正发展起来。
从60年代至今，在模式识别领域中已取得了不少成果。
它的迅速发展和广泛应用前景引起各方面的关注。
模式识别属于人工智能范畴，人工智能就是用机器去完成过去只有人类才能做的智能活动。
在这里，“智能”指的是人类在认识和改造自然的过程中表现出来的智力活动的能力。
例如：通过视觉、听觉、触觉等感官接受图象、文字、声音等各种自然信息去认识外界环境的能力；将感性知识加工成理性知识的能力，即经过分析、推理、判断等思维过程而形成概念、建立方法和作出决策的能力；经过教育、训练、学习不断提高认识与改造客观环境的能力‘对外界环境的变化和干扰作出适应性反应的能力等。
模式识别就是要用机器去完成人类智能中通过视觉、听觉、触觉等感官去识别外界环境的自然信息的那些工作。
虽然模式识别与人工智能关系很密切，但是发展到现在，它已经形成了独立的学科，有其自身的理论和方法。
在许多领域中，模式识别已有不少比较成功的实际应用。
模式的概念：模式这个概念的内涵是很丰富的。
“我们把凡是人类能用其感官直接或间接接受的外界信息都称为模式”。
比如：文字、图片、景物；声音、语言；心电图、脑电图、地震波等；社会经济现象、某个系统的状态等，都是模式。
模式识别：模式识别是一门研究对象描述和分类方法的科学。
如，我们要听某一门课，必须做以下识别：1)看课表—文字识别；2)找教室和座位—景物识别；3)听课—声音识别。
再比如，医生给病人看病：1)首先要了解病情；问2)再做一些必要的检验；查3)根据找到的能够诊断病情的主要特征，如体温、血压、血相等，做出分类决策，即诊断。
对于比较简单的问题，可以认为识别就是分类。
如，对于识别从“0”到“9”这十个阿拉伯数字的问题。
对于比较复杂的识别问题，就往往不能用简单的分类来解决，还需要对待识别模式的描述。
模式识别Chapter 3归纳.ppt
最新.课件
11
Discriminant functions
yk (x)
1 2
(x
k
)
t
k
1
(
x
k )
d 2
ln
2
1 2
ln
| k
| ln
p(ck )
Case 1 k 2I
yk
(x)
1
2
k t
x
kt k
ln
p(ck
)
yk (x) wkt x wk0
wk
1
2
k , wk 0
ktk
最新.课件
21
Introduction
we could design an optional classifier if we knew the priori probabilities and the class-conditional densities
Unfortunately, we rarely, if ever, have this kind of completely knowledge about the probabilistic structure
Feature space, feature point in space
Classification
-- Bayesian decision theory
-- Discriminant function
-- Decision region, Decision boundary
最新.课件
15
Example
Drawbacks -- the number of parameters grows with the size of the data -- slow
模式识别(3-2)
0
x为其它
解：此为多峰情况的估计
-2.5 -2 0
2x
设窗函数为正态
(u) 1 exp[ 1 u2], hN h1
2
2
N
❖
用
Parzen
窗 法 估 计 两 个 均 匀 分 布 的 实 验
h1 0.25 10.0
1.0 0.1 0.01 0.001 10.0 1.0 0.1 0.01 0.001 10.0 1.0 0.1 0.01 0.001 10.0 1.0 0.1 0.01 0.001
Parse窗口估计
例2：设待估计的P(x)是个均值为0，方差为1的正态密度
函数。若随机地抽取X样本中的1个、 16个、 256个作为
学习样本xi,试用窗口法估计PN(x)。 解：设窗口函数为正态的， σ＝1，μ＝0
(| x xi |)
1
exp[
1
(
|
x
xi
|
2
)]
设hN h1
hN
2
2 hN
N
0.01
0.001 10.0
1.0
0.1
0.01
0.001 10.0
1.0
0.1
0.01
0.001 10.0
1.0
0.1
0.01
0.001 2 0 2
h1 1 2 0 2
h1 4 2 0 2
Parse窗口估计
讨论：由图看出, PN(x)随N, h1的变化情况 ①正当态N＝形1时状，的P小N(丘x)，是与一窗个函以数第差一不个多样。本为中心的
概率密度估计
数学期望: E(k)=k=NP
∴对概率P的估计: P k。
N
模式识别第3章 近邻法
26
27
近邻法
重复剪辑近邻法
原始样本集（不同均矢和协方差阵的两类正态分布随机样本）28
近邻法
重复剪辑近邻法
第一次剪辑后留下的样本
29
近邻法
重复剪辑近邻法
第三次剪辑后留下的样本
36
近邻法
压缩近邻法
基本方法：
• 将样本集XN分为XS 和XG ，开始时XS 中只有一个样本， XG中为其余样本
• 考查XG 中每个样本，若用XS 可正确分类则保留，否则 移入XS
• 最后用XS作最近邻法的比较样本集。
37
近邻法
压缩近邻法
算法步骤（Condensing算法）：
1. 设置两个存储器，分别为STORE和GRABBAG，将第一个样本放 入STORE中，把其他样本放入GRABBAG中；
i1
如果
则 x m
5
近邻法
最近邻决策规则—k-NN
k的取值选择很重要！ 6
近邻法
最近邻决策规则—k-NN
特点： 思想简单，计算方便 需要存储所有样本，每次决策都要计算待识
别样本与全部训练样本之间的距离并进行比 较，存储量和计算量都很大
7
近邻法 例子：
最近邻决策规则—k-NN
8
近邻法
最近邻决策规则—k-NN
主要内容
第一章 第二章 第三章 第四章 第五章 第六章 第七章
绪论 非监督学习方法 近邻法 线性判别函数 人工神经网络 贝叶斯决策理论 模式识别应用
1
第三章 近邻法
• 最近邻决策规则 • 推广—K近邻决策规则 • 改进算法
模式识别第三章
第三章概率密度函数的估计1.概率密度函数的估计方法及分类概率密度函数估计方法分为两大类：参数估计和非参数估计。
参数估计中，一直概率密度函数的形式，但其中部分或全部参数未知，概率密度函数的估计就是用样本来估计这些参数。
主要方法又有两类：最大似然估计和贝叶斯估计。
非参数估计，就是概率密度函数的形式也未知，或者概率密度函数不符合目前研究的任何分布模型，因此不能仅仅估计几个参数，而是用样本把概率密度函数数值化地估计出来。
主要方法有：直方图法、K N 近邻估计法、Parzen 窗口。
2.最大似然估计假定一个随机试验有若干个可能的结果。
如果在一次试验后出现了结果，那么，一般认为试验条件对“结果出现”有利，即这个试验中“出现”的概率（站在试验前的立场上考察）最大。
3.贝叶斯估计与最大似然估计区别在这两种估计中，都是假设样本概率密度函数形式已知，需要估计的是是概率密度函数中的参数。
虽然使用贝叶斯方法和最大似然估计的结果很相似，但这两个方法在本质上有很大的不同。
在最大似然估计方法中，我们把需要估计的参数向量看作是一个确定而未知的参数。
而在贝叶斯学习方法中，我们把参数向量看成是一个随机变量，已有的训练样本使我们把对于参数的初始密度估计转化为厚颜概率密度。
4.直方图方法a. 把样本x 的每个分量在其取值范围内分成k 个等间隔的小窗。
如果x 是d 维向量，则会得到k d 个小体积或者称作小舱，每个小舱的体积记作V ；b. 统计落入小舱内的样本数目q ic. 把每个小舱内的概率密度看作是常数，并用q i /(NV)作为其估计值，其中N 为样本总数。
在上述直方图估计中，采用的是把特征空间在样本范围内等分的做法。
小舱的体积选择应该与样本总数相适应。
避免小舱过宽或过窄，随样本数的增加，小舱体积应尽可能小，同时又必须保证小舱内有足够充分逗得样本，但每个小舱内的样本数有必须是总样本数中很小的一部分。
5.K N 近邻估计方法K N 近邻估计就是一种采用可变大小的小舱的密度估计方法，基本做法是：根据总样本确定一个参数K N ，即在总样本数为N 时要求每个小舱内拥有的样本个数。
模式识别讲义
模式识别讲义《模式识别与图像处理》教学讲义上篇模式识别§1. 模式识别序论近年来，科技发展的重要方向之一就是：人类智能的机器化和人造机器的智能化。
前者以计算机、专家系统、神经网络算法等为代表；后者以智能机器人（具有视觉、听觉、触觉、嗅觉等）为典型。
两个方向的努力都归结为一个目标——研究人工智能。
当然，目前科技水平还远没有达到设定目标。
使机器具有人类的智能水平，使机器像人那样进行目标识别尚需艰苦努力。
模式识别是智能的核心功能之一。
换句话说就是模式识别属于人工智能的范畴。
这里所说的智能或人工智能是指用机器完成以往只能由人类方能胜任的智能活动。
包括：①通过视、听、触、嗅觉接受各种自然信息、感知环境；②经推理、分析、判断、综合将感性认识加工成理论知识，进而形成概念、建立方法以及做出决策；③对外界环境的变化和干扰做出适应性反应等等。
模式识别就是要用机器实现上述第一项人类智能活动。
而第二项则已有神经网络、专家系统等仿照人类思维的智能方法。
第三项则是人类早已开始研究的各种自动化技术、自适应控制、自学习控制等。
那么，什么叫做模式识别呢？§1－1 模式识别的基本概念1、模式与模式识别定义一：模式是一些供模仿用的完美无缺的标本；模式识别就是辨别出特定客体所模仿的标本。
定义二：模式是对特定客体的定量的或结构的描述；模式识别是把待识别模式划分到各自的模式类中去。
这里所说的模式类是具有某些共同特性的模式的集合。
两个定义中，模式一词的含义是不同的。
前者指标本，后者指对客体的描述。
本课程中使用定义二，并且作如下狭义约定：模式识别是指利用计算机自动地或有少量人为干预的方法把待识别模式加以分类，即划分到模式类中去。
一般认为，模式是通过对具体的事物进行观测所得到的具有时间与空间分布的信息，模式所属的类别或同一类中的模式的总体称为模式类，其中个别具体的模式往往称为样本。
模式识别就是研究通过计算机自动的(或人为少量干预)将待识别的模式分配到各个模式类中的技术。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
p(x i ) P(i )
c
p(x i ) P(i )
p(x i ) P(i )
p(x)
i 1
p(x)：混合概率密度函数
贝叶斯公式贝叶斯公式的实质是通过观察x把状态的
先验概率P（wi）转化为后验概率P（wi|x）
3.2 基于最小错误率的贝叶斯准则
贝叶斯判别准则：
若： P(i x) max P(j x) 则： x i j 1, 2,...,c
错误率是分类性能好坏的一种度量，它是平均错误率，用 P(e)表示，其定义为：
P(e) P(e | x)P(x)dx
对二分类的问题，其判决规则为：若P（w1|x）>P（w2|x），则把x归 类类别w1，反之，则把x归类为类别w2。则已知特征x的贝叶斯决策判 决后的条件错误概率为：
P(e
当要求医生必须判决其属于哪类时，因为
P(w2 | x 阳) 1 0.323 0.667 P(w1 | x 阳)
故“x=阳”w2，即有阳性反应的人判属正常人。写成似然比形
式：
l(x)
P(x 阳| w1) P(x 阳| w2)
0.95 0.01
95
P(w2) P(w1)
0.955 0.005
199
x w2
3.3 基于最小风险的贝叶斯准则
在实际工作当中，有时仅考虑错误率最小是不够的。
当考虑到某一类的错误判决要比对于另一类的更为关键时， 要引入比错误率更广泛的概念---风险、损失，就需要把 最小错误概率的贝叶斯判别作一些修正。
x ——观察或测量到的 d 维模式特征向量
第3章 贝叶斯分类
3.1 基本概念 3.2 基于最小错误率的贝叶斯准则 3.3 基于最小风险的贝叶斯准则 3.4 最大最小决策规则 3.5 纽曼—皮尔逊（Neyman—Pearson）
决策规则 3.6 贝叶斯学习案例
3.1基本概念
概率密度函数
对于连续随机变量X的分布函数F(x)，存在非负函数 f(x)，使对于任意实数x有：
i
P(x | wi)P(wi)
2
P(x | wi)P(wi)
，错误概率可写为
i 1
P(e)
x0
P(
x
|
w2)
P(
Hale Waihona Puke w2)dx
x0 P(x | w1)P(w1)dx
使用联合概率密度可表示为
P(e) P(x R1, w2) P(x R2 , w1) P(x R1 | w2)P(w2) P(x R2 | w1)P(w1)
• 解：
P(w1 |
x
阳)
P(x
阳| w1)P(w1) P(x 阳)
P(x
阳|
P(x 阳| w1)P(w1) w1)P(w1) P(x 阳|
w2)P(w2)
0.95 0.005
0.323
0.95 0.005 0.01 0.995
说明有阳性反应的人的患癌率为32.3%。
1 , 2 ,L , c ——状态空间 1 , 2 ,L , a ——决策空间
(i , j ) ( i 1, 2,L , a j 1, 2,L , c) ——损失函数,表示真 实状态为 w而j 所采取的决策为 i 时所带来的某种损失
决策表
给定 x，我们采取决策 i 情况下的条件期望损失：
P(x | w2)P(w2)
P(x | w1)P(w1)
O
P(w1)P(e)
x0
X
P(w2)P(e)
最小错误率贝叶斯有以下几种等价描述：
联合概率描述
x| x| P(
w i
)
P(
wi)
max
i 1, 2
P(
w) i
P(
wi),
x
wi
似然比描述
l(x)
P(x | w1) P(x | w2)
x
F(x) f (t)dt
则称x为连续型随机变量， 函数f(x)为x的概率密度函
数。
概率密度函数性质：
F(x) ' f (x)
f (x)dx 1
x2
P(x1 x x2 ) F (x2 ) F (x1) f (x)dx
x1
先验概率P(ωi)：先验知识确定的类别总体分布。
P(w2) P(x | w2)dx P(w1) P(x | w1)dx
R1
R2
P(w2) P2 (e) P(w1) P1(e)
其几何说明下图所示。图3-1中的阴影部分为平均错误概率P(e)。由 于贝叶斯决策式为P(wi | x) max P(wi | x) ，对于所有的x取大，而条件错误 率P（e|x）对于所有的x取i小1,2 ，因此，平均错误率公式P（e）的积分 最小。
例：汉字字频 新华社统计资料 鲈鱼和鲑鱼的比例 渔业统计资料
新后修验正概的率概P(率ω。i|x)：在得到“结果”的信息后重
布类取条决件于概类率别密状度态p(x|ωi)：连续随机变量x，其分
用已知类别的训练样本来估计类条件概率密度 分析样本形成条件，假定分布函数
贝叶斯公式：
P(i x)
P(w2) P(w1)
, x w1
对数似然比描述
h(
x)
ln[l
(
x)]
ln[
P(x P(x
| |
w1) w2)
]
ln[
P(w2) P(w1)
],
x
w1
例题3.1
• 对一批人进行癌症普查，患癌症者定为属w1类， 正常者定为属w2类。统计资料表明人们患癌的概 率P（w1）=0.005，从而P（w2）=0.995。设有 一种诊断此病的化验，其结果有阳性反应和阴性 反应之分，依其作诊断。化验结果是一维离散模 式特征。资料表明：癌症者有阳性反应的概率为 0.95，即P（x=阳|w1）=0.95，从而可知P（x=阴 |w1）=0.05，正常人阳性反应概率为0.01，即P （x=阳|w2）=0.01，则可知P（x=阴|w2）=0.99， 问有阳性反应的人患癌症的概率有多大？
|
x)
P(w1 P(w2
| |
x), x),
P(w2 P(w1
| |
x) x)
P(w1 P(w2
| |
x) x)
一维时，x轴上的正确与错误错判的临界点为x0，则有错误概率
P(e)
x0
P(w2
|
x)P(
x)dx
x0
P(w1
|
x)
P(
x)dx
由贝叶斯公式 w P(
| x)