哈工大模式识别第3章
合集下载
模式识别(3-1)
§3.2 最大似然估计
最大似然估计量： －使似然函数达到最大值的参数向量。 －最符合已有的观测样本集的那一个参数向量。 ∵学习样本从总体样本集中独立抽取的
N ) p( X | ) p( X k | i ) k 1 N个学习样本出现概率的乘积
i
i
∴
p( X | i . i
i
§3.2 Bayes学习
假定： ①待估参数θ是随机的未知量 ②按类别把样本分成M类X1，X2，X3，… XM 其中第i类的样本共N个 Xi = {X1,X2,… XN} 并且是从总体中独立抽取的 ③ 类条件概率密度具有某种确定的函数形式，但其 参数向量未知。 ④ Xi 中的样本不包含待估计参数θj(i≠j)的信息，不 同类别的参数在函数上是独立的，所以可以对每一 类样本独立进行处理。
有时上式是多解的, 上图有5个解,只有一个解最大即 （对所有的可能解进行检查或计算二阶导数）
§3.2 最大似然估计
例：假设随机变量x服从均匀分布，但参数1， 2未知， 1 1 x 2 p ( x | ) 2 1 ， 0 其他 求1， 2的最大似然估计量。 解：设从总体中独立抽取N个样本x1 , x2 , , xN , 则其似然函数为： 1 p ( x1 , x2 , , xN | 1， 2 ) ( 2 1 ) N l ( ) p ( X | ) 0
§3.2 Bayes学习
p ~ N 0 , 0
2
其中 0和 0 是已知的
2
已知的信息还包括一组抽取出来的样本X i x1 , x2 ,, xN ，从而 可以得到关于 的后验概率密度：
模式识别作业题(2)
得证。 3、使用最小最大损失判决规则的错分概率是最小吗？为什么？
答：不是最小的。首先要明确当我们谈到最小最大损失判决规则时，先验概率是未知的， 而先验概率的变化会导致错分概率变化， 故错分概率也是一个变量。 使用最小最大损 失判决规则的目的就是保证在先验概率任意变化导致错分概率变化时， 错分概率的最 坏（即最大）情况在所有判决规则中是最好的（即最小）。 4、 若 λ11 = λ22 =0， λ12 = λ21 ，证明此时最小最大决策面是来自两类的错误率相等。 证明：最小最大决策面满足 （ λ11 - λ22 ）+（ λ21 - λ11 ） 容易得到
λ11 P(ω1 | x) + λ12 P(ω2 | x) < λ21 P(ω1 | x) + λ22 P(ω2 | x) ( λ21 - λ11 ) P (ω1 | x) >( λ12 - λ22 ) P (ω2 | x) ( λ21 - λ11 ) P (ω1 ) P ( x | ω1 ) >( λ12 - λ22 ) P (ω2 ) P ( x | ω2 ) p( x | ω1 ) (λ 12 − λ 22) P(ω2 ) > 即 p( x | ω2 ) ( λ 21 − λ 11) P (ω1 )
6、设总体分布密度为 N( μ ，1)，-∞< μ <+∞,并设 X={ x1 ， x2 ，… xN }，分别用最大似然 估计和贝叶斯估计计算 μ 。已知 μ 的先验分布 p（ μ ）～N（0,1）。 解：似然函数为：
∧Байду номын сангаас
L（ μ ）=lnp(X|u)=
∑ ln p( xi | u) = −
i =1
N
模式识别第三章作业及其解答
答：不是最小的。首先要明确当我们谈到最小最大损失判决规则时，先验概率是未知的， 而先验概率的变化会导致错分概率变化， 故错分概率也是一个变量。 使用最小最大损 失判决规则的目的就是保证在先验概率任意变化导致错分概率变化时， 错分概率的最 坏（即最大）情况在所有判决规则中是最好的（即最小）。 4、 若 λ11 = λ22 =0， λ12 = λ21 ，证明此时最小最大决策面是来自两类的错误率相等。 证明：最小最大决策面满足 （ λ11 - λ22 ）+（ λ21 - λ11 ） 容易得到
λ11 P(ω1 | x) + λ12 P(ω2 | x) < λ21 P(ω1 | x) + λ22 P(ω2 | x) ( λ21 - λ11 ) P (ω1 | x) >( λ12 - λ22 ) P (ω2 | x) ( λ21 - λ11 ) P (ω1 ) P ( x | ω1 ) >( λ12 - λ22 ) P (ω2 ) P ( x | ω2 ) p( x | ω1 ) (λ 12 − λ 22) P(ω2 ) > 即 p( x | ω2 ) ( λ 21 − λ 11) P (ω1 )
6、设总体分布密度为 N( μ ，1)，-∞< μ <+∞,并设 X={ x1 ， x2 ，… xN }，分别用最大似然 估计和贝叶斯估计计算 μ 。已知 μ 的先验分布 p（ μ ）～N（0,1）。 解：似然函数为：
∧Байду номын сангаас
L（ μ ）=lnp(X|u)=
∑ ln p( xi | u) = −
i =1
N
模式识别第三章作业及其解答
哈工大模式识别课件.pptx
《模式分类》，机械工业出版社，Richard O.
Duda
《模式识别》（第二版），清华大学出版社，边
肇祺，张学工；
模式识别 – 绪论
期刊
IEEE Transaction on Pattern Analysis and Machine Intelligence，PAMI；
Pattern Recognition； Pattern Recognition Letter； 模式识别与人工智能；
x
2
1
2
n
exp
1 2
n n
2
d
f , n
2 n
exp
1 2
x
n 2
2
2 n
f ,n
exp
1 2
2
2 n
2 2 n
2 n
x
2
n
2
2 n
2
du
模式识别 – 绪论
3.3期望最大化算法(EM算法)
EM算法的应用可以分为两个方面：
1. 训练样本中某些特征丢失情况下，分布参数的最大 似然估计；
特征提取与选 择
识别结果 模式分类
分类 训练
分类器设计
模式识别 – 绪论
六、模式识别问题的描述
给定一个训练样本的特征矢量集合：
D x1, x2, , xn, xi Rd
分别属于c个类别：
1,2, ,c
设计出一个分类器，能够对未知类别样本x进行分类
y g x, Rd 1, ,c
模式识别 – 绪论
率满足正态分布，即：
px N , 2
p
N
0
,
2 0
模式识别 – 绪论
Duda
《模式识别》（第二版），清华大学出版社，边
肇祺，张学工；
模式识别 – 绪论
期刊
IEEE Transaction on Pattern Analysis and Machine Intelligence，PAMI；
Pattern Recognition； Pattern Recognition Letter； 模式识别与人工智能；
x
2
1
2
n
exp
1 2
n n
2
d
f , n
2 n
exp
1 2
x
n 2
2
2 n
f ,n
exp
1 2
2
2 n
2 2 n
2 n
x
2
n
2
2 n
2
du
模式识别 – 绪论
3.3期望最大化算法(EM算法)
EM算法的应用可以分为两个方面：
1. 训练样本中某些特征丢失情况下，分布参数的最大 似然估计；
特征提取与选 择
识别结果 模式分类
分类 训练
分类器设计
模式识别 – 绪论
六、模式识别问题的描述
给定一个训练样本的特征矢量集合：
D x1, x2, , xn, xi Rd
分别属于c个类别：
1,2, ,c
设计出一个分类器，能够对未知类别样本x进行分类
y g x, Rd 1, ,c
模式识别 – 绪论
率满足正态分布，即：
px N , 2
p
N
0
,
2 0
模式识别 – 绪论
哈工大模式识别课程期末总结分解
一元参数
【最大似然估计】
多元参数
【最大似然估计】
例子（梯度法不适合）：
1 p( x | ) 2 1 0
,1 x 2 其它
1 p ( x , x ,..., x | , ) N 1 2 N 1 2 l ( ) 2 1 0
p( | x)
p( x | ) p( )
p( x | ) p( )d
p( , x) p( | x) p( x) p( x | ) p( )
R
E
d
ˆ, ) p ( | x) p ( x)d dx (
ˆ, ) p( | x)d dx d p( x) (
h( x) ln l ( x) ln p( x | 1 ) ln p( x | 2 ) ln P(1 ) P(2 )
x 1
x 2
【基于最小错误率的贝叶斯决策】
【基于最小错误率的贝叶斯决策】
【基于最小风险的贝叶斯决策】
概念
决策 决策空间 前面所讲的错误率达到最小。在某些实际应用中，最小错 误率的贝叶斯准则并不适合。以癌细胞识别为例，诊断中如 果把正常细胞判为癌症细胞，固然会给病人精神造成伤害， 但伤害有限；相反地，若把癌症细胞误判为正常细胞，将会 使早期的癌症患者失去治疗的最佳时机，造成验证的后果。
【基于最小风险的贝叶斯决策】
数学描述
【基于最小风险的贝叶斯决策】
条件期望损失：
R(i | x) EP( j | x), i 1, 2,..., a
j 1 c
期望风险：
R R ( ( x) | x) p ( x)dx
目的：期望风险最小化
【最大似然估计】
多元参数
【最大似然估计】
例子（梯度法不适合）：
1 p( x | ) 2 1 0
,1 x 2 其它
1 p ( x , x ,..., x | , ) N 1 2 N 1 2 l ( ) 2 1 0
p( | x)
p( x | ) p( )
p( x | ) p( )d
p( , x) p( | x) p( x) p( x | ) p( )
R
E
d
ˆ, ) p ( | x) p ( x)d dx (
ˆ, ) p( | x)d dx d p( x) (
h( x) ln l ( x) ln p( x | 1 ) ln p( x | 2 ) ln P(1 ) P(2 )
x 1
x 2
【基于最小错误率的贝叶斯决策】
【基于最小错误率的贝叶斯决策】
【基于最小风险的贝叶斯决策】
概念
决策 决策空间 前面所讲的错误率达到最小。在某些实际应用中，最小错 误率的贝叶斯准则并不适合。以癌细胞识别为例，诊断中如 果把正常细胞判为癌症细胞，固然会给病人精神造成伤害， 但伤害有限；相反地，若把癌症细胞误判为正常细胞，将会 使早期的癌症患者失去治疗的最佳时机，造成验证的后果。
【基于最小风险的贝叶斯决策】
数学描述
【基于最小风险的贝叶斯决策】
条件期望损失：
R(i | x) EP( j | x), i 1, 2,..., a
j 1 c
期望风险：
R R ( ( x) | x) p ( x)dx
目的：期望风险最小化
哈工大模式识别课件—第3章概率密度函数的参数估计
6. return θˆ θi1
混合密度模型
• 一个复杂的概率密度分布函数可以由多个简 单的密度函数混合构成：
M
px θ ai pi x θi , i1
M
ai 1
i1
• 最常用的是高斯混合模型(GMM，Gauss Mixtur e Model)：
M
p x ai N x;μi , Σi i 1
估值问题
• 一个HMM模型产生观察序列VT可以由下式计算：
rmax
P V T θ P V T WrT P WrT θ r 1
•rmax=MT为HMM所有可能的状态转移序列数；
•P V T WrT
为状态转移WrT序列
序列 的概率；
输出V T观察
•P WrT θ
为 状态转移Wr序T 列
a b wr T 1wr T wr T v T
r 1
• 计算复杂度：OM TT
HMM估值算法的简化
HMM的前向算法
1. 初始化： i 1 ibi v1,i 1, M
2. 迭代计算：
i
t
1
M
j
t
a
ji
bi
v
t
1
,
i
1,
,M
j1
3. 结束输出：
M
P V T θ i T
i 1
计算复杂度：OM 2T
n
n
2 0
n
2 0
2
ˆn
2
n
2 0
2
0
2 n
02 2
n
2 0
2
均值分布的变化
类条件概率密度的计算
px D px p Dd
哈工大 模式识别总结
(5)典型的聚类方法，动态聚类方法的基本原理。 重点分析C-均值聚类方法；说明基本原理以及实现方法。 (6)分级聚类方法分析，以及使用不同相似度计算方法的影 响。
非监督学习方法
与监督学习 方法的区别
主要任务：数据分析 数据分析的典型类型：聚类分析 直接方法：按概率密度划分 投影法 基 于 对 称性 质 的 单 峰 子集 分 离方法 间接方法：按数据相似度划分 动态聚类 方法 C-均值 算法 ISODATA 算法 分级聚类 算法
第三章 判别函数及分类器的设计
(1)非参数分类决策方法的定义；与贝叶斯决策方法进行比 较，分析非参数分类方法的基本特点。 (2)线性分类器。说明这种分类器的定义及其数学表达式， 进一步分析数学表达式的各种表示方法，从而导出典型的线 性分类器设计原理：Fisher准则函数、感知准则函数。 (3)非线性判别函数。从样本的线性不可分例子说明线性判 别函数的局限性，从而引入分段线性判别函数概念及相应计 算方法。 (4)近邻法的定义及性能分析。从近邻法的优缺点导入改进 的近邻法；
非参数判别分类方法原理----有监督学习方法
线性分类器
近邻法： 最近邻法，K近邻法
Fisher 准则
扩展：分段 线性分类器 方法实现非 线性分类器
感知准则 函数
多层感知器 (神经网络)
支持向量机
SVM
改进的近邻法： --剪辑近邻法 --压缩近邻法
特征映射方法实 现非线性分类器
错误修正算法 可实现最小分段数的局部训练算法
特征空间优化：概念、目的及意义
两种优化方法：特征选择、特征提取 评判标准：判据 ------基于距离的可分性判据 -----基于概率的可分性判据 特征提取 特征选择 KL变换 产生矩阵 包含在类平 均信息中判 别信息的最 优压缩 最优方法 分支 定界 算法 次优方法 顺序前 进法， 广义顺 序前进 法 顺序后 退法， 广义顺 序后退 法
非监督学习方法
与监督学习 方法的区别
主要任务：数据分析 数据分析的典型类型：聚类分析 直接方法：按概率密度划分 投影法 基 于 对 称性 质 的 单 峰 子集 分 离方法 间接方法：按数据相似度划分 动态聚类 方法 C-均值 算法 ISODATA 算法 分级聚类 算法
第三章 判别函数及分类器的设计
(1)非参数分类决策方法的定义；与贝叶斯决策方法进行比 较，分析非参数分类方法的基本特点。 (2)线性分类器。说明这种分类器的定义及其数学表达式， 进一步分析数学表达式的各种表示方法，从而导出典型的线 性分类器设计原理：Fisher准则函数、感知准则函数。 (3)非线性判别函数。从样本的线性不可分例子说明线性判 别函数的局限性，从而引入分段线性判别函数概念及相应计 算方法。 (4)近邻法的定义及性能分析。从近邻法的优缺点导入改进 的近邻法；
非参数判别分类方法原理----有监督学习方法
线性分类器
近邻法： 最近邻法，K近邻法
Fisher 准则
扩展：分段 线性分类器 方法实现非 线性分类器
感知准则 函数
多层感知器 (神经网络)
支持向量机
SVM
改进的近邻法： --剪辑近邻法 --压缩近邻法
特征映射方法实 现非线性分类器
错误修正算法 可实现最小分段数的局部训练算法
特征空间优化：概念、目的及意义
两种优化方法：特征选择、特征提取 评判标准：判据 ------基于距离的可分性判据 -----基于概率的可分性判据 特征提取 特征选择 KL变换 产生矩阵 包含在类平 均信息中判 别信息的最 优压缩 最优方法 分支 定界 算法 次优方法 顺序前 进法， 广义顺 序前进 法 顺序后 退法， 广义顺 序后退 法
模式识别(三)课后上机作业参考解答
“模式识别(三).PDF”课件课后上机选做作业参考解答(武大计算机学院袁志勇, Email: yuanzywhu@) 上机题目：两类问题，已知四个训练样本ω1={(0,0)T,(0,1)T}；ω2={(1,0)T,(1,1)T}使用感知器固定增量法求判别函数。
设w1=(1,1,1)Tρk=1试编写程序上机运行(使用MATLAB、 C/C++、C#、JA V A、DELPHI等语言中任意一种编写均可)，写出判别函数，并给出程序运行的相关运行图表。
这里采用MATLAB编写感知器固定增量算法程序。
一、感知器固定增量法的MATLAB函数编写感知器固定增量法的具体内容请参考“模式识别(三).PDF”课件中的算法描述，可将该算法编写一个可以调用的自定义MATLAB函数：% perceptronclassify.m%% Caculate the optimal W by Perceptron%% W1-3x1 vector, initial weight vector% Pk-scalar, learning rate% W -3x1 vector, optimal weight vector% iters - scalar, the number of iterations%% Created: May 17, 2010function [W iters] = perceptronclassify(W1,Pk)x1 = [0 0 1]';x2 = [0 1 1]';x3 = [1 0 1]';x4 = [1 1 1]';% the training sampleWk = W1;FLAG = 0;% iteration flagesiters = 0;if Wk'*x1 <= 0Wk =Wk + x1;FLAG = 1;endif Wk'*x2 <= 0Wk =Wk + x2;FLAG = 1;endif Wk'*x3 >= 0Wk=Wk-x3;FLAG = 1; endif Wk'*x4 >= 0Wk =Wk -x4; FLAG = 1; enditers = iters + 1; while (FLAG) FLAG = 0; if Wk'*x1 <= 0Wk = Wk + x1; FLAG = 1; endif Wk'*x2 <= 0Wk = Wk + x2; FLAG = 1; endif Wk'*x3 >= 0 Wk = Wk - x3; FLAG = 1; endif Wk'*x4 >= 0 Wk = Wk - x4; FLAG = 1; enditers = iters + 1; endW = Wk;二、程序运行程序输入：初始权向量1W , 固定增量大小k ρ 程序输出：权向量最优解W , 程序迭代次数iters 在MATLAB 7.X 命令行窗口中的运行情况： １、初始化1[111]T W = 初始化W 1窗口界面截图如下：２、初始化1kρ=初始化Pk 窗口界面截图如下：３、在MATLAB 窗口中调用自定义的perceptronclassify 函数由于perceptronclassify.m 下自定义的函数文件，在调用该函数前需要事先[Set path…]设置该函数文件所在的路径，然后才能在命令行窗口中调用。
模式识别(3-2)
0
x为其它
解：此为多峰情况的估计
-2.5 -2 0
2x
设窗函数为正态
(u) 1 exp[ 1 u2], hN h1
2
2
N
❖
用
Parzen
窗 法 估 计 两 个 均 匀 分 布 的 实 验
h1 0.25 10.0
1.0 0.1 0.01 0.001 10.0 1.0 0.1 0.01 0.001 10.0 1.0 0.1 0.01 0.001 10.0 1.0 0.1 0.01 0.001
Parse窗口估计
例2：设待估计的P(x)是个均值为0，方差为1的正态密度
函数。若随机地抽取X样本中的1个、 16个、 256个作为
学习样本xi,试用窗口法估计PN(x)。 解：设窗口函数为正态的， σ＝1，μ＝0
(| x xi |)
1
exp[
1
(
|
x
xi
|
2
)]
设hN h1
hN
2
2 hN
N
0.01
0.001 10.0
1.0
0.1
0.01
0.001 10.0
1.0
0.1
0.01
0.001 10.0
1.0
0.1
0.01
0.001 2 0 2
h1 1 2 0 2
h1 4 2 0 2
Parse窗口估计
讨论：由图看出, PN(x)随N, h1的变化情况 ①正当态N＝形1时状，的P小N(丘x)，是与一窗个函以数第差一不个多样。本为中心的
概率密度估计
数学期望: E(k)=k=NP
∴对概率P的估计: P k。
N
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
采用映射x→Y 则：判别函数g(x)又可表示成
g(x)被称为广义线性判 别函数， a 称为广义 权向量
– 按照这种原理，任何形式的高次判别函数都可转 化成线性判别函数来处理。 – 这种处理非线性分类器的方法，在支持向量机中 得到充分的研究。 – 产生问题: 维数会增加很多
推广----线性判别函数的齐次简化
Fisher线性判别函数
Fisher线性判别函数是研究这类判别函数中 最有影响的方法之一。 对线性判别函数的研究就是从R.A.Fisher在 1936年发表的论文开始的。
Fisher线性判别函数基本原理
– 设计线性分类器首先要确定准则函数，然后再利 用训练样本集确定该分类器的参数，以求使所确 定的准则达到最佳。 – 维数问题: 降低维数 – 线性判别函数把d维空间映射到1维空间
上式并不是W的显函数，需化为W的显函数
进一步化为W的显函数
分子
分母
分母：
因此
3.3.2 最佳W值的确定
最佳W值的确定: 求取使JF达极大值时的 w*
可以采用拉格朗日乘子算法解决
设计一拉格朗日函数
对向量的求导(或偏导)的定义是
由于Sw非奇异，两边乘以Sw-1得
最佳法线向量W*
准则函数 Jp(a) 就是感知准则函数
感知准则函数方法的思路
1）随意找一个初始向量 a(0) 2）用训练样本集中的每个样本Y来计算 3）若Y’使aTY’<0，则a不适合，需修正。 若对当前经k次叠代修正的广义权向量为a(k)修正
a(k 1) a(k) J p
并使其满足：
3.3.1 Fisher准则函数
Fisher准则基本原理
如果在二维空间中一条直线能将两类样本分开，或者错分类 很少，则同一类别样本数据在该直线的单位法向量上的投影 的绝大多数都应该超过某一值。而另一类数据的投影都应该 小于(或绝大多数都小于)该值，则这条直线就有可能将两类分 开。 – Fisher准则就是要找到一个最合适的投影轴，使两类样本 在该轴上投影的交迭部分最少，从而使分类效果为最佳。 – 分析w1方向之所以比w2方向优越，可以归纳出这样一个准 则 向量W的方向选择应能使两类样本投影的均值之差尽可 能大些 而使类内样本的离散程度尽可能小
a:称为增广 权向量 (广 义权向量)
称为增广 样本向量 将g(x)中的W向量与w0统一表示成
它使特征空间增加了一维，但保持了样本间的欧氏距离不变， 对于分类效果也与原决策面相同，只是在Y空间中决策面是通过 坐标原点的，这在分析某些问题时具有优点，因此经常用到。
例如：一个一维特征空间的分类器，其决策 面方程为： X-c=0 在一维空间中为一个点。经齐次简化后得：
具体过程
1 、按需要确定一准则函数J。 2 、确定准则函数J达到极值时w*及w0* 的具体数值，从而确定判别函数，完成 分类器设计。
设计线性分类器，是指所用的判别函数、 分界面方程的类型已选定为线性类型，因此 主要的设计任务是确定线性方程的两个参数， 一个是权向量W，另一个是阈值w0。
3.3
否则，按如下方法确定： 1、 2、 3、
（P(W1)、P(W2) 已知时）
分类规则
3.4 感知准则函数
感知准则函数是五十年代由Rosenblatt提出的一种 自学习判别函数生成方法，企图将其用于脑模型感 知器，因此被称为感知准则函数。 特点：随意确定判别函数的初始值，在对样本分类 训练过程中逐步修正直至最终确定。 感知准则函数：是设计线性分类器的重要方法 感知准则函数使用增广样本向量与增广权向量
§3.1引言
贝叶斯决策理论设计分类器的步骤
非参数判别分类
非参数判别分类方法两个过程
确定使用什么典型的分类决策方法
即决定判别函数类型（如线性判别函数）及优化 准则
利用训练样本集提供的信息及优化准则 （Fisher准则、感知函数准则、最小错分样本数准 则等）确定这些函数中的参数。
相对最小错误率及最小风险决策（最优分类器）而 言，是次优方法，但在所提准则下，是最好的。
a
样本规范化
在线性可分条件下，广义权向量a应有： 若 Y∈ω 1 ,则：aTY>0 Y∈ω 2 ,则：aTY<0 为了方便起见，令 ：
Y 若Y 1 Y' { -Y 若Y 2
Y’ 称为规范化的增广样本向量。则合适的a能使所有 的Y'满足aTY’>0. 需要解决的问题: 找到满足上式的a
解区与解向量
满足aTY’>0的权向量a称为解向量。 解向量存在无穷多个，解向量组成的区域称为解区
对解区的限制
目的：使解向量更可靠 越靠近解区中间的解向量越好 解区边界上的解向量不好 引入余量b>0，解向量应满足： aTY’>b.
aTY’>0. aTY’>b.
分析：怎样确定准则函数
使Fisher准则函数JF达极大值的解，也就是按 Fisher准则将d维X空间投影到一维Y空间的最 佳投影方向。
是在两类正态分布但具有相同的 协方差矩阵Σ时，按最小错误率的贝叶斯决策 得到的结果。
如果P(ωi)=P(ωj)，则最佳分界线就是两类概率 密度函数值相等的点的集合。
按Fisher准则，Sw=Σ1+ Σ2=2 Σ， Sb=(u1-u2)，
– 根据训练样本确定增广权向量 a – 在给定一个规范化增广样本集Y1,…,YN的条件下 ，对于任何一个增广权向量a ，可计算 aTyi
– 显然如果该向量是一个能将此样本集正确分类的 增广权向量，则应有
aTyi>0,
i=1,2,….,N
而对可导致错分类的增广权向量，则必有若干个yi , 使
aTyi<0
yk yk
（步长系数 ）
算法
1）给定初始权向量a(k) ，k=0；
（ 如a(0)=[1,1,….,1]T）
2）利用a(k)对对样本集分类，设错分类样本集为yk 3）若yk是空集，则a=a(k)，迭代结束； 否则，转4） 4）计算：ρ k, J p (a) ( y) a(k 1) a(k) k J p yy 令k=k+1 5）转2）
广义线性判别函数
选择一种映射X→Y，将原样本特征向量X映射成另 一向量Y，从而可以采用线性判别函数的方法。
广义线性判别函数
– 线性判别函数优点
具有形式简单 计算方便的优点 已被充分研究
– 希望能将其用适当方式扩展至原本适宜非线性判 别函数的领域
例如，对于二次函数情况，其一般式可表示成：
k
感知准则函数利用梯度下降算法
可简单叙述为： 任意给定一向量初始值a(1)，第k+1次迭代时的权向量 a(k+1)等于第k次的权向量a(k)加上被错分类的所有样本之和 与ρ k 的乘积。 由于每次修正a时都要计算成批样本，因此，该算法也称为 “批处理感知算法”
即：若两类样本的离散矩阵相近，也就是说两类分 布的形式很相近，按Fisher准则，错分率就应比较 小（接近最小错误率），Fisher准则的合理性可以 在这里体现
3.3.3 W0的确定
若维数d足够大，样本数足够多，可估计各类样本 在1维上的方差和均值、先验概率等，然后，按最 小错误率Bayes决策确定阈值W0。
§3.2 线性分类器
判别函数是线性判别函数的分类器称为线性分类器 主要工作：用训练样本去估计线性判别函数的参数 3.2.1 线性判别函数的基本概念 线性判别函数的一般形式
w0是一个常数，称 为)＝0就是相应的决策面方程，在线性判别 函数条件下它对应d维空间的一个超平面
在两类别情况下，判别准则是
为简单起见，我们不考虑g(X)＝0的情况。
为了讨论原理方便，这一节在线性可分条件下 讨论问题，并且只谈两类识别问题。
线性可分性
设已知样本集{y1,y2,…,yN}， yn是d维增广样本向量, 分属于ω 1 和ω 2类。 若存在权向量a,使任何y∈ω 1 ,都有：aTy>0 y∈ω 2 ,都有：aTy<0 则称这组样本集线性可分。 或：若训练样本集是线性可分的，则必存在一个权 向量a，可使该训练样本集中的每个样本正确分类。
样本在d维特征空间的一些描述量
(1) 各类样本均值向量mi (2) 样本类内离散度矩阵Si与总类内离散度矩阵Sw
(3) 样本类间离散度矩阵Sb
若考虑
先验概率，则：
2 在一维Y空间
(1) 各类样本均值
(2) 样本类内离散度 和总类内离散度
Fisher准则的函数形式
Fisher选择投影方向W的原则： y=WTX 类间分布尽可能分开， 类内样本投影尽可能密集的要求 评价投影方向W的函数
y2
y1
3.2.3 线性分类器设计步骤
线性分类器设计任务 在给定样本集XX={X1,X2,…,XN}条件下， 确定线性判别函数的各项系数,w1,w2,…,wd ， 以期对待测样本进行分类时，能满足相应的 准则函数J为最优的要求。 关键问题: 确定所需的准则函数，然后用最优化技术 确定准则函数的极值解w*及w0*，或增广权向 量 a*
向量W的意义
设在该决策平面上有两个特征向量X1与X2，则
W与该平面上任两点组成的向量(X1-X2)正交 W是该超平面的法线向量
X g(X) / ||W|| R0=w0 / ||W|| Xp R2: g<0 H: g=0 r 正侧 R1: g>0 负侧
g(X)、 w0的意义 g(X)是d维空间任一点X到决策面H的距离的代数度量 w0体现该决策面在特征空间中的位置 1) w0=0时，该决策面过特征空间坐标系原点 2)否则，R0=w0/||W||表示坐标原点到决策面的距离