[工学]第5章 线性判别函数
fisher判别
Fisher线性判别
问题的提出：
上海大学
Shanghai University
Fisher 线性判别函数的提出：在用统计方法进行模式识别时， 许多问题涉及到维数，在低维空间行得通的方法，在高维空间 往往行不通。因此，降低维数就成为解决实际问题的关键。 Fisher的方法，就是解决维数压缩问题。 对xn的分量做线性组合可得标量
• 在给定样本集 条件下 ， 确定线性判别函数的各项系数 ，以期 对待测样本进行分类时，能满足相应的准则函数J 为最优的要求。 • 用最优化技术确定权向量 向量 阈值权 或 增广权
计算机工程与科学学院
设计线性分类器的主要步骤
给定样本集X，确定线性判别函数 各项系数w和w0。步骤：
收集一组具有类别标志的样本X={x1,x2,…,xN}
计算机工程与科学学院
ห้องสมุดไป่ตู้
线性判别函数的基本概念
上海大学
Shanghai University
设样本d维特征空间中描述，则两类别问题中线性判别函数的 T 一般形式可表示成 x = x1 , x2 ,...xd g ( x) wT x w0 其中 T w= w1 , w2 ,...wd
w0是一个常数，称为阈值权。
相应的决策规则可表示成 g(x)>0, 则决策x 1 如果 g(x)<0, 则决策x 2 g(x)=0, 可将其任意分类或拒绝
g(x)＝0就是相应的决策面方程，在线性判别函数条件下 它对应d维空间的一个超平面。
计算机工程与科学学院
线性判别函数的基本概念
y1 1 a1 c0 y y2 x ，a a2 c1 如果我们采用映射x→ y ，使 2 y3 x a3 c2
模式识别第4章 线性判别函数
w1。
44
4.3 判别函数值的鉴别意义、权空间及解空间 4.3.2 权空间、解矢量与解空间
(3) 解空间
w1
先看一个简
单的情况。设一
维数据1，2属于
w0
1, -1，-2属
于2 求将1和
2区分开的w0 ，
w1。
45
4.3 判别函数值的鉴别意义、权空间及解空间 4.3.2 权空间、解矢量与解空间
(3) 解空间
53
第四章 线性判别方法
4.1 用判别域界面方程分类的概念
有 4.2 线性判别函数 监 4.3 判别函数值的鉴别意义、权空间及解空间 督 4.4 Fisher线性判别 分 4.5 一次准则函数及梯度下降法 类 4.6 二次准则函数及其解法
4.7 广义线性判别函数
54
4.4 Fisher线性判别
这一工作是由R.A.Fisher在1936年的论文中 所提出的，因此称为Fisher线性判别方法。
0123456789
x1
d23(x)为正
d32(x)为正 d12(x)为正 d21(x)为正
i j两分法例题图示
24
25
3、第三种情况（续）
d1(xr) d2(xr)
1
2
d1(xr ) d3(xr )
3
d2 (xr ) d3(xr )
多类问题图例（第三种情况）
26
27
上述三种方法小结:
8
4.2 线性判别函数
9
10
11
d3(xr) 0
不确定区域
r
xr xrxr xr xr
x2
?
d1(x) 0
1
2
3
x1 d2(xr ) 0
广义线性判别函数
4.6 广义线性判别函数前几节研究了线性判决函数的理论和分类方法，它们的优点是简单易行。
但是实际应用中却常常遇到非线性判决函数，如果能将非线性函数转化为线性判决函数，那么线性判决函数的理论和分类方法的应用将会更加广泛。
实际上，非线性判别函数是可以转变成线性函数的，也就是转成广义线性判决函数。
1.广义线性判别函数的概念如：有一个判决函数)(x g ，为非线性的，如下图所示：图中，a 、b 为两类的分界点。
可以用式子：))(()(b x a x x g --=描述。
并且，判决规则为： 若：a x <或b x >, 0)(>x g ，则1w x ∈。
b x a <<，0)(<x g ，则2w x ∈。
下面对)(x g 进行非线性变换：令21x y =，x y =2，则)(x g 作为判决函数可写成：()g x =()()x a x b --()2x x a b ab =-++32211)(w y w y w y g ++=其中：ab w b a w w =+-==321),(,1因此，通过非线性变换，非线性判决函数)(x g 转变成了线性判决函数)(y g 。
同时，特征空间也由一维的x 空间，映射成二维的y 空间。
也就是，在执行非线性变换的过程中，特征空间维数的增长往往不可避免。
在y 的特征空间里，区分直线为：0)(21=++-ab y b a y ，如下图：区分直线把y 空间线性地划分为两个类型区域1w 和2w ，判决规则为：若0)(>y g ，则1w y ∈，也就是1w x ∈0)(<y g ，则2w y ∈，也就是2w x ∈对样本x 的测量值：① 先进行非线性变换，x y x y ==221, ② 计算)(x g 之值，ab y b a y x g ++-=21)()( ③ 判决类别下面讨论非线性判决函数的一般形式： 把非线性判决函数写成一般形式，就是：12211)(....)()()(+++++=d d d w x f w x f w x f w x g其中，)(x f i （d i ,...,2,1=）是x 的单值实函数，且存在非线性关系，x 是k 维的。
(NEW)吴大正《信号与线性系统分析》(第4版)笔记和课后习题(含考研真题)详解
目 录第1章 信号与系统1.1 复习笔记1.2 课后习题详解1.3 名校考研真题详解第2章 连续系统的时域分析2.1 复习笔记2.2 课后习题详解2.3 名校考研真题详解第3章 离散系统的时域分析3.1 复习笔记3.2 课后习题详解3.3 名校考研真题详解第4章 傅里叶变换和系统的频域分析4.1 复习笔记4.2 课后习题详解4.3 名校考研真题详解第5章 连续系统的s域分析5.1 复习笔记5.2 课后习题详解5.3 名校考研真题详解第6章 离散系统的z域分析6.1 复习笔记6.2 课后习题详解6.3 名校考研真题详解第7章 系统函数7.1 复习笔记7.2 课后习题详解7.3 名校考研真题详解第8章 系统的状态变量分析8.1 复习笔记8.2 课后习题详解8.3 名校考研真题详解第1章 信号与系统1.1 复习笔记一、信号的基本概念与分类信号是载有信息的随时间变化的物理量或物理现象，其图像为信号的波形。
根据信号的不同特性，可对信号进行不同的分类：确定信号与随机信号；周期信号与非周期信号；连续时间信号与离散时间信号；实信号与复信号；能量信号与功率信号等。
二、信号的基本运算1加法和乘法f1（t）±f2（t）或f1（t）×f2（t）两信号f1（·）和f2（·）的相加、减、乘指同一时刻两信号之值对应相加、减、乘。
2．反转和平移（1）反转f（－t）f（－t）波形为f（t）波形以t＝0为轴反转。
图1-1（2）平移f（t＋t0）t0＞0，f（t＋t0）为f（t）波形在t轴上左移t0；t0＜0，f（t＋t0）为f（t）波形在t轴上右移t0。
图1-2平移的应用：在雷达系统中，雷达接收到的目标回波信号比发射信号延迟了时间t0，利用该延迟时间t0可以计算出目标与雷达之间的距离。
这里雷达接收到的目标回波信号就是延时信号。
3．尺度变换f（at）若a＞1，则f（at）波形为f（t）的波形在时间轴上压缩为原来的；若0＜a＜1，则f（at）波形为f（t）的波形在时间轴上扩展为原来的；若a＜0，则f（at）波形为f（t）的波形反转并压缩或展宽至。
判别函数线性判别函数线性判别函数的
这种情况下 判别函数:
X ( x1 , x2 )T , n 2
g( x ) w1x1 w2 x2 w3
w为参数， x1 , x2为坐标向量
1. 二维情况
在两类别情况，判别函数 g (x) 具有以下性质：
0, X 1 g i ( x) 0, X 2
模式识别问题就是根据模式X的n个特征来判 别模式属于ω1 ,ω2 , … , ωm 类中的那一类。
§2.1 判别函数（续 ） 例如下图：三类的分类问题，它们的边界线就是一
个判别函数
x2
2
1
x1
边界
3
§2.1 判别函数（续 ） 判别函数包含两类：
一类 是线性判别函数：
线性判别函数
x2
1
g1 ( x) 0
2
g3 ( x) 0
3
x1 g ( x) 0
2
1。第一种情况（续）
例：已知三类ω1,ω2,ω3的判别函数分别为： g1 ( x ) x1 x2 g 2 ( x ) x1 x2 5 g ( x) x 1 2 3 因此三个判别边界为： g1 ( x ) x1 x2 0 g 2 ( x ) x1 x2 5 0 g ( x) x 1 0 2 3
3
g ( x) 0
x1
IR 3
g1 ( x ) 0 g 2 ( x) 0 g ( x) 0 3
5
g2 ( x) 0
1。第一种情况（续）
对于任一模式X如果它的 g1(x) >0 ， g2(x) <0 ， g3(x) <0 则该模式属于ω1类。相应ω1类的区域由直线-x2+1=0 的正边、直线-x1+x2-5=0 和直线-x1+x2=0的负边来确定。
fisher判别函数
Fisher判别函数，也称为线性判别函数（Linear Discriminant Function），是一种经典的模式识别方法。
它通过将样本投影到一维或低维空间，将不同类别的样本尽可能地区分开来。
一、算法原理：Fisher判别函数基于以下两个假设：1.假设每个类别的样本都服从高斯分布；2.假设不同类别的样本具有相同的协方差矩阵。
Fisher判别函数的目标是找到一个投影方向，使得同一类别的样本在该方向上的投影尽可能紧密，而不同类别的样本在该方向上的投影尽可能分开。
算法步骤如下：(1)计算类内散度矩阵（Within-class Scatter Matrix）Sw，表示每个类别内样本之间的差异。
Sw = Σi=1 to N (Xi - Mi)(Xi - Mi)ᵀ，其中Xi 表示属于类别i 的样本集合，Mi 表示类别i 的样本均值。
(2)计算类间散度矩阵（Between-class Scatter Matrix）Sb，表示不同类别之间样本之间的差异。
Sb = Σi=1 to C Ni(Mi - M)(Mi - M)ᵀ，其中 C 表示类别总数，Ni 表示类别i 中的样本数量，M 表示所有样本的均值。
(3)计算总散度矩阵（Total Scatter Matrix）St，表示所有样本之间的差异。
St =Σi=1 to N (Xi - M)(Xi - M)ᵀ(4)计算投影方向向量w，使得投影后的样本能够最大程度地分开不同类别。
w= arg max(w) (wᵀSb w) / (wᵀSw w)，其中w 表示投影方向向量。
(5)根据选择的投影方向向量w，对样本进行投影。
y = wᵀx，其中y 表示投影后的样本，x 表示原始样本。
(6)通过设置一个阈值或使用其他分类算法（如感知机、支持向量机等），将投影后的样本进行分类。
二、优点和局限性：Fisher判别函数具有以下优点：•考虑了类别内和类别间的差异，能够在低维空间中有效地区分不同类别的样本。
线性判别函数的正负和数值大小的几何意义
1、线性判别函数的正负和数值大小的几何意义2、支持向量机的判别函数，adaboost的判别函数3、什么是聂曼-皮尔逊判决准，什么是最小最大判决准则4、感知器算法特点5、什么是特征，什么是特征提取，什么是特征选择？6、分类和聚类有何区别？分别说出2-3种代表性算法7、Fisher算法的特点？8、数据预处理主要有哪些工作？9、什么是大数据，大数据有何特点？10、聚类中距离度量的方式有哪些，连续性数据和和二值数据分别怎么度量9、什么是Gini指数，其作用是什么？10、马式距离较之于欧式距离的优点11、关联规则的经典算法有哪些，各自的优缺点？12、什么是分类，什么是回归？分类的过程或步骤13、分类评价标准，怎么评价分类的优劣14、什么是数据，样本、什么是抽样15、什么是机器学习以及机器学习的一般步骤16. 样本属性的主要类型17.人工神经网络的激活函数有哪些？18．信息增益，在ID3算法中怎么用，表示什么含义19．二维数据三个混合项的高斯模型的概率密度方程20、什么是聚类？聚类分析有哪些主要距离度量方法21、什么是频繁项集22、关联规则的2大指标，支持度，可信度，（名词解释）23、什么是关联规则？怎样通过频繁K项集产生关联规则24、什么是贝叶斯网络及作用25、ID3算法及步骤26、神经网络的优缺点，bp网络的优缺点27、分工神经网络主要是模拟人脑的哪些能力？单层感知器有什么缺点？28、什么是过拟合，怎么解决过拟合？29、衡量模式识别与机器学习算法优劣的标准30、什么是有监督学习、什么无监督学习31、基于最小错误率的贝叶斯决策及基于最小风险的贝叶斯决策解决实际问题。
32、贝叶斯决策算法，最小风险贝叶斯、感知器算法、Apriori 算法、、K-中心算法、k-均值算法，等算法，步骤及伪代码。
实际问题示例：1、支持度20%，置信度20%，用Apriori 算法找出所有关联规则（要求完整步骤，写出所有的候选集，k 项集，及所有关联规则）2、识别鲈鱼和鲑鱼，其先验概率分别为 P(w 1)=0.9，P(w 2)=0.1，现有一待识别的鱼，其观察值为x ，从类条件概率密度分布曲线上查得1()0.6P x w =，4.0)(2=w x P ，并且已知011=λ，123λ=，121=λ，022=λ，分别写出自小风险和最小错误率的贝叶斯决策过程。
哈工大模式识别课程5非线性判别函数
【局部训练方法】
参加训练的局部样本集由两类样本 组成。这些区域称之为“交遇区”，局部 组成。这些区域称之为“交遇区” 训练法就是基于交遇区内样本进行设计的 。 要解决的几个问题是： 要解决的几个问题是： (1) 如何从样本集中找到“交遇区” 如何从样本集中找到“交遇区” ； (2)如何利用“交遇区”中的样本设计 (2)如何利用“交遇区” 如何利用 线性分类器； 线性分类器； (3)如何进行分类决策。下面就这些问 (3)如何进行分类决策。 如何进行分类决策 题分别进行讨论。 题分别进行讨论。 。
二次判别函数
【 定义】
二次判别函数的一般表达式： 二次判别函数的一般表达式：
g ( x) = x Wx + w x + ω0
T T
决策面为超二次曲面，包括超球面、超椭球面、超双曲面等。 决策面为超二次曲面，包括超球面、超椭球面、超双曲面等。
【二次判别函数的构造方法】
例如，一类样本分布成团，另一类均匀散布在其周围： 例如，一类样本分布成团，另一类均匀散布在其周围：
【局部训练方法】
算法步骤 步骤1 步骤1：产生初始超平面 步骤2：初始决策面最佳化 步骤2 步骤3 步骤3：新决策面的产生与最佳化
【局部训练方法】
在使用上述方法得到一组超平面作为分段线性分类器的分界 面后，仅对交遇区的样本集进行性能检测有时不能发现存在的问 面后， 需要使用全体样本对其进行性能检验， 题，需要使用全体样本对其进行性能检验，观察其能否对全体样 本作出合理的划分。
【基于距离的分段线性判别函数】
§4.1.1 概念的提出
正态分布条件下， 正态分布条件下，两类别 问题在各特征统计独立、 问题在各特征统计独立、同方 且先验概率相等情况下， 差、且先验概率相等情况下， 最小错误率决策可按最小距离 决策， 决策，即
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
w T a w1 ,..., wd , w0 w0
14
广义线性判别函数
线性判别函数的齐次简化：
g (x) w x w0 a y
T T
增广样本向量使特征空间增加了一维，但保持了样 本间的欧氏距离不变，对于分类效果也与原决策面 相同，只是在Y空间中决策面是通过坐标原点的， 这在分析某些问题时具有优点，因此经常用到。
g (x) aT y 如果存在权向量a使 aT y n 0, n 1, 2,..., N 称y n 被正确分类。分类器被看做求N个线性不等式的解
15
广义线性判别函数
例1：设五维空间的线性方程为 55x1+68x2+32x3+16x4+26x5+10 =0，试求出其权向 量与样本向量点积的表达式wTx+w0=0中的w，x以及 增广权向量与增广样本向量形式aTy中的a与y。 答： 样本向量：x = (x1, x2, x3, x4, x5)T 权向量：w = (55, 68, 32, 16, 26)T, w0=10 增广样本向量：y = (1, x1, x2, x3, x4, x5)T 增广权向量：a = (10, 55, 68, 32, 16, 26)T
xKi T
T w (x m i )(x m i ) w xKi T w Si w
T T % % % Sw S1 S1 w (S1 S2 )w w Sww
24
Fisher准则函数
评价投影方向w的原则，使原样本向量在该
方向上的投影能兼顾类间分布尽可能分开， 类内尽可能密集的要求 Fisher准则函数的定义： T % Sb w Sb w J F ( w) % % T S S w S w
概率密度函数
决策规则： 判别函数 决策面方程
x1
g1
• “最优”分类器：错误 率最小，风险最小等对 分类器设计在理论上有 指导意义
w2 x2
. . .
g2
. . .
MAX
y(x)
• 获取统计分布及其参数 很困难，实际问题中并 不一定具备获取统计分 布的条件
3
wd xd
gc
判别函数
基于训练样本确定判别函数
i 1, 2
2 T T 2 % % % Sb ( m 1 m2 ) ( w m1 w m 2 )
w (m1 m 2 )(m1 m 2 ) w w Sb w
T T T
23
样本与其投影统计量间的关系
% S i
y i 2 % ( y mi ) T T 2 ( w x w m ) i
w* argmax J ( K , w)
w
应用
对于未知样本x，计算g(x)，判断其类别
5
线性判别函数
d维空间中的线性判别函数的一般形式：
g (x) w x w0
T
x是样本向量，即样本在d维特征空间中的描 述， w是权向量，w0是一个常数(阈值权)
T
x x1 , x2 , ...xd
r w r是x到H的垂直距离 x p是x在H 上的投影向量 w0 r0 w
w0 w
x2
w
R1: g>0
xp
x
r
R2: g<0
g x w
x1
H: g=0
11
广义线性判别函数
线性判别函数是形式最为简单的判别函数， 但是它不能用于复杂情况 例：设计一个一维分类器，使其功能为：
x b 或 x a 则决策x 1 如果 则决策x 2 bxa
16
广义线性判别函数
例2：有一个三次判别函数：z=g(x)=x3+2x2+3x+4。试建 立一映射x→y，使得z转化为y的线性判别函数。
答：映射X→Y如下：
y1 1 a1 4 y x a 3 2 2 y 2 ，a y3 x a3 2 3 y x 4 a4 1
第五章 线性判别函数
线性判别函数 Fisher线性判别
最小平方误差准则
多类问题 分段线性判别函数
5.1 问题的提出
Generative→Discriminative
基于样本的Bayes分类器：通过估计类条件概率密度函数， 设计相应的判别函数 训练 样本集
w1
样本分布的 统计特征：
z g ( x ) h( y ) aT y ai yi
i 1
4
17
广义线性判别函数
例3：设在三维空间中一个两类别分类问题拟采用二次 曲面。如欲采用广义线性方程求解，试问其广义样 本向量与广义权向量的表达式，其维数是多少？ 答：设该二次曲面方程为:
二次 曲面
2 2 2 ax1 bx2 cx3 dx1x2 ex1x3 fx2 x3 gx1 hx2 lx3 m 0
决策规则： 判别函数 决策面方程
该样本集中的 每个样本的类 别已知
4
线性分类器设计步骤
设 计
线性分类器设计任务：给定样本集K，确定线性判别 函数 g(x)=wTx 的各项系数w：
1. 收集一组样本K={x1,x2,…,xN} 2. 按需要确定一准则函数J(K,w)，其值反映分类 器的性能，其极值解对应于“最优”决策 3. 用最优化技术求准则函数J的极值解w*，从而 确定判别函数，完成分类器设计
18
5.2 Fisher线性判别 — 降维/两类
线性判别函数 y
•
= g(x) = wTx :
•
•
样本向量x各分量的线性加权 样本向量x与权向量w的向量点积 如果|| w ||=1，则视作向量x在w上的投影
Fisher准则的基本原理：找到一个最理想的
投影轴，使两类样本在该轴上投影之间的距 离尽可能远，而每一类样本的投影尽可能紧 凑，从而使分类效果为最佳
广义 权向量
广义样 本向量
a (a, b, c, d , e, f , g, h, l , m)T
y ( x12 , x22 , x32 , x1x2 , x1x3 , x2 x3 , x1, x2 , x3,1,)T
z g (x) h( y) a y
T
维数为10
广义线性 判别函数
分类规则:
y w x w0 0 x 1
T T
y w x w0 0 x 2
27
Fisher准则举例
例1：设两类样本的类内离散矩阵分 别为S1，S2，各类样本均值分别为 m1=(2, 0)T, m2=(2, 2)T, 试用Fisher准 则求其决策面方程
解
i 1, 2
%S % S % S w 1 2
2 % (m % % S m ) b 1 2
样本类间离散度
以上定义描述d维空间样本点到一向量投影后的 分散情况22ຫໍສະໝຸດ 原样本与其投影统计量间的关系
样本x与其投影 y
的统计量之间的关系：
1 % m i Ni
1 T T y w x w mi , Ni yKi y i
判别函数：
g ( x) ( x a)( x b)
12
广义线性判别函数
二次函数的一般形式：
g ( x) c0 c1x c2 x
2
映射X→Y
y1 1 a1 c0 x ，a a c y y 2 2 1 2 y x 3 a3 c2
x2
w0 w
w
R1: g>0
xp
x r
g x w
x1
R2: g<0
H: g=0
10
线性判别函数的几何意义
w x xp r w
结论：利用线性判别函数进行决策，就是用一个 超平面把特征空间分割成两个决策区域，超平面 方向由权向量W决定，它的位置由阈值权w0确定
=0
T w w w T T T g (x) w x w0 w（x p r ） w0 W x p w0 r ） w w
9
线性判别函数的几何意义
决策面(decision boundary) H 方程：g(x)=0 决策面将特征空间分成决策区域 向量w是决策面H的法向量 g(x)是点x到决策面H的距离的一种代数度量
w x xp r , w r是x到H的垂直距离 x p 是x在H 上的投影向量 g ( x) r w
w w1 , w2 , ...wd
T
6
为了说明向量W的意义，我 们假设在决策平面上有两个 特征向量X1与X2，则应有
w
x2
其中(X1-X2)也是一个向量， 上式表明向量W与该平面上 任两点组成的向量(X1-X2)正 交，因此W的方向就是决策 面的法线方向
x1
平面g x 0
7
两类问题的分类决策规则
g(x)>0, 则决策x 1 如果 g(x)<0, 则决策x 2 g(x)=0, 可将其任意分类或拒绝
x2
1
g( x ) 0
2
x1
8
构造一个二类模式的线性分类器，如下图所示：
g(X )=0 是决策面方程，它是两类模式的分界，对于二维 空间情况，它是一条直线；对于三维情况，它是一个平面；而 对于高维空间的情况，则是一个超平面
xi
Sw S1 S2
样本类间离散度矩阵Sb： Sb (m1 m2 )(m1 m2 )T