第三章 判别分析
合集下载
第三章 线性判别分析_非参数判别分类方法-第三次课
即可判成ω１、 ω2中的任意一类。
第3章 线性判别分析
两类判决区域的分界面为
T
g 1 ( x) g 2 ( x)
g (x) w x w0 w1 x1 w2 x2 wd xd w0 0
其几何意义为d维欧几里德空间中的一个超平面。 (1) w是超平面的法向量。 如果取最大判决, w指向R1, R1中的点在H的正侧。 (2) g(x)是x到超平面距离的一种代数距离。
x
x
i
(i 1, 2)
(i 1, 2)
T S ( x μ )( x μ ) (2) 样本类内离散度矩阵Si: i i i xi
总类内离散度矩阵Sw:
S w S1 S 2
S w P(1 )S1 P(2 )S 2 若考虑先验概率, 则
(3) 样本类间离散度矩阵Sb: Sb (μ1 μ 2 )(μ1 μ 2 )T 若考虑先验概率, 则类间离散度矩阵Sb定义为
(3-20)
第3章 线性判别分析
当类概率密度函数为正态分布或接近正态分布时, 即
p( x | i ) (2 )
d 2
i
1 2
1 T 1 exp ( x i ) i ( x i ) (3-21) 2
取自然对数有
1 d 1 T 1 gi ( x) ( x i ) i ( x i ) ln(2 ) ln i ln P(i ) 2 2 2
设计线性判别函数的任务就是在一定条件下, 寻找 最好的w和w0 , 其关键在于最优准则以及相应的求解方 法。
第3章 线性判别分析
(1) 选择样本集z={x1, x2, …, xN}。 样本集中的样本来自两
《多元统计分析》第三章 判别分析
8
v (3) 交叉验证法（或称刀切法）
Ø 从组π1中取出x1j，用该组的其余n1−1个观测值和组π2的n2个观测值构造 判别函数，然后对x1j进行判别，j=1,2,⋯ ,n1。同样，从组π2中取出x2j， 用这一组的其余n2−1个观测值和组π1的n1个观测值构造判别函数，再对 x2j作出判别，j=1,2,⋯ ,n2。
v (1) 回代法
Ø 令n(2|1)——样本中来自π1而误判为π2的个数，n(1|2)——样本中来自π2
而误判为π1的个数，则P(2|1) 和P(1|2) 可估计为
Pˆ
2
| 1
n
2
| 1
,
Pˆ 1 | 2 n 1 | 2
n1
n2
Ø 该方法简单、直观，且易于计算。但它给出的估计值通常偏低，当样
xΣ 1x 2 Iix ci
其中 Ii
Σ 1 μi , ci
1 2
μiΣ 1 μi ,i
1, 2,, k，判别规则简化为
x l,
若Ilx
cl
max
1 i k
Iix
ci
这里Ii′x+ci为线性判别函数。
x l,
若d
2
x,
l
v 当Σ1=Σ2=⋯ =Σk=Σ时，采用线性判 别函数。
v 当Σ1,Σ2,⋯ ,Σk不全相等时，采用二 次判别函数
v 实践中，Σ1,Σ2,⋯ ,Σk几乎不可能完 全相等。
x l ,
若Iˆlx
cˆl
max
1 i k
Iˆix cˆi
Iˆi
v (3) 交叉验证法（或称刀切法）
Ø 从组π1中取出x1j，用该组的其余n1−1个观测值和组π2的n2个观测值构造 判别函数，然后对x1j进行判别，j=1,2,⋯ ,n1。同样，从组π2中取出x2j， 用这一组的其余n2−1个观测值和组π1的n1个观测值构造判别函数，再对 x2j作出判别，j=1,2,⋯ ,n2。
v (1) 回代法
Ø 令n(2|1)——样本中来自π1而误判为π2的个数，n(1|2)——样本中来自π2
而误判为π1的个数，则P(2|1) 和P(1|2) 可估计为
Pˆ
2
| 1
n
2
| 1
,
Pˆ 1 | 2 n 1 | 2
n1
n2
Ø 该方法简单、直观，且易于计算。但它给出的估计值通常偏低，当样
xΣ 1x 2 Iix ci
其中 Ii
Σ 1 μi , ci
1 2
μiΣ 1 μi ,i
1, 2,, k，判别规则简化为
x l,
若Ilx
cl
max
1 i k
Iix
ci
这里Ii′x+ci为线性判别函数。
x l,
若d
2
x,
l
v 当Σ1=Σ2=⋯ =Σk=Σ时，采用线性判 别函数。
v 当Σ1,Σ2,⋯ ,Σk不全相等时，采用二 次判别函数
v 实践中，Σ1,Σ2,⋯ ,Σk几乎不可能完 全相等。
x l ,
若Iˆlx
cˆl
max
1 i k
Iˆix cˆi
Iˆi
判别分析Discriminant Analysis
(1)有无某种疾病 例:计算机用于胃癌普查,用于中风预报. (2)疾病的鉴别诊断 例:计算机用于对肺癌,肺结核和肺炎进行鉴别诊断. (3)患有某疾病中的哪一种或哪一型 例:鉴别诊断单纯性或绞窄性肠梗阻. 鉴别诊断阑尾炎中的卡他性,蜂窝织炎, 坏疽性和腹膜炎.
用一个实例来说明判别分析的基本思想
2. 判别分析步骤 欲用显微分光光度计对病人细胞进行检查以判断 病人是否患有癌症. (1)根据研究目的确定研究对象(样本)及所用指标 例:110例癌症病人和190例正常人. 指标:X1,X2和X3. X1: 三倍体的得分,X2: 八倍体的得分,X3: 不 整倍体的得分.(0-10分)
考虑事前概率可适当提高判别的敏感性. 事前概率可据于文献报道或以往的大样本研 究.但是困难在于事前概率往往不容易知道; 如果训练样本是从所研究的总体中随机抽取 的,则可用训练样本中各类的发生频率Q(Yj) 来估计各类别的事前概率q(Yj).如果事前概 率未知,而又不可以用Q(Yj)来估计q(Yj),就 只能将事前概率取为相等值,即取q(Yj)=1/g.
训练样本的数据内容与符号 ——————————————————————————————————— 解释变量 个体号 ——————————————————————— 类别变量(Y) X1 X2 … Xj … XP ——————————————————————————————————— 1 X11 X12 … X1j … X1P y1 2 X22 X22 … X2j … X2P y2 … … … … … … … … i Xi1 Xi2 … Xij … XiP y3 … … … … … … … … n Xn1 Xn2 … Xnj … XnP yP ————————————————————————————————————
气象统计分析与预报方法：09_第三章-判别分析
2）不能获得的信息：医院中的病历记载了病人的 外表症状与体内疾病的关系。而体内疾病需要对 病人实施手术，或在病人去世后的解剖中才能搞 清楚。问题是，在没有某种强有力的手段的情况 下，如何由外表症状来诊断体内的疾病呢？
3）预报问题：实践或经历告诉我们，能够用某 时刻之前发生的一些现象来预测其后可能发生的 某些现象。我们观察这些前兆变量，并希望预报 与其有依赖关系的但尚未出现的现象。
§2 多级判别
在天气预报中，更常用的是多类或多级的预报、例如 降水量的预报可分为：暴雨、大雨、中雨、小雨和无雨 等五级．
判别函数离差平方和的分解 假设根据需要，把预报量分为G类，取样本容量为n的样
本。对此样本，根据预报量的G类级别分为G组，每组样 本容量分别n1,n2,n3,….nG.
选取p个因子x1，x2，…xp。类似二级判别,由它们的线性 组合构成一个判别函数，表示为
管变量对判别函数是否起作用及作用的大小。当对反映研 究对象特征的变量认识比较全面时可以选择此种方法。
向前选择法：是从判别模型中没有变量开始，每一步把
一个对判别模型的判断能力贡献大的变量引入模型。直到 没有被引人模型的变量没有一个符合进入模型的条件(判据) 时，变量的引入过程结束。当希望比较多的变量留在判别 函数中时使用向前选择法。
• SPSS对于分为p类的研究对象，建立q个线性判别函 数。对于每个个体进行判别时，把观测量的各变量 值代入判别函数，得出判别分数，从而确定该个体 属于哪一类，或计算属于各类的概率，从而判别该 个体属于哪一类。还建立标准化和未标准化的典则 判别函数。
步骤
1 根据实际需要，构造预测量的定性数量特征序列； 2 选择若干前期因子，利用因子与预报量的关系，建立因子与 预报量类别的关系表达式（须经过统计显著性检验）； 3 选择适当的规则，判别某一次因子样品所属的类别，以实现 对预报量类别的预报。
3）预报问题：实践或经历告诉我们，能够用某 时刻之前发生的一些现象来预测其后可能发生的 某些现象。我们观察这些前兆变量，并希望预报 与其有依赖关系的但尚未出现的现象。
§2 多级判别
在天气预报中，更常用的是多类或多级的预报、例如 降水量的预报可分为：暴雨、大雨、中雨、小雨和无雨 等五级．
判别函数离差平方和的分解 假设根据需要，把预报量分为G类，取样本容量为n的样
本。对此样本，根据预报量的G类级别分为G组，每组样 本容量分别n1,n2,n3,….nG.
选取p个因子x1，x2，…xp。类似二级判别,由它们的线性 组合构成一个判别函数，表示为
管变量对判别函数是否起作用及作用的大小。当对反映研 究对象特征的变量认识比较全面时可以选择此种方法。
向前选择法：是从判别模型中没有变量开始，每一步把
一个对判别模型的判断能力贡献大的变量引入模型。直到 没有被引人模型的变量没有一个符合进入模型的条件(判据) 时，变量的引入过程结束。当希望比较多的变量留在判别 函数中时使用向前选择法。
• SPSS对于分为p类的研究对象，建立q个线性判别函 数。对于每个个体进行判别时，把观测量的各变量 值代入判别函数，得出判别分数，从而确定该个体 属于哪一类，或计算属于各类的概率，从而判别该 个体属于哪一类。还建立标准化和未标准化的典则 判别函数。
步骤
1 根据实际需要，构造预测量的定性数量特征序列； 2 选择若干前期因子，利用因子与预报量的关系，建立因子与 预报量类别的关系表达式（须经过统计显著性检验）； 3 选择适当的规则，判别某一次因子样品所属的类别，以实现 对预报量类别的预报。
判别分析_精品文档
判别分析导言判别分析是统计学中一种常用的数据分析方法，用于区分不同群体或类别之间的差异。
它通过寻找最佳的分类边界，帮助我们预测或判定未知样本的分类。
判别分析常用于模式识别、数据挖掘、生物学、医学等领域。
本文将介绍判别分析的基本概念、应用领域和算法。
一、判别分析的基本概念判别分析旨在通过构造合适的判别函数，将不同群体或类别的样本区分开来。
判别函数的建立是判别分析的核心任务，而判别函数的类型通常根据问题的特点来选择。
常见的判别函数有线性判别函数、二次判别函数、贝叶斯判别函数等。
判别分析的目标是使得样本在不同类别的判别函数值有较大差异。
二、判别分析的应用领域1. 模式识别判别分析在模式识别中的应用非常广泛。
通过判别分析，我们可以建立能够识别不同模式的模型。
例如，在人脸识别任务中，我们可以使用判别分析来建立一个分类器，能够将不同人脸的图像正确分类。
2. 数据挖掘在数据挖掘领域，判别分析可以帮助我们发现变量之间的关系，并进行预测。
通过对已有数据进行判别分析，我们可以预测未知样本的分类。
例如，在市场营销中，通过对消费者进行判别分析，我们可以预测消费者的购买行为，从而制定更精准的营销策略。
3. 生物学和医学判别分析在生物学和医学领域中也有广泛的应用。
例如，在癌症诊断中，通过对患者的临床数据进行判别分析，我们可以建立一个分类器，能够判断该患者是否患有癌症。
三、判别分析的算法判别分析的算法根据问题的特点和要求选择。
下面介绍两种常见的判别分析算法：1. 线性判别分析（LDA）线性判别分析是一种常见且简单的判别分析算法。
它的核心思想是通过将高维数据映射到低维空间中，使得不同类别的样本在投影空间中有较大的差异。
在LDA算法中，我们需要计算类内散度矩阵和类间散度矩阵，并求解其特征值和特征向量，从而确定投影向量。
2. 二次判别分析（QDA）二次判别分析是一种更为复杂的判别分析算法。
它假设不同类别的样本的协方差矩阵不相等，即每个类别内部的变化程度不同。
判别分析完整课件
D ( y(1) y( 2) )(n1 n2 2) ( ci di )(n1 n2 2)
2 i 1 m
m为判别指标数，根据自由度查F(m,n1+n2-m-1)。
（三）确定判别临界值
确定两类的判别临界值（即两类的分界点）yc， 据此对未知样本作出判断。
yc
n1 y(1) n2 y( 2 ) n1 n2
在医学科研资料中经常遇到指标变量不呈正态分 布或难以满足参数判别分析的要求，特别是有些 变量是分类变量，不可能服从正态分布，可以用 Logistic回归分析的方法。
实际资料中一般含有较多的指标，有些指标可能 对鉴别不同的类别毫无用处，或指标间彼此相关的情 况时不应该用所有的指标都参与建判别函数。所以， 在建函数之前，先进行变量筛选是很有必要的，即逐 步判别分析,此法建立的函数更简洁，效果也更好。 此外,对于某些指标间存在彼此相关的情况时, 先对众多的指标进行聚类，从聚成的几大类中各挑选 一个最有代表性的指标，用这些典型指标建立判别函 数。 逐步回归、判别分析、聚类分析等方法可以联合 应用。
y ci xi
i 1 n
2
n1
(y
i 1
n2
i ( 2)
y( 2 ) )
2
y(1) ck xk (1)
k 1
n1
y( 2) ck xk ( 2)
k 1
n2
根据求极值的原理，求I对判别系数Ci的偏导数，使其等 于零，得到下列方程组：
f11C1+f12C2+……f1mCm=d1 f21C1+f22C2+……f2mCm=d2 ……… …… …… ……… ….. fm1C1+fm2C2+……fmmCm=dm 其中， di
2 i 1 m
m为判别指标数，根据自由度查F(m,n1+n2-m-1)。
（三）确定判别临界值
确定两类的判别临界值（即两类的分界点）yc， 据此对未知样本作出判断。
yc
n1 y(1) n2 y( 2 ) n1 n2
在医学科研资料中经常遇到指标变量不呈正态分 布或难以满足参数判别分析的要求，特别是有些 变量是分类变量，不可能服从正态分布，可以用 Logistic回归分析的方法。
实际资料中一般含有较多的指标，有些指标可能 对鉴别不同的类别毫无用处，或指标间彼此相关的情 况时不应该用所有的指标都参与建判别函数。所以， 在建函数之前，先进行变量筛选是很有必要的，即逐 步判别分析,此法建立的函数更简洁，效果也更好。 此外,对于某些指标间存在彼此相关的情况时, 先对众多的指标进行聚类，从聚成的几大类中各挑选 一个最有代表性的指标，用这些典型指标建立判别函 数。 逐步回归、判别分析、聚类分析等方法可以联合 应用。
y ci xi
i 1 n
2
n1
(y
i 1
n2
i ( 2)
y( 2 ) )
2
y(1) ck xk (1)
k 1
n1
y( 2) ck xk ( 2)
k 1
n2
根据求极值的原理，求I对判别系数Ci的偏导数，使其等 于零，得到下列方程组：
f11C1+f12C2+……f1mCm=d1 f21C1+f22C2+……f2mCm=d2 ……… …… …… ……… ….. fm1C1+fm2C2+……fmmCm=dm 其中， di
判别分析
判别分析
多变量统计分析方法
01 简介
03 判别函数
目录
02 基本思想 04 建立方法
05 判别方法
07 应用
目录
06 验证方法
基本信息
判别分析又称“分辨法”，是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的 一种多变量统计分析方法。
其基本原理是按照一定的判别准则，建立一个或多个判别函数，用研究对象的大量资料确定判别函数中的待 定系数，并计算判别指标。据此即可确定某一样本属于何类。
3）Fisher判别：亦称典则判别，是根据线性Fisher函数值进行判别，通常用于梁祝判别问题，使用此准则 要求各组变量的均值有显著性差异。该方法的基本思想是投影，即将原来在R维空间的自变量组合投影到维度较低 的D维空间去，然后在D维空间中再进行分类。投影的原则是使得每一类的差异尽可能小，而不同类间投影的离差 尽可能大。Fisher判别的优势在于对分布、方差等都没有任何限制，应用范围比较广。
判别方法
判别方法
判别方法是确定待判样品归属于哪一组的方法，可分为参数法和非参数法，也可以根据资料的性质分为定性 资料的判别分析和定量资料的判别分析。此处给出的分类主要是根据采用的判别准则分出几种常用方法。除最大 似然法外，其余几种均适用于连续性资料。
1）最大似然法：用于自变量均为分类变量的情况，该方法建立在独立事件概率乘法定理的基础上，根据训 练样品信息求得自变量各种组合情况下样品被封为任何一类的概率。当新样品进入是，则计算它被分到每一类中 去的条件概率（似然值），概率最大的那一类就是最终评定的归类。
基本思想
基本思想
根据判别中的组数，可以分为两组判别分析和多组判别分析； 根据判别函数的形式，可以分为线性判别和非线性判别； 根据判别式处理变量的方法不同，可以分为逐步判别、序贯判别等； 根据判别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等。
多变量统计分析方法
01 简介
03 判别函数
目录
02 基本思想 04 建立方法
05 判别方法
07 应用
目录
06 验证方法
基本信息
判别分析又称“分辨法”，是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的 一种多变量统计分析方法。
其基本原理是按照一定的判别准则，建立一个或多个判别函数，用研究对象的大量资料确定判别函数中的待 定系数，并计算判别指标。据此即可确定某一样本属于何类。
3）Fisher判别：亦称典则判别，是根据线性Fisher函数值进行判别，通常用于梁祝判别问题，使用此准则 要求各组变量的均值有显著性差异。该方法的基本思想是投影，即将原来在R维空间的自变量组合投影到维度较低 的D维空间去，然后在D维空间中再进行分类。投影的原则是使得每一类的差异尽可能小，而不同类间投影的离差 尽可能大。Fisher判别的优势在于对分布、方差等都没有任何限制，应用范围比较广。
判别方法
判别方法
判别方法是确定待判样品归属于哪一组的方法，可分为参数法和非参数法，也可以根据资料的性质分为定性 资料的判别分析和定量资料的判别分析。此处给出的分类主要是根据采用的判别准则分出几种常用方法。除最大 似然法外，其余几种均适用于连续性资料。
1）最大似然法：用于自变量均为分类变量的情况，该方法建立在独立事件概率乘法定理的基础上，根据训 练样品信息求得自变量各种组合情况下样品被封为任何一类的概率。当新样品进入是，则计算它被分到每一类中 去的条件概率（似然值），概率最大的那一类就是最终评定的归类。
基本思想
基本思想
根据判别中的组数，可以分为两组判别分析和多组判别分析； 根据判别函数的形式，可以分为线性判别和非线性判别； 根据判别式处理变量的方法不同，可以分为逐步判别、序贯判别等； 根据判别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等。
《判别分析》课件
在金融领域的应用
信用评分
利用判别分析模型，通过借款人 的特征和历史表现，预测其未来 违约风险，为金融机构提供信贷
决策依据。
市场风险评估
判别分析用于评估金融市场风险 ，通过分析市场数据和变量，预 测市场走势，帮助投资者做出合
理决策。
投资组合优化
利用判别分析对投资组合进行优 化，通过评估不同资产的风险和 回报，为投资者提供最佳资产配
对判别分析的未来展望
改进算法
针对判别分析的假设严格问题，未来研究可以尝试改进算法，放宽 假设条件，使其更适用于实际数据。
结合其他技术
可以考虑将判别分析与其它机器学习算法相结合，如神经网络、支 持向量机等，以提高分类性能和泛化能力。
拓展应用领域
随着大数据时代的到来，判别分析在各个领域的应用越来越广泛，未 来可以进一步拓展其应用领域，解决更多实际问题。
在市场营销中，判别分析可用于市场 细分，根据消费者的购买行为、偏好 和需求等因素，将市场划分为不同的 细分市场，帮助企业制定更加精准的 市场策略。
广告投放优化
通过判别分析对广告投放效果进行评 估和优化，基于历史数据和实时监测 数据，分析不同广告渠道和创意的表 现，提高广告投放的效率和效果。
06 判别分析的案例分析
金融领域的判别分析案例
信用风险评估
利用判别分析对银行客户进行信用风险评估，根据客户的历 史表现和其他相关信息，预测其未来违约的可能性，帮助银 行制定更加精准的信贷政策。
股票市场预测
通过判别分析对股票市场走势进行预测，基于历史数据和市 场信息，构建预测模型，以指导投资者进行投资决策。
1. 单变量判别函数
基于单个特征的判别函数。
2. 多变量判别函数
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
但是用肉眼观察划定的判别线，太主观，具有随意性
能否找到一个客观的判定标准，确定出判别线？
点聚图
判别分析的基本模型 为了确定客观的判定标准，可先把两个因子的作用综合起来， 采用一种简单的线性组合的形式构造出另一新变量 y，即：
y=c1x1+c2x2
上式称为“判别方程”，y是x1和x2的函数，称为判别函数，c1 与c2称为判别系数。 如果c1和c2已知，那么对于任意一对x1和x2的观测值，代入上式可 以得到一个判别函数值。 注意： 判别方程中的因子x1和x2都是数值型变量，所以y也是 “数值”型变量，但是，预报对象却是“类别”型变量。
拥有的资料——历史样本： m个因子，观测到容量为n的样本，该资料阵可记为X(m行n列)。 X的每一列称为一个“样品” 。
x11 x X = 21 xm1
x12 ... x1n x22 ... x2 n xm 2 ... xmn
根据对预报对象的历史观测，把这n个样品分成A、B两类，容量分别为n1和n2， 有n1+n2=n, 于是原资料阵X分成了2个资料阵X(A)和X(B): x11 (B) x12 (B) ... x1n2 (B) x11 (A) x12 (A) ... x1n1 (A) x21 (A) x22 (A) ... x2 n1 (A) X (B)= x21 (B) x22 (B) ... x2 n2 (B) X (A)= xm1 (A) xm 2 (A) ... xmn1 (A) xm1 (B) xm 2 (B) ... xmn2 (B)
这两个因子都是数值型的数据，因此可以把现有的观测资料绘在二维的平面图上， 同时标注所属的类别(右图空心与实心圆点)。这种图称为“点聚图”。
判别分析的目的，就是希望利用这些已经观测到的数据 及其类别，确定出分类标准（如右图划定一条虚线将两 类隔开，称为“判别线”）；对于未来观测到的任意一 对因子的数值，我们就可根据圆点与虚线的相对位置， 预测出未来预报量的“类别”。
判别平面上的点投影到平面x1Ox2上就是点聚图， y=yc与判别平面的交线为DH，DH在平面x1Ox2上 的投影D’H’ 就是“判别线” 。
判别分析的目的
判别分析的目的就是要找到一个最佳的判别线D’H’把实心点和空心点分隔开来， 也就是要找到一个最佳的判别平面（ y=c1x1+c2x2 ）并确定yc，让y=yc把判别平 面上的两类圆点分开。
[ y (A) y(A)] [ y (B) y(B)] 尽可能小
2 2 t 1 t t 1 t
n1
n2
(2)不同类别的散点之间的距离越远越好，即：
[ y(A) y(B)]2 尽可能大
即：同一类别内部的差异要尽可能小，两种类别之间的差异要尽可能大。 将以上两条准则综合起来，要求下式达到最大：
因此需要把判别函数值y转换成类别型。可以给出一个判别指标yc， 把y>yc和y<yc 定义为不同的类别。
判别函数的几何解释 还以二元判别(两个因子) 为例， 判别函数y=c1x1+c2x2 可以在三维空间中确定一个 平面，称为“判别平面”。
对于任意一对因子x1和x2，代入判别方程得到y值， 对应于判别平面上的一个点，平面y=yc把这些点 分割成两种类别。
第三章 判别分析
费史尔(Fisher)准则判别分析 贝叶斯(Bayes)准则判别分析
Hale Waihona Puke • 第二章的“回归分析”是通过寻找因子，组建回归方程，对预
报量的数值进行预报。
• 然而，有些预报量并非呈现具体的数值，而是分成若干级别或 类别。
如 降水预报可以只有“有雨”和“无雨”两类，或者更细分为暴雨、 大雨、中雨、小雨等；台风路径有西路、北路、西北、原地打转等几种类
=
[ y (A) y(B)]2
[ y (A) y(A)] [ y (B) y(B)]
2 t 1 t t 1 t
n1
n2
2
费史尔(Fisher)判别准则
下一步，在Fisher判别准则下，如何确定出判别系数？
判别系数的确定
问题：对于m个因子，要确定其判别函数：
y c1 x1 c2 x2 ... cm xm
任一个样品xj(矩阵中的第j列)可以代入判别函数，得到一个yj，yj=cTxj
于是，对于A类和B类，各有一个y向量，长度分别为n1和n2：
y (A) [ y1 (A), y2 (A), ... , yn1 (A)]T
其中：
y (B) [ y1 (B), y2 (B), ... , yn2 (B)]T
关于准则： 回归分析中，回归系数的确定准则是使得残差的平方和Q达最小，那么， 判别分析中，判别平面的确定需要采取什么准则？
Fisher准则
为了能让两种类别的圆点更好的区分开，我们希望判别平面上，两种类别 （晴天与雨天）所对应的圆点分开得越远越好， 这包含两个意思： (1)同一类别内部的判别函数值越集中越好，即：
别。
• 这时，预报的任务是要判定预报对象在未来某时刻属于哪种类 别，而不是估计它的具体数值。这就是“判别分析”的任务。
第三章1
二级判别
费史尔(Fisher)准则判别分析
预报对象只有两种类别的判别称为“二级判别”。例如“有雨”和“无雨”。
要想对预报对象的类别进行预测，也需要像回归分析那样寻找多个因子。 例如，要预报“晴”或“雨”，以两个因子为例，找到了24小时变压(x1)和温度露 点差(x2)，都可能与晴雨有关。
m
yt (A) c1 x1t (A) c2 x2t (A) ... cm xmt (A)= ck xkt (A)
k 1 m
yt (B) c1 x1t (B) c2 x2t (B) ... cm xmt (B) ck xkt (B)
k 1
根据Fisher判别准则，想寻找一组判别系数c1,c2, …, cm, 使得： E 最大 F 由微分学极值原理知，要使λ达到最大值，必须满足：
能否找到一个客观的判定标准，确定出判别线？
点聚图
判别分析的基本模型 为了确定客观的判定标准，可先把两个因子的作用综合起来， 采用一种简单的线性组合的形式构造出另一新变量 y，即：
y=c1x1+c2x2
上式称为“判别方程”，y是x1和x2的函数，称为判别函数，c1 与c2称为判别系数。 如果c1和c2已知，那么对于任意一对x1和x2的观测值，代入上式可 以得到一个判别函数值。 注意： 判别方程中的因子x1和x2都是数值型变量，所以y也是 “数值”型变量，但是，预报对象却是“类别”型变量。
拥有的资料——历史样本： m个因子，观测到容量为n的样本，该资料阵可记为X(m行n列)。 X的每一列称为一个“样品” 。
x11 x X = 21 xm1
x12 ... x1n x22 ... x2 n xm 2 ... xmn
根据对预报对象的历史观测，把这n个样品分成A、B两类，容量分别为n1和n2， 有n1+n2=n, 于是原资料阵X分成了2个资料阵X(A)和X(B): x11 (B) x12 (B) ... x1n2 (B) x11 (A) x12 (A) ... x1n1 (A) x21 (A) x22 (A) ... x2 n1 (A) X (B)= x21 (B) x22 (B) ... x2 n2 (B) X (A)= xm1 (A) xm 2 (A) ... xmn1 (A) xm1 (B) xm 2 (B) ... xmn2 (B)
这两个因子都是数值型的数据，因此可以把现有的观测资料绘在二维的平面图上， 同时标注所属的类别(右图空心与实心圆点)。这种图称为“点聚图”。
判别分析的目的，就是希望利用这些已经观测到的数据 及其类别，确定出分类标准（如右图划定一条虚线将两 类隔开，称为“判别线”）；对于未来观测到的任意一 对因子的数值，我们就可根据圆点与虚线的相对位置， 预测出未来预报量的“类别”。
判别平面上的点投影到平面x1Ox2上就是点聚图， y=yc与判别平面的交线为DH，DH在平面x1Ox2上 的投影D’H’ 就是“判别线” 。
判别分析的目的
判别分析的目的就是要找到一个最佳的判别线D’H’把实心点和空心点分隔开来， 也就是要找到一个最佳的判别平面（ y=c1x1+c2x2 ）并确定yc，让y=yc把判别平 面上的两类圆点分开。
[ y (A) y(A)] [ y (B) y(B)] 尽可能小
2 2 t 1 t t 1 t
n1
n2
(2)不同类别的散点之间的距离越远越好，即：
[ y(A) y(B)]2 尽可能大
即：同一类别内部的差异要尽可能小，两种类别之间的差异要尽可能大。 将以上两条准则综合起来，要求下式达到最大：
因此需要把判别函数值y转换成类别型。可以给出一个判别指标yc， 把y>yc和y<yc 定义为不同的类别。
判别函数的几何解释 还以二元判别(两个因子) 为例， 判别函数y=c1x1+c2x2 可以在三维空间中确定一个 平面，称为“判别平面”。
对于任意一对因子x1和x2，代入判别方程得到y值， 对应于判别平面上的一个点，平面y=yc把这些点 分割成两种类别。
第三章 判别分析
费史尔(Fisher)准则判别分析 贝叶斯(Bayes)准则判别分析
Hale Waihona Puke • 第二章的“回归分析”是通过寻找因子，组建回归方程，对预
报量的数值进行预报。
• 然而，有些预报量并非呈现具体的数值，而是分成若干级别或 类别。
如 降水预报可以只有“有雨”和“无雨”两类，或者更细分为暴雨、 大雨、中雨、小雨等；台风路径有西路、北路、西北、原地打转等几种类
=
[ y (A) y(B)]2
[ y (A) y(A)] [ y (B) y(B)]
2 t 1 t t 1 t
n1
n2
2
费史尔(Fisher)判别准则
下一步，在Fisher判别准则下，如何确定出判别系数？
判别系数的确定
问题：对于m个因子，要确定其判别函数：
y c1 x1 c2 x2 ... cm xm
任一个样品xj(矩阵中的第j列)可以代入判别函数，得到一个yj，yj=cTxj
于是，对于A类和B类，各有一个y向量，长度分别为n1和n2：
y (A) [ y1 (A), y2 (A), ... , yn1 (A)]T
其中：
y (B) [ y1 (B), y2 (B), ... , yn2 (B)]T
关于准则： 回归分析中，回归系数的确定准则是使得残差的平方和Q达最小，那么， 判别分析中，判别平面的确定需要采取什么准则？
Fisher准则
为了能让两种类别的圆点更好的区分开，我们希望判别平面上，两种类别 （晴天与雨天）所对应的圆点分开得越远越好， 这包含两个意思： (1)同一类别内部的判别函数值越集中越好，即：
别。
• 这时，预报的任务是要判定预报对象在未来某时刻属于哪种类 别，而不是估计它的具体数值。这就是“判别分析”的任务。
第三章1
二级判别
费史尔(Fisher)准则判别分析
预报对象只有两种类别的判别称为“二级判别”。例如“有雨”和“无雨”。
要想对预报对象的类别进行预测，也需要像回归分析那样寻找多个因子。 例如，要预报“晴”或“雨”，以两个因子为例，找到了24小时变压(x1)和温度露 点差(x2)，都可能与晴雨有关。
m
yt (A) c1 x1t (A) c2 x2t (A) ... cm xmt (A)= ck xkt (A)
k 1 m
yt (B) c1 x1t (B) c2 x2t (B) ... cm xmt (B) ck xkt (B)
k 1
根据Fisher判别准则，想寻找一组判别系数c1,c2, …, cm, 使得： E 最大 F 由微分学极值原理知，要使λ达到最大值，必须满足：