判别分析
判别分析(第4节_Fisher判别法)
第一节 第二节 第三节 第四节 第五节
绪论 距离判别法 贝叶斯判别法 Fisher判别法 判别效果检验问题
第三节 贝叶斯（BAYES）判别法
■
多元正态总体的贝叶斯判别法
设 Gi ~ N p ( (i ) , i )(i 1,2,, k ) ，并假定错判损失相等，先 验概率 q1 , q2 ,, qk ，有时先验概率确定起来不是很明 n qi i 确的，这时可用“样品频率”代替，即可令 。 n
第三节 贝叶斯（BAYES）判别法
其中 ( h ) , h 意义同前，已知后验概率为
P(Gh | x) qh f h ( x)
q f ( x)
i i i 1
k
由于上式中，分母部分为常数，所以有
P(Gh | x) max qh f h ( x) max
同时
1 1 qh f h ( x) qh (2 ) p / 2 | h |1/ 2 exp ( X ( h ) )h ( X (h) ) 2
* 故问题化简为 Z (Gh | x) max . h
ห้องสมุดไป่ตู้
注意：这里取对数可起到简化算式的作用，同时对数 函数是严格单调的，所以取对数不改变原问题的性质。
第三节 贝叶斯（BAYES）判别法
◆ 判别准则 下面分两种不同的情形考虑。
●
假设协方差阵都相等（ 1 2 k ）
2 2
exp[ y(G x]
i| i 1
k
注意：这意味着 P(Gh | x) max y(Gh | x) max
第三节 贝叶斯（BAYES）判别法
证明 因为 y(Gh | x) ln[qh f h ] ( x) ，其中 ( x) 是ln[ qh f h ]
统计学中的判别分析方法
统计学中的判别分析方法统计学是一门研究数据收集、分析和解释的学科，可以帮助我们更好地理解和利用数据。
判别分析是统计学中一种重要的方法，它可以用于解决分类问题和区分不同的群组。
本文将介绍判别分析的基本概念、应用场景以及常见的判别分析方法。
一、判别分析的基本概念判别分析（Discriminant Analysis）是一种用于确定某个变量（被称为判别变量）对于将不同个体或样本分组的有效性的方法。
在判别分析中，我们希望通过已有的数据集，找到一种线性或非线性的方式将不同类别的样本区分开来。
判别分析通常用于以下几个方面：1. 分类问题：当我们面对一个具有多个类别的问题时，判别分析可以帮助我们将样本分到不同的类别中。
2. 数据降维：判别分析可以将高维度的数据降低到较低维度，从而使数据更加易于理解和处理。
3. 特征选择：通过判别分析，我们可以确定哪些特征（自变量）对于区分不同类别的样本最具有判别性。
二、判别分析的应用场景判别分析在实际生活和各个领域中都有广泛的应用，下面列举几个常见的应用场景。
1. 医学诊断：判别分析可以通过分析病人的生理指标（如血压、心率等）来帮助确定病人是否患有某种疾病。
2. 金融风险评估：通过判别分析，可以将客户分为高风险和低风险群体，从而帮助金融机构评估和管理风险。
3. 文本分类：在自然语言处理领域，判别分析可以通过分析文本的特征来将文本分为不同类别，如情感分类、垃圾邮件分类等。
4. 面部识别：判别分析可以通过分析不同人脸特征的差异性来进行人脸识别，应用广泛于安防领域和人工智能领域。
三、常见的判别分析方法在统计学中，有多种判别分析方法可供选择，下面介绍两种常见的方法。
1. 线性判别分析（Linear Discriminant Analysis，简称LDA）：线性判别分析是一种常见且广泛使用的判别分析方法。
它通过将样本投影到低维空间来最大化类间的离散度，并最小化类内的离散度。
LDA假设不同类别的样本具有相同的协方差矩阵。
判别分析的原理
判别分析的原理
判别分析是一种统计方法和机器学习算法，用于解决分类问题。
其原理是将数据样本划分为不同的类别，并通过计算样本特征与类别之间的关联性，对未知样本进行分类。
对于给定的训练样本和其类别标签，判别分析通过计算样本特征与类别之间的统计关系来构建分类模型。
它假设不同类别的样本在特征空间上具有不同的概率分布，并通过最小化错误率或最大化分类准确率来找到最佳的分类边界。
常用的判别分析方法包括线性判别分析（LDA）和二次判别
分析（QDA）。
线性判别分析假设各类别样本的协方差相等，并通过计算类别之间的最佳线性判别边界将样本投影到低维空间中进行分类。
二次判别分析则放宽了协方差相等的假设，通过计算类别之间的最佳二次判别边界对样本进行分类。
判别分析可以采用监督学习的方法进行模型训练，然后使用该模型对新样本进行分类预测。
在实际应用中，判别分析广泛用于模式识别、图像处理、生物信息学等领域。
它具有较高的分类准确率和灵活性，并且可以对多类别问题进行有效处理。
总之，判别分析是一种基于样本特征与类别之间统计关系的分类方法，通过构建分类模型来实现对未知样本的分类预测。
2-判别分析
4. 单击Classify…按钮，定义判别分组参数和选择输出结果。选择 Display栏中的Casewise results，输出一个判别结果表，包括每个样 品的判别分数、后验概率、实际组和预测组编号等。其余的均保 留系统默认选项。单击Continue按钮。
能使总体单位 尽可能分开的方向
u
旋转坐标轴至总体单位尽可能分开的方向，此时 分类变量被简化为一个
费歇判别的基本思想
• Fisher判别法由Fisher在1936年提出，是根据方 差分析的思想建立起来的一种能较好区分各个 总体的线性判别法，该判别方法对总体的分布 不做任何要求。
• 从两个总体中抽取具有p个指标的样品观测数 据，借助于方差分析的思想构造一个线性判 别函数：
即
y (1) i
(i
1,2,,
n1
)的离差平方和
n1
2
yi1 y1 越小越好
i 1
即
y(2) i
(i
1,2,,
n2
)的离差平方和
n2
2
yi2 y2 越小越好
i1
Q y1 y2 2
n1
R
yi1 y1
费歇判别的基本思想是 投影，将k组p维数据投 影到某一个方向，使其 投影的组与组之间尽可 能地分开。
判别分析(2)费希尔判别
两总体的Fisher判别法 判别法 两总体的
其中， 其中，S 即
jl
= ∑ ( x Aij − x Aj )( x Ail − x Al ) + ∑ ( x Bij − x Bj )( x Bil − x Bl )
i =1 i =1
na
nb
F = ∑ ∑ c j c l s jl
j =1 l =1
Fisher判别 判别
内容：
1、建立判别准则； 2、建立判别函数 3、回代样本； 4、估计回代的错误率； 5、判别新的样本。
Fisher判别 判别
y 是线性函数， 由于 ( X ) 是线性函数，一般可将 y( X )表示为
（4.2） ） 对于线性函数 y( X ) ，它的几何表示就是空间中 的一条直线或平面，或超平面， 的一条直线或平面，或超平面，如果我们把两 B 看成空间的两个点集， 总体 A、 看成空间的两个点集，该平面所起的 B 分开， 作用就是尽可能将空间两个点集 A 、 分开，如 所示。 图4.1所示。 所示
Fisher判别 判别
Fisher判别 判别
Fisher判别 判别
费希尔判别的基本思想是投影（或降维）
Fisher方法是要找到一个(或一组)投 影轴w使得样本投影到该空间后能 在保证方差最小的情况下，将不同 类的样本很好的分开。并将度量类 别均值之间差别的量称为类间方差 (或类间散布矩阵);而度量这些均值 周围方差的量称为类内方差(或类内 散布矩阵)。Fisher判决的目标就是: 寻找一个或一组投影轴，能够在最 小化类内散布的同时最大化类间布。
两总体的Fisher判别法 判别法 两总体的
两总体的Fisher判别法 判别法 两总体的
max I = max ( ya − yb )
判别分析的一般步骤及SPSS实现
判别分析的一般步骤及SPSS实现判别分析是一种用于分类变量的统计方法，它可以用于确定一个或多个预测变量对于区分不同组之间差异的程度。
判别分析由一系列步骤组成，包括问题的定义、数据的准备、模型的建立、模型的评估和结果的解释。
以下是判别分析的一般步骤以及如何在SPSS中实现这些步骤的详细说明。
第一步：问题的定义在进行判别分析之前，需要明确研究的目的和问题。
例如，我们可能希望根据顾客的一些特征（如性别、年龄、收入等）来预测顾客是否购买一些产品。
这样的问题可以通过判别分析解决。
第二步：数据的准备在进行判别分析之前，需要确保数据满足分析的要求。
数据应包括一个或多个预测变量和一个分类变量。
如果数据中存在缺失值，需要进行缺失值的处理。
如果数据中存在异常值，可以选择忽略或进行适当的修正。
第三步：模型的建立在SPSS中，可以使用“分类函数”来建立判别分析模型。
选择“分析”菜单中的“分类”选项，然后选择“判别”子菜单。
在“判别”对话框中，选择一个或多个预测变量，并将分类变量指定为“因变量”。
此外，还可以选择是否进行卡方检验以及是否使用交叉验证等选项。
卡方检验可以用于评估预测变量与分类变量之间的关联性，而交叉验证可以用于评估模型对于不同样本的预测效果。
第四步：模型的评估在SPSS中，判别分析的模型评估结果可以在“判别”输出中找到。
主要关注以下几个指标：1.方差贡献表：可以查看每个预测变量对于判别函数的贡献程度，以及它们之间的相关性。
2.群组描述：可以查看不同组之间的平均值，以确定最能区分不同组的预测变量。
3.准确性表：可以查看模型的整体分类准确率以及每个组的分类准确率。
4.标准化系数表：可以查看每个预测变量对于判别函数的贡献程度，使用标准化系数来比较不同预测变量的影响。
第五步：结果的解释对于判别分析的结果进行解释是非常重要的，以帮助我们理解预测变量如何影响分类变量，并从中得出有用的结论。
可以通过参考判别函数的系数、标准化系数和方差贡献来解释结果。
判别分析的基本思想总结
判别分析的基本思想总结判别分析（Discriminant Analysis）是一种经典的统计方法，主要用于分类。
其基本思想是根据已有的分类信息，通过建立一个判别函数，将不同类别的样本区分开来。
判别分析在模式识别、数据挖掘、生物统计学等领域都有广泛的应用。
判别分析的第一步是选择判别变量，也就是用来区分不同类别的特征。
判别变量可以是连续的，也可以是离散的。
在选择判别变量时，通常需要考虑两个因素：一是判别变量之间的相关性应尽可能小，二是判别变量之间与分类变量之间的相关性应尽可能大。
这两个因素可以通过相关系数矩阵和组间平均相关矩阵来进行评估。
判别分析的第二步是建立判别函数。
判别函数是一个数学模型，通过对判别变量进行线性组合，将不同类别的样本进行判断。
一般情况下，判别函数采用线性判别函数形式，即对判别变量进行加权求和。
对于二分类问题，判别函数可以表示为：D(x) = a0 + a1*x1 + a2*x2 + ... + am*xm其中，D(x)表示判别函数的输出值，x1, x2, ..., xm表示判别变量的取值，a0, a1, a2, ..., am表示判别函数的系数。
对于多分类问题，判别函数可以有多个（k个），每个判别函数都对应一个类别。
判别分析的第三步是确定判别函数的系数。
系数的确定可以通过最小化分类错误率来进行，也可以通过最大化类别间的距离来进行。
最小化分类错误率是一种常见的方法，即使得每个样本点的判别函数值与其真实类别之间的差距最小。
最大化类别间的距离是另一种方法，即使得不同类别之间的平均判别函数值差距最大。
判别分析的第四步是对新样本进行分类。
对于新样本，根据判别函数的取值，可以判断其属于哪个类别。
判别函数的取值越大，说明该样本属于该类别的可能性越大；判别函数的取值越小，说明该样本属于其他类别的可能性越大。
判别分析的优点是模型简单、计算效率高。
由于判别分析是一个线性模型，不需要复杂的计算过程和大量的参数估计。
线性判别分析（LDA）准则：FIsher准则、感知机准则、最小二乘（最小均方误差）准则
线性判别分析（LDA）准则：FIsher准则、感知机准则、最⼩⼆乘（最⼩均⽅误差）准则准则采⽤⼀种分类形式后，就要采⽤准则来衡量分类的效果，最好的结果⼀般出现在准则函数的极值点上，因此将分类器的设计问题转化为求准则函数极值问题，即求准则函数的参数，如线性分类器中的权值向量。
分类器设计准则：FIsher准则、感知机准则、最⼩⼆乘（最⼩均⽅误差）准则Fisher准则Fisher线性判别分析LDA（Linearity Distinction Analysis）基本思想：对于两个类别线性分类的问题，选择合适的阈值，使得Fisher准则函数达到极值的向量作为最佳投影⽅向，与投影⽅向垂直的超平⾯就是两类的分类⾯，使得样本在该⽅向上投影后，达到最⼤的类间离散度和最⼩的类内离散度。
Fisher线性判别并不对样本的分布进⾏任何假设，但在很多情况下，当样本维数⽐较⾼且样本数也⽐较多时，投影到⼀维空间后样本接近正态分布，这时可以在⼀维空间中⽤样本拟合正态分布，⽤得到的参数来确定分类阈值。
类间离差平⽅和最⼤，类内离差平⽅和最⼩的投影⽅向。
准则函数：组间离差平⽅和/组内离差平⽅和；准则：超过阈值？感知机准则基本思想：对于线性判别函数，当模式的维数已知时，判别函数的形式实际上就已经确定下来，线性判别的过程即是确定权向量 。
感知机是⼀种神经⽹络模型，其特点是随意确定判别函数初始值，在对样本分类训练过程中，针对分类错误的样本不断进⾏权值修正，逐步迭代直⾄最终分类符合预定标准，从⽽确定权向量值。
可以证明感知机是⼀种收敛算法，只要模式类别是线性可分的，就可以在有限的迭代步数⾥求出权向量的解。
优点：简单、便于实现。
缺点：结果不唯⼀，在线性不可分情况下不收敛。
给定初始权值向量，通过样本的训练分类过程逐渐修正权值直到最终确定。
准则函数：错分样本数，准则：错分样本数为0上述两个准则的区别和联系Fisher线性判别是把线性分类器的设计分为两步，⼀是确定最优⽅向，⼆是在这个⽅向上确定分类阈值；感知机则是通过不断迭代直接得到完整的线性判别函数。
SPSS中判别分析方法的正确使用
SPSS中判别分析方法的正确使用判别分析是一种经典的统计方法，用于将一组观测值分配到不同的已知类别中。
它被广泛应用于分类问题，如客户群体分类、药物分类等。
在SPSS中，判别分析方法可以通过以下步骤正确使用：第一步：准备数据首先，需要准备一个用于判别分析的数据集。
该数据集应包含预测变量（也称为自变量）和所属类别（也称为因变量）两部分。
预测变量是用来解释类别分布的变量，而所属类别是需要预测或分类的变量。
确保数据集中不含有缺失值或异常值。
第二步：设置分析方法在SPSS中，可以通过点击“分析”菜单，然后选择“分类”子菜单中的“判别”选项来设置判别分析。
在弹出的对话框中，将需预测的类别（也称为因变量）移动到“因变量”框中，将预测变量（也称为自变量）移动到“自变量”框中。
可以选择要使用的分析方法，如方差判别分析、线性判别分析等，然后点击“确定”开始分析。
第三步：解读输出结果SPSS将生成一个判别分析的结果报告，包括描述性统计、判别函数、马氏距离以及判别图等。
可以通过阅读输出结果了解到判别函数如何区分不同的类别，以及判别图如何表示不同的类别之间的差异。
此外，还可以观察描述性统计结果，比较不同类别之间的平均值、方差等指标，进一步理解类别分布的特征。
第四步：交叉验证为了验证判别分析的准确性和稳定性，可以使用交叉验证方法。
在SPSS中，可以选择在判别分析对话框的“交叉验证”选项中设置交叉验证方法。
交叉验证将数据集分为几个部分，然后使用其中一部分数据来估计判别函数，再使用剩余的数据来验证判别函数的准确性。
通过交叉验证可以得到判别分析的预测正确率，以及其它评估指标。
第五步：解读结果根据判别分析的结果报告和交叉验证的准确性评估，可以判断判别分析方法的准确性和稳定性。
如果预测正确率较高且稳定，那么可以认为判别分析是一个有效的分类方法。
此外，还可以利用判别函数的系数和贡献度等信息，评估不同预测变量对类别分布的贡献程度。
总结：判别分析是一种常用的分类方法，可用于解决各种分类问题。
数据分析知识：数据分析中的判别分析方法
数据分析知识：数据分析中的判别分析方法判别分析是一种统计分析方法，用于确定一个或多个自变量对于分类变量的影响程度。
它主要用于识别和定量分析不同群体之间的差异，从而帮助人们做出正确的判断和决策。
判别分析方法在许多不同领域都有着广泛的应用，包括市场营销、医学、社会科学等。
在进行判别分析之前，首先需要明确分类变量和自变量的关系。
分类变量是研究对象的属性，例如不同的产品类型、疾病种类、用户群体等；自变量则是用来解释分类变量的因素，可包括多种属性或指标。
判别分析的目标是通过自变量来识别分类变量的不同群体，并且量化它们的差异程度。
判别分析的基本原理是利用自变量对不同分类变量进行分类和区分。
在进行判别分析时，需要建立一个判别函数，用来预测或计算分类变量的概率。
这个判别函数可以是线性的，也可以是非线性的，具体的形式取决于研究对象和数据特点。
判别函数的建立需要借助统计模型和算法，例如线性判别分析（LDA）、逻辑回归、支持向量机等。
这些方法都是在不同的数学理论和假设基础上发展起来的，具有各自的适用场景和特点。
在实际应用中，判别分析可以帮助人们识别和解释分类变量的差异。
举个例子，假如我们想要研究不同用户群体对于某个产品的偏好程度，我们可以收集用户的属性信息（如年龄、性别、收入等）作为自变量，产品的满意度（比如评分或者购买意愿）作为分类变量。
通过判别分析，我们可以分析出不同群体之间的偏好差异，找出对产品偏好影响最大的因素，从而为产品营销和推广提供科学依据。
在医学领域，判别分析也有着重要的应用价值。
例如，我们可以利用病人的临床指标（如血压、血糖、血脂等）作为自变量，疾病的种类（如高血压、糖尿病、心血管疾病等）作为分类变量，通过判别分析来识别不同疾病之间的特征和差异，帮助医生进行疾病诊断和治疗。
在社会科学领域，判别分析也常常用于对不同人群的心理特征和行为模式进行分类和分析。
比如，通过收集人们的性格特征、消费行为、社交习惯等自变量，可以对他们进行分类并识别出不同群体之间的差异，从而更好地理解和预测人的行为和决策。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
对工作质量好、 差三类共30所医 例：对工作质量好、中、差三类共 所医 院的24项指标做调查，现欲由床位使用率x 床位使用率 院的 项指标做调查，现欲由床位使用率 1， 项指标做调查 治愈率x 和诊断符合率x 治愈率 2和诊断符合率 3三项指标建立判别 函数，用以判别医院工作质量。观察值见表。 函数，用以判别医院工作质量。观察值见表。 请根据某医院x ％，x 请根据某医院 1=80.83％， 2=85.60％， ％， ％， x3=90.50％判断其工作质量所属类别。 ％判断其工作质量所属类别。
由统计软件计算得判别函数为： 由统计软件计算得判别函数为： Y1=-770.26+2.00X1+7.00X2+8.32X3 Y2=-684.53+1.83X1+6.83X2+7.82X3 Y3=-620.52+1.78X1+6.40X2+7.38X3 将该医院三项指标带入上式得Y 将该医院三项指标带入上式得 1=743.92, Y2=743.73, Y3=738.77，故将该医院工作质量判为优。 ，故将该医院工作质量判为优。 可继续计算该医院属于各个类别的后验概率 (0.677,0.317,0.006)，以作出更为客观的判断。 ，以作出更为客观的判断。
例：对若干已明确诊断为癌症和无癌 对若干已明确诊断为癌症和无癌 明确诊断 症病人均用显微分光光度计检测， 症病人均用显微分光光度计检测，共 三个指标，分别为三倍体得分X 三个指标，分别为三倍体得分 1 ，八 三倍体得分 倍体得分X 不整倍体得分X 倍体得分 2，不整倍体得分 3。
本例：训练样本：已确诊癌症的病人； 本例：训练样本：已确诊癌症的病人； 无癌症的病人。 无癌症的病人。 指标： 为三倍体的得分 为三倍体的得分， 为八倍体的 指标：X1为三倍体的得分，X2为八倍体的 得分， 为不整倍体的得分 为不整倍体的得分。 得分，X3为不整倍体的得分。
根据样本建立判别函数： 根据样本建立判别函数： 判别函数 Y＝X1+10X2+10X3 ＝ 判别准则：将某病人的 判别准则：将某病人的X1，X2，X3的实 测值，代入判别函数。 测值，代入判别函数。 本例：判别准则为Y>100判断为癌症， 判断为癌症， 本例：判别准则为 判断为癌症 Y<100判断为非癌症。 判断为非癌症。 判断为非癌症
三、Bayes准则下的判别分析 准则下的判别分析
假设有g个总体， 假设有 个总体，为x1，x2， …，xp的多元正态 个总体 ， 分布。对于任何一个个体，若已知其p个变量的观 分布。对于任何一个个体，若已知其 个变量的观 察值，要求判断该个体最可能属于哪一个总体（ 察值，要求判断该个体最可能属于哪一个总体（类 ）。错判总平均损失最小的准则即 错判总平均损失最小的准则即Bayes准则。 准则。 别）。错判总平均损失最小的准则即 准则 找到的判别规则就是Bayes判别。 判别。 找到的判别规则就是 判别 1. 建立 个判别函数： 建立g个判别函数 个判别函数： Yi=a0i+a1ix1+a2ix2+…+apixp i=1, 2, …, g 对任一个体可计算得g个 值 哪一个Y最大 最大， 对任一个体可计算得 个Y值，哪一个 最大，就 判该个体为哪一类。 判该个体为哪一类。
事先规定选入变量和剔除变量的水平P 事先规定选入变量和剔除变量的水平 1，P2， P1必须不大于P2，据此逐步进行筛选，直到分类函 必须不大于 据此逐步进行筛选， 数中所有的变量都重要， 数中所有的变量都重要，分类函数外的所有变量都 不重要。 不重要。
ANOVA Sum of Squares Between Groups 657.101 Within Groups 2088.845 Total 2745.946 Between Groups 66.302 Within Groups 1111.125 Total 1177.427 Between Groups 912.671 Within Groups 721.923 Total 1634.594
五、回顾性与前瞻性考核
考核：求出假阳性率，假阴性率，总错误率和ROC曲线等。 考核：求出假阳性率，假阴性率，总错误率和 曲线等。 曲线等 1)回顾性考核：也称回代或内考核，用原来的训练样本进行 回顾性考核：也称回代或内考核， 回顾性考核 考核。 考核。 前瞻性考核： 2)前瞻性考核：也称外考核 对新的已知其分类的样品 称为 前瞻性考核 也称外考核, 对新的已知其分类的样品(称为 考核样本)进行考核 进行考核。 考核样本 进行考核。 只有当前瞻性考核有较好的判别效果时， 只有当前瞻性考核有较好的判别效果时，才能认为此判别 准则有较强的判别能力;然后才能用于实践 然后才能用于实践。 准则有较强的判别能力 然后才能用于实践。 设计时，可把收集的样本随机拆分为训练样本(建立判 设计时，可把收集的样本随机拆分为训练样本 建立判 随机拆分为训练样本 别准则)和考核样本 前瞻性考核）。 和考核样本（ 别准则 和考核样本（前瞻性考核）。 3)刀切法 刀切法(jackknife)交叉考核 交叉考核(cross validation)：可作为前 ： 刀切法 交叉考核 瞻性考核的辅助信息。 瞻性考核的辅助信息。
训练样本的质量与数量至为重要： 训练样本的质量与数量至为重要： 1）“金标准”; ） 金标准” 2）解释变量确实与分类有关; ）解释变量确实与分类有关 3）个体的观察值必须准确; ）个体的观察值必须准确 4）个体的数目必须足够多。 ）个体的数目必须足够多。
训练样本的数据内容与符号
解释变量 个体号 x1 1 2 ︰ n x11 x21 ︰ xn1 x2 x12 x22 ︰ xn2 … … … … … xp x1p x2p ︰ xnp y y1 y2 ︰ yg 类别变量
2、多类判别： 、多类判别：
基于同样的基本思想，可以构成 基于同样的基本思想，可以构成min (p, g-1) 个判别函数，每个个体可得min (p, g-1)个 个判别函数，每个个体可得 个 得分，由决策者制定判别规则。 得分，由决策者制定判别规则。 一般来说多个总体的判别效果不如两 个总体。 个总体。
常用方法
1.最大似然法：建立在概率论中独立事件的乘法定 最大似然法： 最大似然法 律的基础上，适用于各指标是定性或半定量的情形。 定性或半定量的情形 律的基础上，适用于各指标是定性或半定量的情形。 2.Fisher判别法：一般用于两类判别；虽不特别要 判别法：一般用于两类判别； 两类判别 判别法 但是指标服从多元正态分布时 效果好。 指标服从多元正态分布时， 求，但是指标服从多元正态分布时，效果好。 3.Bayes判别法：擅长多类判别，但要求各类内的指 判别法：擅长多类判别 多类判别， 判别法 标服从多元正态分布 多元正态分布。 标服从多元正态分布。 4.Logistic回归：擅长两类判别，不要求多元正态分 回归：擅长两类判别 两类判别， 回归 可用于各指标为二值变量或半定量情形。 布，可用于各指标为二值变量或半定量情形。
2 Z
D = (Z1 − Z2 ) / S
2 2
2 Z
即该判别函数相当于以判别系数为权 即该判别函数相当于以判别系数为权 做出综合评分， 重对x1,x2,…xp做出综合评分，并尽量拉开 两组的距离。此时可仅凭一个变量Z来区分 两组的距离。此时可仅凭一个变量 来区分 不同类别，分界值c由决策者根据专业背景 不同类别，分界值 由决策者根据专业背景 决定。 决定。
先验概率(prior probability) 先验概率
事前概率，如在所研究的总体中任取一个样品， 即事前概率，如在所研究的总体中任取一个样品， 该样品属于Y 的概率为P(Yi)，则为类别 i的先验 ，则为类别Y 该样品属于 i的概率为 概率。 概率。 例如：阑尾炎病人总体中，卡他性占 例如：阑尾炎病人总体中，卡他性占50%，蜂窝 ， 组织炎占30%，坏疽性占 组织炎占 ，坏疽性占10%，腹膜炎占 ，腹膜炎占10%， ， 对于任一个阑尾炎病人， 对于任一个阑尾炎病人，属于上述四型的概率分 别为0.5， ， 和 。 别为 ，0.3，0.1和0.1。 建立判别函数时， 建立判别函数时，若考虑先验概率可适当提高判 别的敏感性。 别的敏感性。
二、Fisher准则下的判别分析 准则下的判别分析
基本思想：是类间方差与类内方差之比最大。 基本思想：是类间方差与类内方差之比最大。 1、两类判别： 设有两个总体，假定变量 、两类判别： 设有两个总体， 在两个总体中的变异性相同， x1,x2,…xp在两个总体中的变异性相同，对于某 个随机的训练样本， 个随机的训练样本，试图找到一组适宜的常数 a1,a2,…,ap, 使得每一个体都有一个 得分： 使得每一个体都有一个Z得分 得分： Z=a1x1+a2x2+…+apxp 而且两组Z得分的 距离最大： 而且两组 得分的Mahalanobis距离最大： 得分的 距离最大 为两组Z得分方差的联合估计 得分方差的联合估计。 其中 S 为两组 得分方差的联合估计。
Y1=C10+C11X1+C12X2+…+C1pXp+ln(q(Y1)) Y2=C20+C21X1+C22X2+…+C2pXp+ln(q(Y2)) …… …… …… Yg=Cg0+Cg1X1+Cg2X2+…+CgpXp+ln(q(Yg)
后验概率(posterior probability) 后验概率
判别分析
Discriminant analysis
一、概 述
判别分析(Discriminant Analysis)：类别明确的一 判别分析 ： 种分类技术。 种分类技术。 目的： 目的：根据观测到的某些指标对所研究的对象进 行分类。 行分类。 应用：疾病的诊断、鉴别诊断、疾病类型的判断。 应用：疾病的诊断、鉴别诊断、疾病类型的判断。 通过判别分析还可对各指标所起判断作用的 大小作出估计。 大小作出估计。