线性判别分析
LDA线性判别分析
LDA线性判别分析LDA（Linear Discriminant Analysis），也被称为Fisher线性判别分析，是一种经典的统计模型和机器学习算法，常用于降维和模式识别任务。
LDA的目标是寻找一个线性变换，将高维数据投影到一个低维子空间上，使得在该子空间上的投影具有最优的数据分离性能。
换句话说，LDA希望找到投影方式，使得不同类别的数据在低维子空间上的投影显著分离，并且同一类别内部的数据尽可能地紧密聚集。
LDA的基本思想是通过计算类间离散度矩阵和类内离散度矩阵来得到最佳的投影方向。
类间离散度矩阵度量的是不同类别数据分布之间的差异，而类内离散度矩阵度量的是同一类别内部数据之间的差异。
LDA目标函数可以表示为J(w)=w^T*Sw*w/(w^T*Sb*w)，其中w是投影方向，Sw为类内离散度矩阵，Sb为类间离散度矩阵。
在实际应用中，我们需要先计算类内离散度矩阵Sw和类间离散度矩阵Sb，然后通过求解J(w)的最大值来得到最佳的投影方向w。
通常情况下，可以通过特征值分解或者广义特征值分解来求解最优的投影方向。
LDA的应用非常广泛，特别是在模式识别和计算机视觉领域。
它可以用于人脸识别、手写数字识别、垃圾邮件过滤等任务。
LDA的优点是在高维数据集中可以找到最优的投影方向，具有很好的数据分离性能。
而且LDA不需要事先假设数据分布的形式，适用于各种分布情况。
然而，LDA也存在一些限制。
首先，LDA假设数据满足多元正态分布，如果数据违反了该假设，那么LDA的判别性能可能会下降。
其次，LDA投影到的低维子空间的维度最多等于类别数减一，这可能导致信息丢失。
此外，当类别样本数量不平衡时，LDA的效果可能会受到影响。
为了克服LDA的局限性，人们提出了一些改进的方法。
例如，局部判别分析（Local Discriminant Analysis）可以在局部区域内构建LDA模型，适用于非线性可分的数据。
深度学习的发展也为LDA的改进提供了新的思路和方法，如稀疏表示LDA和核LDA等。
linear discriminate analysis
linear discriminate analysis【实用版】目录1.线性判别分析的定义和基本概念2.线性判别分析的应用场景和问题解决能力3.线性判别分析的具体方法和步骤4.线性判别分析的优缺点和局限性5.线性判别分析的实际应用案例正文线性判别分析（Linear Discriminant Analysis，简称 LDA）是一种常用的监督学习方法，主要用于解决分类问题。
它是一种线性分类方法，通过找到一个最佳的线性分类器，将数据分为不同的类别。
LDA 基于数据分布的假设，即不同类别的数据具有不同的分布，通过最大化类内差异和最小化类间差异来实现分类。
LDA 的应用场景非常广泛，可以用于文本分类、图像分类、生物信息学、社会科学等领域。
在这些领域中，LDA 能够有效地解决分类问题，提高分类准确率。
例如，在文本分类中，LDA 可以通过分析词汇分布，将文本分为不同的主题或类别。
线性判别分析的具体方法和步骤如下：1.收集数据并计算数据矩阵。
2.计算数据矩阵的协方差矩阵和矩阵的特征值和特征向量。
3.根据特征值和特征向量构建线性分类器。
4.使用分类器对数据进行分类。
尽管 LDA 在分类问题上表现良好，但它也存在一些优缺点和局限性。
首先，LDA 要求数据矩阵的列向量是线性无关的，这可能会限制其在某些数据集上的表现。
其次，LDA 对数据中的噪声非常敏感，噪声的存在可能会对分类结果产生不良影响。
此外，LDA 是一种基于线性分类的方法，对于非线性分类问题可能无法有效解决。
尽管如此，LDA 在实际应用中仍然具有很高的价值。
例如，在文本分类中，LDA 可以有效地识别不同主题的文本，并为用户提供个性化的推荐。
在生物信息学中，LDA 可以用于基因表达数据的分类，以识别不同类型的细胞或疾病。
在社会科学中，LDA 可以用于对调查数据进行分类，以便更好地理解受访者的需求和偏好。
总之，线性判别分析是一种强大的分类方法，可以应用于各种领域。
线性判别分析
线性判别分析
线性判别分析(linear discriminant analysis，LDA)是对费舍尔的线性鉴别方法的归纳，这种方法使用统计学，模式识别和机器学习方法，试图找到两类物体或事件的特征的一个线性组合，以能够特征化或区分它们。
所得的组合可用来作为一个线性分类器，或者，更常见的是，为后续的分类做降维处理。
之前我们讨论的PCA、ICA也好，对样本数据来言，可以是没有类别标签y的。
回想我们做回归时，如果特征太多，那么会产生不相关特征引入、过度拟合等问题。
我们可以使用PCA来降维，但PCA没有将类别标签考虑进去，属于无监督的。
比如回到上次提出的文档中含有“learn”和“study”的问题，使用PCA后，也许可以将这两个特征合并为一个，降了维度。
但假设我们的类别标签y是判断这篇文章的topic是不是有关学习方面的。
那么这两个特征对y几乎没什么影响，完全可以去除。
Fisher提出LDA距今已近七十年，仍然是降维和模式分类领域应用中最为广泛采用而且极为有效的方法之一，其典型应用包括人脸检测、人脸识别、基于视觉飞行的地平线检测、目标跟踪和检测、信用卡欺诈检测和图像检索、语音识别等。
线性判别分析
介绍
线性判别分析(Linear Discriminant Analysis, LDA)，也 叫做Fisher线性判别(Fisher Linear Discriminant ,FLD)， 是模式识别的经典算法，1936年由Ronald Fisher首次提出， 并在1996年由Belhumeur引入模式识别和人工智能领域。
LDA
对于N(N>2)分类的问题，就可以直接写出以下的结论：
这同样是一个求特征值的问题，求出的第i大的特征向量，即为 对应的Wi。
LDA在人脸识别中的应用
要应用方法
K-L变换 奇异值分解 基于主成分分析 Fisher线性判别方法
主要应用方法
K-L变换
为了得到彩色人脸图像的主分量特征灰度图像,可以采用Ohta[3]等人提 出的最优基来模拟K-L变换方法,从而得到新的包含了彩色图像的绝大多 数特征信息的主分量特征图像.
LDA
LDA与PCA(主成分分析)都是常用的降维技术。PCA主要是从 特征的协方差角度，去找到比较好的投影方式。LDA更多的是 考虑了标注，即希望投影后不同类别之间数据点的距离更大， 同一类别的数据点更紧凑。
下面给出一个例子，说明LDA的目标：
可以看到两个类别，一个绿色类别，一个红色类别。左图是两个 类别的原始数据，现在要求将数据从二维降维到一维。直接投影 到x1轴或者x2轴，不同类别之间 会有重复，导致分类效果下降。 右图映射到的直线就是用LDA方法计算得到的，可以看到，红色 类别和绿色类别在映射之后之间的距离是最大的，而且每个类别 内 部点的离散程度是最小的（或者说聚集程度是最大的）。
LDA
假设用来区分二分类的直线（投影函数)为： LDA分类的一个目标是使得不同类别之间的距离越远越好，同 一类别之中的距离越近越好，所以我们需要定义几个关键的值:
线性判别分析（LinearDiscriminantAnalysis，LDA）
线性判别分析（LinearDiscriminantAnalysis，LDA）⼀、LDA的基本思想线性判别式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD)，是模式识别的经典算法，它是在1996年由Belhumeur引⼊模式识别和⼈⼯智能领域的。
线性鉴别分析的基本思想是将⾼维的模式样本投影到最佳鉴别⽮量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的⼦空间有最⼤的类间距离和最⼩的类内距离，即模式在该空间中有最佳的可分离性。
如下图所⽰，根据肤⾊和⿐⼦⾼低将⼈分为⽩⼈和⿊⼈，样本中⽩⼈的⿐⼦⾼低和⽪肤颜⾊主要集中A组区域，⿊⼈的⿐⼦⾼低和⽪肤颜⾊主要集中在B组区域，很显然A组合B组在空间上明显分离的，将A组和B组上的点都投影到直线L上，分别落在直线L的不同区域，这样就线性的将⿊⼈和⽩⼈分开了。
⼀旦有未知样本需要区分，只需将⽪肤颜⾊和⿐⼦⾼低代⼊直线L的⽅程，即可判断出未知样本的所属的分类。
因此，LDA的关键步骤是选择合适的投影⽅向，即建⽴合适的线性判别函数（⾮线性不是本⽂的重点）。
⼆、LDA的计算过程1、代数表⽰的计算过程设已知两个总体A和B，在A、B两总体分别提出m个特征，然后从A、B两总体中分别抽取出、个样本，得到A、B两总体的样本数据如下：和假设存在这样的线性函数（投影平⾯），可以将A、B两类样本投影到该平⾯上，使得A、B两样本在该直线上的投影满⾜以下两点：（1）两类样本的中⼼距离最远；（2）同⼀样本内的所有投影距离最近。
我们将该线性函数表达如下：将A总体的第个样本点投影到平⾯上得到投影点，即A总体的样本在平⾯投影的重⼼为其中同理可以得到B在平⾯上的投影点以及B总体样本在平⾯投影的重⼼为其中按照Fisher的思想，不同总体A、B的投影点应尽量分开，⽤数学表达式表⽰为，⽽同⼀总体的投影点的距离应尽可能的⼩，⽤数学表达式表⽰为，，合并得到求从⽽使得得到最⼤值，分别对进⾏求导即可，详细步骤不表。
线性判别分析（LDA）
线性判别分析（LDA）说明：本⽂为个⼈随笔记录，⽬的在于简单了解LDA的原理，为后⾯详细分析打下基础。
⼀、LDA的原理LDA的全称是Linear Discriminant Analysis（线性判别分析），是⼀种supervised learning。
LDA的原理：将带上标签的数据（点），通过投影的⽅法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，⼀簇⼀簇的情况，相同类别的点，将会在投影后的空间中更接近。
因为LDA是⼀种线性分类器。
对于K-分类的⼀个分类问题，会有K个线性函数：当满⾜条件：对于所有的j，都有Yk > Yj,的时候，我们就说x属于类别k。
上式实际上就是⼀种投影，是将⼀个⾼维的点投影到⼀条⾼维的直线上，LDA最求的⽬标是，给出⼀个标注了类别的数据集，投影到了⼀条直线之后，能够使得点尽量的按类别区分开，当k=2即⼆分类问题的时候，如下图所⽰：上图提供了两种⽅式，哪⼀种投影⽅式更好呢？从图上可以直观的看出右边的⽐左边的投影后分类的效果好，因此右边的投影⽅式是⼀种更好地降维⽅式。
LDA分类的⼀个⽬标是使得不同类别之间的距离越远越好，同⼀类别之中的距离越近越好。
⼆、LDA算法流程输⼊：数据集 D = {(x1, y1), (x1, y1), ... ,(x m, y m)}，任意样本x i为n维向量，y i∈{C1, C2, ... , Ck}，共k个类别。
现在要将其降维到d维；输出：降维后的数据集D'。
（1）计算类内散度矩阵 S B;（2）计算类间散度矩阵 S W;（3）将 S B和 S W代⼊上⾯公式计算得到特征值λ和特征向量 w，取前⾯⼏个最⼤的特征值向量λ'与特征向量相乘得到降维转换矩阵λ'w;（4）将原来的数据与转换矩阵相乘得到降维后的数据 (λ'w)T x ;三、LDA优缺点分析LDA算法既可以⽤来降维，⼜可以⽤来分类，但是⽬前来说，主要还是⽤于降维。
数据挖掘中的线性判别分析方法原理解析
数据挖掘中的线性判别分析方法原理解析数据挖掘是一门利用计算机技术从大量数据中挖掘出有用信息的学科。
在这个信息爆炸的时代，人们面临着海量的数据，如何从中提取出有价值的信息成为了一项重要的任务。
线性判别分析（Linear Discriminant Analysis，简称LDA）是数据挖掘中一种常用的分类方法，它能够在高维数据中找到最佳的投影方向，从而实现数据的降维和分类。
LDA方法的基本思想是在保持不同类别之间的区分能力最大化的同时，最大化同一类别内部的相似性。
具体而言，LDA通过计算类别之间的散度和类别内部的散度来确定最佳的投影方向。
散度可以理解为数据的离散程度，散度越大表示数据之间的差异越大，散度越小表示数据之间的差异越小。
在进行LDA之前，首先需要对数据进行预处理。
通常情况下，我们会对数据进行标准化处理，使得数据的均值为0，方差为1。
这样可以避免某些特征对于分类结果的影响过大。
接下来，我们需要计算类别之间的散度和类别内部的散度。
类别之间的散度可以通过计算不同类别之间的均值差异来得到。
而类别内部的散度可以通过计算每个类别内部的协方差矩阵来得到。
协方差矩阵描述了数据之间的相关性，可以用来衡量数据的离散程度。
在计算完散度之后，我们需要求解一个优化问题，即最大化类别之间的散度和最小化类别内部的散度。
这个优化问题可以通过求解广义瑞利商的最大特征值和对应的特征向量来实现。
最大特征值对应的特征向量就是最佳的投影方向，它能够将数据从高维空间映射到一维空间。
通过LDA方法，我们可以将高维数据映射到低维空间，并且保持了数据的分类信息。
这样不仅可以减少数据的维度，降低计算复杂度，还可以提高分类的准确性。
除了在数据挖掘中的应用，LDA方法还被广泛应用于模式识别、人脸识别、图像处理等领域。
在人脸识别中，LDA可以提取出最具有判别性的特征，从而提高识别的准确性。
在图像处理中，LDA可以将图像从高维空间映射到低维空间，从而实现图像的降噪和压缩。
判别分析公式Fisher线性判别二次判别
判别分析公式Fisher线性判别二次判别判别分析是一种常用的数据分析方法，用于根据已知的类别信息，将样本数据划分到不同的类别中。
Fisher线性判别和二次判别是两种常见的判别分析方法，在实际应用中具有广泛的应用价值。
一、Fisher线性判别Fisher线性判别是一种基于线性变换的判别分析方法，该方法通过寻找一个合适的投影方向，将样本数据投影到一条直线上，在保持类别间离散度最大和类别内离散度最小的原则下实现判别。
其判别函数的计算公式如下：Fisher(x) = W^T * x其中，Fisher(x)表示Fisher判别函数，W表示投影方向的权重向量，x表示样本数据。
具体来说，Fisher线性判别的步骤如下：1. 计算类别内离散度矩阵Sw和类别间离散度矩阵Sb；2. 计算Fisher准则函数J(W)，即J(W) = W^T * Sb * W / (W^T * Sw * W)；3. 求解Fisher准则函数的最大值对应的投影方向W；4. 将样本数据投影到求得的最优投影方向上。
二、二次判别二次判别是基于高斯分布的判别分析方法，将样本数据当作高斯分布的观测值，通过估计每个类别的均值向量和协方差矩阵，计算样本数据属于每个类别的概率，并根据概率大小进行判别。
二次判别的判别函数的计算公式如下：Quadratic(x) = log(P(Ck)) - 0.5 * (x - μk)^T * Σk^-1 * (x - μk)其中，Quadratic(x)表示二次判别函数，P(Ck)表示类别Ck的先验概率，x表示样本数据，μk表示类别Ck的均值向量，Σk表示类别Ck的协方差矩阵。
具体来说，二次判别的步骤如下：1. 估计每个类别的均值向量μk和协方差矩阵Σk；2. 计算每个类别的先验概率P(Ck)；3. 计算判别函数Quadratic(x)；4. 将样本数据划分到概率最大的类别中。
判别分析公式Fisher线性判别和二次判别是常见的判别分析方法，它们通过对样本数据的投影或概率计算，实现对样本数据的判别。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
最大本征值对应的本征向量
• S为实对称矩阵，所以e1,e2, ed 相互正交 • e1,e2, ed 可被视为特征空间的一个子空间的单位向量基
• aki 为 xk 对应于基 ei 的系数，或在 ei 上的投影 • aki 称为主成分（principal component）
k 1
k 1
k 1
n
n
[et (xk m)]2 xk m 2
k 1
k 1
n
n
et (xk m)(xk m)t e xk m 2
k 1
k 1
n
etSe xk m 2 k 1
•
用
yk
ak
2
来表示
xk
akd
d
xˆ k m akiei i 1
• 最小化平方误差
n
Jd (e)
m
d
akiei
xk
2
k 1
i 1
主成分分析（PCA）
• 将一维的 ak扩展到 d(d d) 维空间
• 结论：
主成分分析（PCA）
• 用一维向量表示d维样本
e
xk
ak
m
主成分分析（PCA）
• 寻找e的最优方向
ak et (xk m)
n
n
n
J1(a1, , an , e) ak2 e 2 2 aket (xk m) xk m 2
k 1
k 1
k 1
n
n
n
J1(e) ak2 2 ak2 xk m 2
e
Se e
etSe ete
是S的本征值（eigenvalue）
e是S的本征向量（eigenvector）
最大本征值 对应 etSe 的最大值
• 结论：e为散布矩阵最大的本征值对应的本征向量
主成分分析（PCA）
• 将一维的 ak扩展到 d(d d) 维空间
ak1
2. 计算S的本征值和本证向量
Se e
3. 将本征向量按相应的本征值从大到小排序 4. 选择最大的d’个本征向量作为投影向量 e1,e2, ed， 构成
投影d d ' 矩阵W，其中第i列为ei 5. 对任意d维样本x，其用PCA降维后的d’维向量为
y Wtx
主成分分析（PCA）
• 通常，最大的几个本征值占据了所有本征值之和 的绝大部分
k 1
k 1
n
n
n
ak2 e 2 2 aket (xk m) xk m 2
k 1
k 1
k 1
J1(a1, , an , e) ak
2ak
2et
(xk
m)
0
ak et (xk m例子
p(x | j ) N (μi , Σ), j 1, 2 P(1) P(2 )
• 贝叶斯误差概率
P(e)
1
eu 2 / 2 du
r/2
μ1到μ2 的马氏距离
r 2 (μ1 μ2 )t Σ1(μ1 μ2 )
• r增加，误差概率 P(e) 减小 • r ， P(e) 0
引入新的特征可使r增大， 进而降低误差概率 P(e)
• 假设各特征独立：
Σ diag(1,2, ,d )
r 2
d i1
i1 i
i
2
2
维度灾难
• 在实际应用中
• 当特征个数增加到某一个临界点后，继续增加反而会导 致分类器的性能变差——“维度灾难”（curse of dimensionality）
• 原因？
• 假设的概率模型与真实模型不匹配 • 训练样本个数有限，导致概率分布的估计不准 • ……
• 对于高维数据，“维度灾难”使解决模式识别问 题非常困难，此时，往往要求首先降低特征向量 的维度
降维
• 降低特征向量维度的可行性
特征向量往往是包含冗余信息的！
• 有些特征可能与分类问题无关 • 特征之间存在着很强的相关性
• 少数几个最大本征 值对应的本征向量 即可表示原数据中 的绝大部分信息， 而剩下的小部分（ 即对应较小的本征 值的本征向量所表 示的信息），通常 可以认为是数据噪 声而丢掉
主成分分析（PCA）
主成分分析（PCA）
n
S (xk m)(xk m)t (n 1)C k 1
散布矩阵（scatter matrix）
主成分分析（PCA）
• 使 J1(e)最小的e最大化 etSe
• 拉格朗日乘子法（约束条件 ete 1）
u etSe (ete 1)
u 2Se 2e 0
• 降低维度的方法
• 特征组合
把几个特征组合在一起，形成新的特征
• 特征选择
选择现有特征集的一个子集
降维
• 降维问题
• 线性变换 vs. 非线性变换 • 利用类别标记（有监督） vs. 不用类别标记（无监督） • 不同的训练目标
• 最小化重构误差（主成分分析，PCA） • 最大化类别可分性（线性判别分析，LDA） • 最小化分类误差（判别训练，discriminative training） • 保留最多细节的投影（投影寻踪，projection pursuit） • 最大限度的使各特征之间独立（独立成分分析，ICA）
• 几何意义 e1,e2 , ed 为沿数据云团方差最大的方向的直线
• 利用PCA，可以将d维数据降维到 d(d d) 维，同时使得降维后
的数据与源数据的平方误差最小
主成分分析（PCA）
• 主成分分析步骤（d维降为 d(d d)维）
1. 计算散布矩阵S n S (xk m)(xk m)t k 1
主成分分析（PCA）
• 用一维向量表示d维样本
• 用通过样本均值m的直线（单位向量为e）上的点表示
样本
xˆ k m ake
ak 唯一决定了xˆ k
xk
• 最小化平方重构误差
n
n
J1(a1, , an ,e) (m ake xk ) 2 (ake (xk m)) 2