线性判别分析
LDA线性判别分析
LDA线性判别分析LDA（Linear Discriminant Analysis），也被称为Fisher线性判别分析，是一种经典的统计模型和机器学习算法，常用于降维和模式识别任务。
LDA的目标是寻找一个线性变换，将高维数据投影到一个低维子空间上，使得在该子空间上的投影具有最优的数据分离性能。
换句话说，LDA希望找到投影方式，使得不同类别的数据在低维子空间上的投影显著分离，并且同一类别内部的数据尽可能地紧密聚集。
LDA的基本思想是通过计算类间离散度矩阵和类内离散度矩阵来得到最佳的投影方向。
类间离散度矩阵度量的是不同类别数据分布之间的差异，而类内离散度矩阵度量的是同一类别内部数据之间的差异。
LDA目标函数可以表示为J(w)=w^T*Sw*w/(w^T*Sb*w)，其中w是投影方向，Sw为类内离散度矩阵，Sb为类间离散度矩阵。
在实际应用中，我们需要先计算类内离散度矩阵Sw和类间离散度矩阵Sb，然后通过求解J(w)的最大值来得到最佳的投影方向w。
通常情况下，可以通过特征值分解或者广义特征值分解来求解最优的投影方向。
LDA的应用非常广泛，特别是在模式识别和计算机视觉领域。
它可以用于人脸识别、手写数字识别、垃圾邮件过滤等任务。
LDA的优点是在高维数据集中可以找到最优的投影方向，具有很好的数据分离性能。
而且LDA不需要事先假设数据分布的形式，适用于各种分布情况。
然而，LDA也存在一些限制。
首先，LDA假设数据满足多元正态分布，如果数据违反了该假设，那么LDA的判别性能可能会下降。
其次，LDA投影到的低维子空间的维度最多等于类别数减一，这可能导致信息丢失。
此外，当类别样本数量不平衡时，LDA的效果可能会受到影响。
为了克服LDA的局限性，人们提出了一些改进的方法。
例如，局部判别分析（Local Discriminant Analysis）可以在局部区域内构建LDA模型，适用于非线性可分的数据。
深度学习的发展也为LDA的改进提供了新的思路和方法，如稀疏表示LDA和核LDA等。
线性判别分析算法在分类任务中的应用
线性判别分析算法在分类任务中的应用在机器学习领域中，分类任务是一个非常重要的应用领域。
通过机器学习算法对数据进行分类，能够帮助我们更好地理解数据，并且在实际应用中能够帮助我们快速准确地对未知数据进行分类。
其中，线性判别分析算法能够在一些常见的分类任务中发挥重要作用。
一、线性判别分析算法的基本原理线性判别分析，也称为Fisher线性判别，是一种经典的分类算法，它能够将数据进行降维，从而更容易地对数据进行分类。
其基本思路是，对于给定的数据，我们首先将其进行投影，从原始空间投影到一个较低维的空间中，使得在这个新空间中，数据点之间的距离最大化，并且同类数据点之间的距离最小化。
在这个过程中，我们需要寻找一个线性变换矩阵$W$，将原始空间中的数据$x$，变换到新的空间中$y$，即：$y=WX$其中，$X$是原始空间中的$n$维向量，$y$是新空间中的$d$维向量。
在这个过程中，我们要最大化两个指标，即类间距离和类内距离。
对于类间距离，我们希望不同类别之间的数据点更加分散，从而让分类更加准确。
我们可以定义一个类间距离的矩阵$S_B$，其为所有类别之间的数据点协方差矩阵的加权和，即：$S_B=\sum_{i=1}^kw_i(\mu_i-\mu)(\mu_i-\mu)^T$其中，$k$是类别数量，$w_i$是第$i$个类别中数据点数量，$\mu_i$是第$i$个类别的均值向量，$\mu$是所有数据点的均值向量。
对于类内距离，我们希望同一类别之间的数据点更加紧密，从而提高同类别数据点之间的相似度。
我们可以定义一个类内距离的矩阵$S_W$，其为所有类别内部数据点协方差矩阵的加权和，即：$S_W=\sum_{i=1}^kw_iS_i$其中，$S_i$是第$i$个类别的协方差矩阵，$w_i$是第$i$个类别中数据点数量。
类别数量越多，$S_W$的值就越大，数据进行降维时，对角线上的元素是降维后数据的方差，越小意味着降维后数据的区分度就越好，所以也就有了$J(W)$（评价指标）的定义：$J(W)=\frac{\mid W^TS_BW \mid}{\mid W^TS_WW \mid} $为了最大化类间距离和最小化类内距离，我们需要求解出最佳的投影矩阵$W$，使得$J(W)$最大。
linear discriminate analysis
linear discriminate analysis【实用版】目录1.线性判别分析的定义和基本概念2.线性判别分析的应用场景和问题解决能力3.线性判别分析的具体方法和步骤4.线性判别分析的优缺点和局限性5.线性判别分析的实际应用案例正文线性判别分析（Linear Discriminant Analysis，简称 LDA）是一种常用的监督学习方法，主要用于解决分类问题。
它是一种线性分类方法，通过找到一个最佳的线性分类器，将数据分为不同的类别。
LDA 基于数据分布的假设，即不同类别的数据具有不同的分布，通过最大化类内差异和最小化类间差异来实现分类。
LDA 的应用场景非常广泛，可以用于文本分类、图像分类、生物信息学、社会科学等领域。
在这些领域中，LDA 能够有效地解决分类问题，提高分类准确率。
例如，在文本分类中，LDA 可以通过分析词汇分布，将文本分为不同的主题或类别。
线性判别分析的具体方法和步骤如下：1.收集数据并计算数据矩阵。
2.计算数据矩阵的协方差矩阵和矩阵的特征值和特征向量。
3.根据特征值和特征向量构建线性分类器。
4.使用分类器对数据进行分类。
尽管 LDA 在分类问题上表现良好，但它也存在一些优缺点和局限性。
首先，LDA 要求数据矩阵的列向量是线性无关的，这可能会限制其在某些数据集上的表现。
其次，LDA 对数据中的噪声非常敏感，噪声的存在可能会对分类结果产生不良影响。
此外，LDA 是一种基于线性分类的方法，对于非线性分类问题可能无法有效解决。
尽管如此，LDA 在实际应用中仍然具有很高的价值。
例如，在文本分类中，LDA 可以有效地识别不同主题的文本，并为用户提供个性化的推荐。
在生物信息学中，LDA 可以用于基因表达数据的分类，以识别不同类型的细胞或疾病。
在社会科学中，LDA 可以用于对调查数据进行分类，以便更好地理解受访者的需求和偏好。
总之，线性判别分析是一种强大的分类方法，可以应用于各种领域。
线性判别分析
线性判别分析
线性判别分析(linear discriminant analysis，LDA)是对费舍尔的线性鉴别方法的归纳，这种方法使用统计学，模式识别和机器学习方法，试图找到两类物体或事件的特征的一个线性组合，以能够特征化或区分它们。
所得的组合可用来作为一个线性分类器，或者，更常见的是，为后续的分类做降维处理。
之前我们讨论的PCA、ICA也好，对样本数据来言，可以是没有类别标签y的。
回想我们做回归时，如果特征太多，那么会产生不相关特征引入、过度拟合等问题。
我们可以使用PCA来降维，但PCA没有将类别标签考虑进去，属于无监督的。
比如回到上次提出的文档中含有“learn”和“study”的问题，使用PCA后，也许可以将这两个特征合并为一个，降了维度。
但假设我们的类别标签y是判断这篇文章的topic是不是有关学习方面的。
那么这两个特征对y几乎没什么影响，完全可以去除。
Fisher提出LDA距今已近七十年，仍然是降维和模式分类领域应用中最为广泛采用而且极为有效的方法之一，其典型应用包括人脸检测、人脸识别、基于视觉飞行的地平线检测、目标跟踪和检测、信用卡欺诈检测和图像检索、语音识别等。
线性判别分析算法在数据分类中的应用
线性判别分析算法在数据分类中的应用线性判别分析算法（Linear Discriminant Analysis, LDA）是一种常用的数据分类方法。
它的基本思想是通过将数据投影到一条直线（或者是高维空间中的一个超平面），使得同类之间的数据点尽可能接近，不同类之间的数据点尽可能远离。
这样，我们就可以用这条直线来区分不同的类别，从而实现数据分类的任务。
LDA算法的应用非常广泛，比如在机器学习、模式识别、图像处理、生物信息学等领域都有大量的应用。
下面，我们将从几个方面来介绍LDA算法在数据分类中的应用。
1. LDA算法在二分类问题中的应用二分类是指只涉及两个类别的分类问题。
LDA算法可以被用来解决二分类问题，特别是在数据样本有限的情况下，LDA算法表现得更加优秀。
LDA算法将数据样本投影到一条直线上，使得同类之间的数据点尽可能接近，不同类之间的数据点尽可能远离。
这样，我们可以通过比较投影后的数据点的位置来判断它属于哪个类别。
在实际应用中，我们可以通过LDA算法来处理一些二分类问题，如人脸识别、声音识别、图像分类等。
例如，在人脸识别中，我们可以将不同人的人脸图像看做不同的类别，通过LDA算法将它们投影到一条直线上，从而实现对不同人脸图像的识别。
2. LDA算法在多分类问题中的应用在许多实际问题中，涉及到的不止两个类别，而是多个类别。
LDA算法同样可以被用来解决多分类问题。
LDA算法在多分类问题中的应用稍有不同。
在二分类问题中，我们可以将数据点投影到一条直线上，但在多分类问题中，我们需要将数据点投影到更高维的空间中，即超平面上。
具体地，我们可以将每个类别看做一个投影方向，然后将所有的投影方向合并起来，形成一个超平面。
通过将数据样本投影到这个超平面上，我们可以将数据分类成多个类别。
3. LDA算法在降维问题中的应用在高维数据处理中，数据的维数通常会非常高。
这对数据处理带来了困难，因为高维数据不能直观地展示出来，也很难直接分析。
线性判别分析
介绍
线性判别分析(Linear Discriminant Analysis, LDA)，也 叫做Fisher线性判别(Fisher Linear Discriminant ,FLD)， 是模式识别的经典算法，1936年由Ronald Fisher首次提出， 并在1996年由Belhumeur引入模式识别和人工智能领域。
LDA
对于N(N>2)分类的问题，就可以直接写出以下的结论：
这同样是一个求特征值的问题，求出的第i大的特征向量，即为 对应的Wi。
LDA在人脸识别中的应用
要应用方法
K-L变换 奇异值分解 基于主成分分析 Fisher线性判别方法
主要应用方法
K-L变换
为了得到彩色人脸图像的主分量特征灰度图像,可以采用Ohta[3]等人提 出的最优基来模拟K-L变换方法,从而得到新的包含了彩色图像的绝大多 数特征信息的主分量特征图像.
LDA
LDA与PCA(主成分分析)都是常用的降维技术。PCA主要是从 特征的协方差角度，去找到比较好的投影方式。LDA更多的是 考虑了标注，即希望投影后不同类别之间数据点的距离更大， 同一类别的数据点更紧凑。
下面给出一个例子，说明LDA的目标：
可以看到两个类别，一个绿色类别，一个红色类别。左图是两个 类别的原始数据，现在要求将数据从二维降维到一维。直接投影 到x1轴或者x2轴，不同类别之间 会有重复，导致分类效果下降。 右图映射到的直线就是用LDA方法计算得到的，可以看到，红色 类别和绿色类别在映射之后之间的距离是最大的，而且每个类别 内 部点的离散程度是最小的（或者说聚集程度是最大的）。
LDA
假设用来区分二分类的直线（投影函数)为： LDA分类的一个目标是使得不同类别之间的距离越远越好，同 一类别之中的距离越近越好，所以我们需要定义几个关键的值:
线性判别分析（LinearDiscriminantAnalysis，LDA）
线性判别分析（LinearDiscriminantAnalysis，LDA）⼀、LDA的基本思想线性判别式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD)，是模式识别的经典算法，它是在1996年由Belhumeur引⼊模式识别和⼈⼯智能领域的。
线性鉴别分析的基本思想是将⾼维的模式样本投影到最佳鉴别⽮量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的⼦空间有最⼤的类间距离和最⼩的类内距离，即模式在该空间中有最佳的可分离性。
如下图所⽰，根据肤⾊和⿐⼦⾼低将⼈分为⽩⼈和⿊⼈，样本中⽩⼈的⿐⼦⾼低和⽪肤颜⾊主要集中A组区域，⿊⼈的⿐⼦⾼低和⽪肤颜⾊主要集中在B组区域，很显然A组合B组在空间上明显分离的，将A组和B组上的点都投影到直线L上，分别落在直线L的不同区域，这样就线性的将⿊⼈和⽩⼈分开了。
⼀旦有未知样本需要区分，只需将⽪肤颜⾊和⿐⼦⾼低代⼊直线L的⽅程，即可判断出未知样本的所属的分类。
因此，LDA的关键步骤是选择合适的投影⽅向，即建⽴合适的线性判别函数（⾮线性不是本⽂的重点）。
⼆、LDA的计算过程1、代数表⽰的计算过程设已知两个总体A和B，在A、B两总体分别提出m个特征，然后从A、B两总体中分别抽取出、个样本，得到A、B两总体的样本数据如下：和假设存在这样的线性函数（投影平⾯），可以将A、B两类样本投影到该平⾯上，使得A、B两样本在该直线上的投影满⾜以下两点：（1）两类样本的中⼼距离最远；（2）同⼀样本内的所有投影距离最近。
我们将该线性函数表达如下：将A总体的第个样本点投影到平⾯上得到投影点，即A总体的样本在平⾯投影的重⼼为其中同理可以得到B在平⾯上的投影点以及B总体样本在平⾯投影的重⼼为其中按照Fisher的思想，不同总体A、B的投影点应尽量分开，⽤数学表达式表⽰为，⽽同⼀总体的投影点的距离应尽可能的⼩，⽤数学表达式表⽰为，，合并得到求从⽽使得得到最⼤值，分别对进⾏求导即可，详细步骤不表。
LDA线性判别分析报告
LDA线性判别分析报告LDA线性判别分析（Linear Discriminant Analysis）是一种经典的线性分类方法。
它的目的是通过线性投影将数据从高维空间降维到低维空间，并在降维后的空间中寻找最佳的分类边界。
LDA在模式识别和机器学习领域有广泛的应用，特别在人脸识别、语音识别等领域取得了较好的效果。
LDA是一种有监督的降维方法，它在降维的同时将数据的类别信息考虑进去。
具体来说，LDA的目标是使得同一类别的数据点尽量聚集在一起，不同类别之间的距离尽量拉大。
这样一来，在降维后的空间中，可以更容易找到线性分类边界，从而提高分类的准确度。
LDA的思想基于以下两个假设：1.数据符合高斯分布。
LDA假设每个类别的数据点都符合高斯分布，且各个类别的协方差矩阵相同。
2.数据点是独立的。
LDA假设不同类别的数据点之间是独立的。
LDA的步骤如下：1.计算各个类别的均值向量。
对于有N个类别的数据，每个类别的均值向量可以通过计算平均值得到。
2.计算类内散度矩阵(Sw)和类间散度矩阵(Sb)。
类内散度矩阵衡量了同一类别数据点之间的差异，可以通过计算每个类别内部数据点和对应的均值向量之间的协方差矩阵的和来求得。
类间散度矩阵衡量了不同类别数据点之间的差异，可以通过计算不同类别均值向量之间的协方差矩阵的加权和来求得。
3.解LDA的优化问题。
LDA的目标是最大化类间散度矩阵与类内散度矩阵的比值，可以通过对Sw的逆矩阵与Sb的乘积进行特征值分解得到最佳投影方向。
4.选取投影方向。
根据上一步骤求得的特征值，选择最大的k个特征值对应的特征向量，这些特征向量构成了投影矩阵W。
其中k为降维后的维度，通常比原本的维度小。
LDA的优点在于它能充分利用类别信息，提高分类的准确度。
同时，LDA计算简单且直观，对数据的分布并没有太多的假设要求。
然而，LDA 也有一些限制。
首先，LDA假设数据符合高斯分布，这对于一些非线性数据是不适用的。
其次，LDA是一种线性分类方法，对于非线性问题可能效果不佳。
线性判别分析（LDA）
线性判别分析（LDA）说明：本⽂为个⼈随笔记录，⽬的在于简单了解LDA的原理，为后⾯详细分析打下基础。
⼀、LDA的原理LDA的全称是Linear Discriminant Analysis（线性判别分析），是⼀种supervised learning。
LDA的原理：将带上标签的数据（点），通过投影的⽅法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，⼀簇⼀簇的情况，相同类别的点，将会在投影后的空间中更接近。
因为LDA是⼀种线性分类器。
对于K-分类的⼀个分类问题，会有K个线性函数：当满⾜条件：对于所有的j，都有Yk > Yj,的时候，我们就说x属于类别k。
上式实际上就是⼀种投影，是将⼀个⾼维的点投影到⼀条⾼维的直线上，LDA最求的⽬标是，给出⼀个标注了类别的数据集，投影到了⼀条直线之后，能够使得点尽量的按类别区分开，当k=2即⼆分类问题的时候，如下图所⽰：上图提供了两种⽅式，哪⼀种投影⽅式更好呢？从图上可以直观的看出右边的⽐左边的投影后分类的效果好，因此右边的投影⽅式是⼀种更好地降维⽅式。
LDA分类的⼀个⽬标是使得不同类别之间的距离越远越好，同⼀类别之中的距离越近越好。
⼆、LDA算法流程输⼊：数据集 D = {(x1, y1), (x1, y1), ... ,(x m, y m)}，任意样本x i为n维向量，y i∈{C1, C2, ... , Ck}，共k个类别。
现在要将其降维到d维；输出：降维后的数据集D'。
（1）计算类内散度矩阵 S B;（2）计算类间散度矩阵 S W;（3）将 S B和 S W代⼊上⾯公式计算得到特征值λ和特征向量 w，取前⾯⼏个最⼤的特征值向量λ'与特征向量相乘得到降维转换矩阵λ'w;（4）将原来的数据与转换矩阵相乘得到降维后的数据 (λ'w)T x ;三、LDA优缺点分析LDA算法既可以⽤来降维，⼜可以⽤来分类，但是⽬前来说，主要还是⽤于降维。
数据挖掘中的线性判别分析方法原理解析
数据挖掘中的线性判别分析方法原理解析数据挖掘是一门利用计算机技术从大量数据中挖掘出有用信息的学科。
在这个信息爆炸的时代，人们面临着海量的数据，如何从中提取出有价值的信息成为了一项重要的任务。
线性判别分析（Linear Discriminant Analysis，简称LDA）是数据挖掘中一种常用的分类方法，它能够在高维数据中找到最佳的投影方向，从而实现数据的降维和分类。
LDA方法的基本思想是在保持不同类别之间的区分能力最大化的同时，最大化同一类别内部的相似性。
具体而言，LDA通过计算类别之间的散度和类别内部的散度来确定最佳的投影方向。
散度可以理解为数据的离散程度，散度越大表示数据之间的差异越大，散度越小表示数据之间的差异越小。
在进行LDA之前，首先需要对数据进行预处理。
通常情况下，我们会对数据进行标准化处理，使得数据的均值为0，方差为1。
这样可以避免某些特征对于分类结果的影响过大。
接下来，我们需要计算类别之间的散度和类别内部的散度。
类别之间的散度可以通过计算不同类别之间的均值差异来得到。
而类别内部的散度可以通过计算每个类别内部的协方差矩阵来得到。
协方差矩阵描述了数据之间的相关性，可以用来衡量数据的离散程度。
在计算完散度之后，我们需要求解一个优化问题，即最大化类别之间的散度和最小化类别内部的散度。
这个优化问题可以通过求解广义瑞利商的最大特征值和对应的特征向量来实现。
最大特征值对应的特征向量就是最佳的投影方向，它能够将数据从高维空间映射到一维空间。
通过LDA方法，我们可以将高维数据映射到低维空间，并且保持了数据的分类信息。
这样不仅可以减少数据的维度，降低计算复杂度，还可以提高分类的准确性。
除了在数据挖掘中的应用，LDA方法还被广泛应用于模式识别、人脸识别、图像处理等领域。
在人脸识别中，LDA可以提取出最具有判别性的特征，从而提高识别的准确性。
在图像处理中，LDA可以将图像从高维空间映射到低维空间，从而实现图像的降噪和压缩。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
discriminant function)
多變數經線性組合減為單變數，再判別新個體的歸 屬，不考慮各群體的分佈型態、事前機率。
貝氏判別法(Baye’s discriminant analysis) 計算新個體在各群體所佔的條件機率，新個體判歸 機率最大的群體，要考慮分佈型態、事前機率。
3
(馬氏、線性、貝氏，使用同一套code)
已知群體資料 ds1
新個體資料 ds2
Manova 檢驗已知群體間有無差異 從已知群體自我抽樣檢驗誤判率 判別新個體的歸屬
9
解讀SAS results
1. Manova 檢驗群體間差異
群間差異很顯著！
10
解讀SAS results
1. Manova 檢驗群體間差異
pool=no
pool=yes
11
解讀SAS results
解讀SAS results
各群間的馬氏距離
各群間的F值 群間差異很顯著！ 由馬氏距離推得的p值
12
解讀SAS results
1. Manova 檢驗群體間差異
各群間的馬氏距離
相同的方陣 +2.197 (用途不明)
13
解讀SAS results
線性判別分析
Linear Discriminant Analysis
報告者：宋允光 2011.1.3
線性判別分析是…
依照已知的群體，選定一個判別標準，
判斷新樣本所屬的群體。
應用： 動植物分類、作物優良品系選拔、醫學疾病診斷、 氣象預報、學生依能力分組…
2
方法包含…
馬氏最小距離判別法(Mahalanobis distance) 比較新個體與各群體間標準化的距離，新個體判歸 距離最近的群體，不考慮各群體事前機率。 費氏線性判別法(Fisher’s linear
P維空間中的K個已知群體 第i群體 (pi)：XiT = (Xi1Xi2… XiP) 群體中的個體分佈：Xi ~ N (mi, Si)
•i = 1, 2, … K
新個體X和mi的馬氏距離 Di2 = (X – mi)T Si-1(X - mi) 判斷 當Di2 = min(D12, D22,… DK2)，則 X 屬於 pi
16
無法判定… Ｏrz
17
最小距離判別法(Mahalanobis, 1936)
計算新樣本與各已知群體中心的馬氏距離，
判斷新個體屬於馬氏距離最短的群體。 原距離經過變方矩陣標準化→馬氏距離
X2 ~ N (m2, S2)
p2
X3 ~ N (m3, S3)
p3
X
X1 ~ N (m1, S1)
p1
4
最小距離判別法
原理＆公式
2.自我抽樣檢驗誤判率
被抽樣個體在各群體佔的條件機率
14
解讀SAS results
2.自我抽樣檢驗誤判率
錯判results
判別新個體的歸屬
New obs 1 2 3 4
X1 58 58 66 58
X2 31 28 31 31
X3 14 38 45 38
X4 13 13 21 13
5
最小距離判別法
假設條件
各群體於各維度上的分佈都符合常態分佈 各群體間差異顯著 差異如不顯著，分群失去意義，且誤判率會很高 先以MANOVA確認才繼續
若mi, Si未知，可用Xi, Si代替，但須符合… 各群體樣本數 ni > P測量項目數，保證Si-1存在。 此時Di2(X) = (X – Xi)T Si-1(X - Xi) + ln |Si|
6
例題：鳶尾花的三個品系
測量變數(mm) X1：花萼長 X2：花萼寬 X3：花瓣長 X4：花瓣寬
7
新樣本
純屬虛構… 它們各自屬於哪個品系呢？
New obs
X1
X2
X3
X4
1
2 3 4
58
58 66 58
31
28 31 31
14
38 45 38
13
13 21 13
8
輸入SAS code