矩阵低秩分解理论课件
第五章 矩阵分解64页PPT文档
(1)首先解线性方程组 LyPb，可得 y L1Pb .
(2) 接着计算原方程组的解x U1y，即 求解方程组 Ux y 。
例 5.1.5 例 5.1.6 例 5.1.7
定理5.2.1 设 zCn是单位列向量，则对
C n 中的任意向量x，都存在Householder矩
阵使得
Hxz，其中
x
，且
2
x H z为实
数。
例 5.2.1 例 5.2.2
5.2.2 矩阵的QR分解
下面我们探讨如何利用Householder变 换将矩阵化为上三角矩阵。我们以n=3的 情形开始讨论 .
即 xˆ a1是 Axr1的精确解，从而达到改进 解的目的。当然很可能还存在误差，得到
的是 aˆ 1 ，而不是 a 1 。此时设r 2b A x ˆ a ˆ1，
解线性方程组 Axr2，得到 aˆ 2 ，将 Axb的 解改进为 xˆaˆ1aˆ2 。
如此继续下去，可以证明，只要cond（A） 不是太大，序列 x ˆ,x ˆa ˆ1,x ˆa ˆ1a ˆ2, 最终会收 敛到 Axb 的解，通常只需迭代几步就可 以得到很精确的解。
3
2
此时
l1 v1 w1
H1A 0 v2 w2
0
v3
w3
接下来可构造H使得
H
v v
2 3
l2 0
其中
l2
v v
2 3
令
H2
矩阵理论课件-第二章 矩阵的分解
故xH AH Ax=xH x= 2 xH x，因为AH A=I，所以 2 =1.
(因为xH x= x 2 0)
:由条件UHAU=diag{1, , n}共轭转秩得UHAHU=
diag{1,
, n}，所以UHAAT U=diag{ 1 2 ,
,
n
2
}=I
，
n
所以AAT =In .
注1：设A Cnn ,则
Cmr r
,
C
Ir
D
Crn r
.
下设A的前r个列向量线性相关,只需先做列变换，变成
线性无关，
因此存在P
Cmmm，Q
Cnn n
,
满足
PAQ=
Ir 0
D 0
或A=P-1
Ir 0
D 0
Q-1
=P-1
Ir 0
I
r
=BC
D Q-1
其中B=P-1
Ir 0
Cmr r
,C
Ir
D
讨论知AH x1, , AH xp为AH A属于i 0的特征向量，只要证明
AH x1, , AH xp线性无关，就证明了AAH的p重特征值也是AH A 的p重特征值.
下证AH x1, , AH xp线性无关.
设k1AH x1
k p AH xp 0.则( AH x1,
,
AH
xp
)
k1
0
kp
H
=
1 2
11，可知|I-A|无重根，
A为单纯矩阵，但AAH AH A.
推论1：A为正规矩阵,当且仅当A有n个特征向量构成Cn的一组 标基，且A的不同特征值的特征向量正交.
推论2：设A R nn ,则
低秩矩阵分解与逼近
机器学习10.低秩矩阵分解主要内容低秩矩阵分解问题L2VS L1主要问题：缺失+噪音 CWMMoG主要内容低秩矩阵分解问题L2VS L1主要问题：缺失+噪音 CWMMoG已知数据：计算两个低秩矩阵目标：使低秩矩阵乘积尽可能重目标使低秩矩阵乘积尽可能重建原矩阵大量应用：运动中的结构检测社交网络/推荐系统(E.g.,Eriksson and Hengel ,2010)人脸建模信息提取(E.g.,Cheng et al., 2012)(E.g., Candes et al.,2012)(E.g. Deerwester et al. 1990)关键问题：☐如何度量原数据与重建数据偏差？性能？最常见误差函数选择：最常见误差函数选择主要内容低秩矩阵分解问题 L2VS L1主要问题：缺失+噪音 CWMMoG各自优劣？L2模型的解为？加正交约束有无影响？L2范数模型L1 范数模型 SVDY oung diagram (CVPR, 2008)T orre&Black (ICCV , 2001) R1PCA (ICML, 2006) L2 Wiberg (IJCV , 2007)LM_S/LM_M (IJCV , 2008)SALS (CVIU, 2010)LRSDP (NIPS, 2010)PCAL1 (PAMI, 2008) ALP/AQP (CVPR, 2005) L1Wiberg (CVPR, 2010, best paper award) RegL1ALM (CVPR, 2012) Damped Wiberg (ICCV , 2011)Weighted SVD (T echnometrics, 1979) WLRA (ICML, 2003)Damped Newton (CVPR, 2005) CWM (AAAI, 2013)Reg-ALM-L1 (CVPR, 2013)L2范数模型L1 范数模型SVDY oung diagram (CVPR, 2008) T orre&Black (ICCV , 2001) R1PCA (ICML, 2006) L2 Wiberg (IJCV , 2007) LM_S/LM_M (IJCV , 2008) SALS (CVIU, 2010) LRSDP (NIPS, 2010)PCAL1 (PAMI, 2008) ALP/AQP (CVPR, 2005)L1Wiberg (CVPR, 2010, best paper award) RegL1ALM (CVPR, 2012)Damped Wiberg (ICCV , 2011)Weighted SVD (T echnometrics, 1979) WLRA (ICML, 2003)Damped Newton (CVPR, 2005) CWM (AAAI, 2013)Reg-ALM-L1 (CVPR, 2013)L2范数模型L1 范数模型优点: 光滑模型优点: 对极端异常点表现稳健算法速度快在无缺失前提下有全局极优缺点: 对异常点与强噪音点表现不稳缺点: 非光滑模型算法速度慢健在高斯噪音下表现不佳R b t P bl 为什么？！Robust Problem为什么对于大误差点的惩罚Mean vs Median 误差分布假设主要内容低秩矩阵分解问题 L2VS L1主要问题：缺失+噪音 CWM MoG数据缺失强噪音{01}⨯d n ,{0,1},∈∈ij W R w 为Hardamard 乘积算子L1低秩矩阵分解模型对异常点与强噪音表现稳健！✓Ke and Kanade, CVPR, 2005✓Eriksson and van den Hengel, CVPR, 2010✓Kwak TPAMI 2008Kwak, TPAMI, 2008✓Wright et al., NIPS, 2009✓Zheng et al., CVPR, 2012✓…L1 Low-Ranki i iMatrix Factorization典型方法:✓ALP: Ke and Kanade, CVPR. 2005Wib L1E ik d d H l CVPR2010✓WibergL1: Eriksson and van den Hengel, CVPR. 2010.✓PCAL1: Kwak, TPAMI. 2008.✓Robust PCA: Wright et al., NIPS. 2009.✓RegL1ALM: Zheng et al., CVPR. 2012✓…优点✓对异常点表现稳健缺点✓非光滑非凸模型✓算法速度慢主要内容低秩矩阵分解问题 L2VS L1主要问题：缺失+噪音 CWM MoGCWMCoordinate D t动机在很多其它机器学习问题中坐标下降算法Descent : 在很多其它机器学习问题中，坐标下降算法已经成为非常有效的计算方法之一LassoRidge RegressionElastic Net. (Friedman et al., 2007; 2010)坐标下降：将原问题分解为针对每个变量元素优化的子问题，然后顺序求解，对L1 LRMF 问题而言：每个子问题均是凸的每个子问题均可通过加权均值滤子快速准确求解算法复杂度与数据大小与维度呈近似线性增长Cyclic Weighted MedianW X UVT()L1难点？CWML1 LRMF 模型可按如下两种方式进行分解11()()-=-∑TTj j j L L W X UV W X u v 11()()=-=-∑Ti i i i j ji L L jW E u v w e u ij v 11()()-=-∑Ti j ji L L W X UV we v ij u jT i j j j i E X u v ≠=-∑, j w 与 j w分别为W 的第j 列和行, i j e 与i j e 分别为i E 的第j 列和行,ij u 与ij v 分别为i u 与i v 的第j 个元素.Cyclic Weighted Median-TW X UV 1()L VSVS.1()-i j ji L w e u ij v 1-i j jj i L w e w u ijv ()-i j ji w e v ij u -i j jj i w e w v ij u 1L 1LCyclic Weighted MedianL1 LRMF 关于U，V的子关于每个变量元素的子问题问题Cyclic Weighted Median每个子问题转换为一个标准的加权均值问题！Cyclic Weighted MedianL1 LRMF 目标函数在迭代过程中单调递减！Cyclic Weighted Median计算复杂度:稠密数据：O(d logd)稀疏数据：O(s logs)稠密数据：O(n logn)稀疏数据：O(s logs)s 为数据矩阵每列/行的本质稀疏度当数据矩阵高度稀疏时, CWM 计算复杂度仅为O((n+d)s), 少于现有最快的算法复杂度O(dn).O((+d)) O(d)Cyclic Weighted Median人工: 100个矩阵，每个大小为7×12，秩为3.Cyclic Weighted Median人脸数据人脸数据：Yale B dataset✓Facedata1 & Facedata2:每组包含64张脸，每个脸大小包含一定程度的缺失与24×21，包含定程度的缺失与椒盐噪声点。
矩阵低秩分解理论课件
多媒体技术与小学语文教学的有效融合【摘要】本文旨在探讨多媒体技术与小学语文教学的有效融合。
在介绍了这一主题的重要性。
在分别从多媒体技术在小学语文教学中的应用、提升教学效果、促进学生学习兴趣、缓解教学难点以及实践案例等方面进行了分析。
随后在总结了多媒体技术与小学语文教学融合的重要性，并探讨了未来多媒体技术在小学语文教学中的发展方向，倡导了深度融合的观点。
通过本文的研究，可以清晰地看到多媒体技术在小学语文教学中的价值和潜力，为提升教学质量和学生学习效果提供了新的思路和方法。
【关键词】多媒体技术、小学语文教学、融合、应用、提升效果、提高兴趣、缓解难点、实践案例、重要性、发展方向、深度融合1. 引言1.1 多媒体技术与小学语文教学的有效融合多媒体技术与小学语文教学的有效融合，是当前教育领域中备受关注的话题。
随着科技的发展和普及，多媒体技术在教育教学中的运用逐渐广泛，而在小学语文教学中，充分利用多媒体技术，将会对学生的语文学习起到积极的促进作用。
语文教学是小学教育的重要组成部分，而多媒体技术的引入使得传统的语文教学方式得到了革新和提升。
通过多媒体技术，教师可以呈现丰富多彩的教学内容，如图文并茂的课件、生动有趣的动画等，这不仅可以激发学生的学习兴趣，还能提升教学效果。
多媒体技术还能够帮助教师解决小学语文教学中的难点和问题，比如词语解释、生字认读等。
通过多媒体技术，这些看似抽象难懂的知识可以被生动形象地呈现出来，使学生更容易理解和掌握。
多媒体技术与小学语文教学的有效融合是一种创新、高效的教学方式，它不仅提升了教学效果，还帮助学生增加学习兴趣，促进了语文素养的提高。
在未来，随着多媒体技术的进一步发展，它将在小学语文教学中发挥出更大的作用，倡导多媒体技术与小学语文教学的深度融合将成为当前教育改革的重要方向。
2. 正文2.1 多媒体技术在小学语文教学中的应用多媒体技术在小学语文教学中的应用是指利用计算机、视频、音频、图像等多种媒体形式，结合教学内容和教学目标，为小学生提供多样化的学习方式和资源。
线性代数课件第三章矩阵的秩课件
VS
矩阵的秩可以用于判断两个矩阵是否相似。如果两个矩阵相似，则它们的秩相同。
特征值和特征向量
矩阵的秩还可以用于确定矩阵的特征值和特征向量的个数。对于给定的矩阵，其秩等于其非零特征值的个数。
矩阵相似
矩阵的秩可以用于矩阵分解，如奇异值分解（SVD）和QR分解等。这些分解方法将一个复杂的矩阵分解为几个简单的、易于处理的矩阵，有助于简化计算和解决问题。
1 2 3 | 0 0 -3
7 8 9 | 0 0 0`
```
由于非零行的行数为2，所以矩阵B的秩为2。
题目3
求矩阵C=[1 -2 3; -4 5 -6; 7 -8 9]的秩。
解答
首先，将矩阵C进行初等行变换，得到行阶梯矩阵
```
继续进行初等行变换，得到
1 -2 3 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0 -6 -9 | 0
矩阵秩的应用
03
线性方程组的解
矩阵的秩可以用来判断线性方程组是否有解，以及解的个数。如果系数矩阵的秩等于增广矩阵的秩，则方程组有唯一解；否则，方程组无解或有无数多个解。
最小二乘法
矩阵的秩还可以用于最小二乘法，通过最小化误差平方和来求解线性方程组。最小二乘法的解就是使残差矩阵的秩等于其行数或列数的最小二乘解。
矩阵低秩分解理论PPT课件
低秩矩阵恢复应用
• 图像类别标签净化
低秩矩阵恢复应用
• 文本主题分析
传统PCA
RPCA
低秩矩阵恢复应用
其中：
为一线性投影算子，即
• 音乐词曲分离 , Structural Similarity and Distance in Learning, Annual Allerton Conf.
上述优化问题是非线性、非光滑的，可以使用最速上升法求解。
此将时最， 优优化化问问题题正的则最化速，上便升得方到向优为化Ｗ问ｋ题＝：Ｄ－Ｄk，其中Ｄk为Ｄ在Ｎ(Ｙk)上的投影。
其需中要： 充分利用问题的结构和现有的硬表件示条矩件阵, 元开素发绝快对速值的最、大并的行值的。算法变性。
当LiuＡa＝ndＡYka+n1. ，Ｙ＝Ｙk时，
W其a中n：g et al.
其中 表示函数Ｊ(.
D, SUtLruLc比tuAraPlGS算im法ila具rity有a更nd好D的is可tan扩c展e i性n L，e这arn是in因g,为An在n每ua次l A迭lle代rto过n程Co中n对f. 偶方法不需要矩阵的完全奇异值分解。
其AD中M：对ALM做了表改示善函，数即ｆ不(Ａ精,Ｅ确)拉关格于朗矩日阵乘变子量法Ａ（和inＥe的xaＦctAｒLéMｃ它ｈ不ｅ需ｔ要梯求度。 的精确解，即矩阵Ａ和Ｅ的迭代更新公式为：
一般意义上的LRR可以看做：
低秩矩阵表示求解
• 构造上述优化问题的增广拉格朗日乘子函数为
•当
时,Ｘ的更新公式为
Ｚ的更新公式为 Ｅ的更新公式为 拉格朗日乘子的迭代公式为 参数μ的更新式为
低秩矩阵表示的应用
• 图像分割 L当a数ten据t 矩Lo阵w-ＤRa含n丢k R失e元pre素s时en，tat可io根n f据or矩Su阵b的sp低ac秩e S结e构gm来e恢nt复ati矩on阵an的d所Fe有a元tur素e ，Ex称tra此ct恢ion复, 过IC程CV为2矩01阵1.补全（ＭＣ）。
线性代数课件第三章矩阵的秩
线性方程组的解 与矩阵的秩的关 系
利用矩阵的秩判 断线性方程组是 否有解
利用矩阵的秩求 解线性方程组的 步骤和方法
矩阵的秩在判断向量组线性相关性的应用
矩阵的秩与向量组 线性相关性的定义
矩阵的秩在判断向 量组线性相关性中 的应用
矩阵的秩与向量组 线性相关性的关系
矩阵的秩在解决实 际问题中的应用
矩阵的秩在求向量空间维数中的应用
汇报人：PPT
PPT,a click to unlimited possibilities汇报人Leabharlann PPT目录矩阵秩的定义
矩阵的秩的概念
矩阵秩的几何意义
矩阵秩的计算方法
矩阵秩的性质和定理
矩阵的秩的计算方法
定义：矩阵的秩是其行向量或列向量的最大线性无关组的个数
计算方法：通过初等行变换或初等列变换将矩阵化为阶梯形矩阵，然后数非零行数或非零列 数
利用初等列变换求矩阵的秩的证明
初等列变换的定义和性质
阶梯形矩阵的秩的计算方法
添加标题
添加标题
添加标题
添加标题
利用初等列变换将矩阵化为阶梯形 矩阵
证明利用初等列变换求矩阵的秩的 正确性
零矩阵的秩
零矩阵的定义：所 有元素都为0的矩 阵
零矩阵的秩为0
零矩阵与任何矩阵 相乘都等于0
零矩阵在数学中的 意义和作用
性质：矩阵的秩与行数和列数有关，且不超过行数和列数中的最小值
应用：矩阵的秩在解线性方程组、判断向量组的线性相关性等方面有重要应用
矩阵的秩的性质
矩阵的秩等于其行秩或列秩
矩阵的秩是其所有子矩阵的 秩的最大值
矩阵的秩是唯一的
矩阵的秩等于其转置矩阵的 秩
矩阵的秩在解线性方程组中的应用
结构化低秩矩阵分解方法介绍
Find a polynomial close to p(x) with multiple roots.
• The Sylvester matrix of p(x) and p (x) will be a (2n − 1) × (2n − 1) matrix formed from the coefficients of p(x) and p (x). • For example, if n = 4 and p(x) = a4x4 + a3x3 + a2x2 + a1x + a0, then a4 a3 a2 a1 a0 0 0 0 a a a a a 0 4 3 2 1 0 0 0 a a a a a 4 3 2 1 0 Sp,p = 4a4 3a3 2a2 1a1 0 0 0 0 4a4 3a3 2a2 1a1 0 0 0 0 4a4 3a3 2a2 1a1 0 0 0 0 4a4 3a3 2a2 1a1 • p(x) has a multiple root ⇐⇒ det(Sp,p ) = 0. (resultant) • Find a low rank approximation to Sp,p with the above structure.
• The Sylvester matrix of p(x) and q (x) is an (m + n) × (m + n) matrix formed from the coefficients of p(x) and q (x). • For example, if m = 3, n = 2, p3 0 = q2 0 0 p2 p3 q1 q2 0 p1 p2 q0 q1 q2 p0 p1 0 q0 q1 0 p0 0 0 q0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
矩阵低秩分解理论
9
对偶方法（DUL）
• 由于核范数的对偶范数为谱范数，所以优化问题的对偶问题
为：
其中：
表示矩阵元素绝对值最大
的值。当优化问题对偶式取得最优值 时，必定满足 即
此优化问题等价于：
上述优化问题是非线性、非光滑的，可以使用最速上升法求
解。当 时，定义正规锥
其
中 表示函数Ｊ(.)的次梯度。此时，优化问题的最速上升
矩阵低秩分解理论
20
低秩矩• 图阵像矫恢正与复去噪应用
矩阵低秩分解理论
21
低秩矩阵恢复应用 • 图像对齐
矩阵低秩分解理论
22
低秩矩阵补全
• 当数据矩阵Ｄ含丢失元素时，可根据矩阵的低秩结构来恢 复矩阵的所有元素，称此恢复过程为矩阵补全（ＭＣ）。
• 记Ω为集合［ｍ］×［ｎ］的子集，这里［ｍ］表示集合 ｛１,２,…,ｍ｝。ＭＣ的原始模型可描述为如下的优化问题：
• 图像恢复
矩阵低秩分解理论
15
低秩矩阵恢复应用
• 图像去光照影响恢复
矩阵低秩分解理论
16
低秩矩阵恢复应用
• 视频背景建模
矩阵低秩分解理论
17
低秩矩阵恢复应用
• 图像类别标签净化
矩阵低秩分解理论
18
低秩矩阵恢复应用
• 文本主题分析
传统PCA
RPCA
矩阵低秩分解理论
19
低秩矩阵恢复应用
• 音乐词曲分离
当D是从多个独立子空间的采样组合，那么 为对角块矩 阵，每个块对应着一个子空间。此即为子空间聚类（Sparse Subspace Clustering）。
矩阵低秩分解理论
27
低秩矩阵表示（LRR）
• 于是L(Ａ,Ｅ,μ)=ｇ(Ａ,Ｅ,μ)+ｆ(Ａ,Ｅ)。函数ｇ(Ａ,Ｅ,μ)不可微，而ｆ(Ａ, Ｅ)光滑且具有李普希兹连续梯度，即存在Lf＞0，使得
其中：
表示函数ｆ(Ａ,Ｅ)关于矩阵变量Ａ和Ｅ的Ｆｒéｃｈｅ
ｔ梯度。此处取Lf =２。对于给定的与Ｄ同型的两个矩阵ＹA和ＹE，作Ｌ
(Ａ,Ｅ,μ)的部分二次逼近：
方向为Ｗｋ＝Ｄ－Ｄk，其中Ｄk为Ｄ在Ｎ(Ｙk)上的投影。使用
线性搜索方法确定步长大小：
• 于是Ｙk的更新过程为
• DULL比APG算法具有更好的可扩展性，这是因为在每次迭代
过程中对偶方法不需要矩阵的完全奇异值分解。
矩阵低秩分解理论
10
增广拉格朗日乘子法（augmented Lagrange
multipliers,ALM）
当Ｅ为稀疏的大噪声矩阵时，问题转化为双目标优化问题：
引入折中因子λ，将双目标优化问题转换为单目标优化问题：
矩阵低秩分解理论
5
RPCA的求解
• 凸松弛
矩阵核范数
NP难问题 松弛后
矩阵低秩分解理论
6
迭代阈值算法（iterative thresholding，IT）
将最优化问题正则化，便得到优化问题：
其中：
为一线性投影算子，即
• 为便于优化，凸松弛后转化为：
矩阵低秩分解理论
23
低秩矩阵补全求解
• ＭＣ问题可应用ＡＬＭ算法求解，将原优化问题重新表示为： 于是构造上述问题的部分增广拉格朗日函数为
矩阵低秩分解理论
24
低秩矩阵补全应用
• 智能推荐系统
矩阵低秩分解理论
25
低秩矩阵补全应用
• 电影去雨线处理
矩阵低秩分解理论
8
加速近端梯度算法（accelerated proximal gradient，APG）
为了得到更新ＹA和ＹE时的步长，需先确定参数ｔk+1： 于是ＹA和ＹE的迭代更新公式为:
参数μ的迭代公式为 其中： 为事先给定的正数；0＜η＜１。 尽管ＡＰＧ与ＩＴ算法类似，但它却大大降低了迭代次数。
优化问题式的拉格朗日函数为
使用迭代阈值算法交替更新矩阵Ａ,Ｅ和Ｙ。当Ｅ=Ｅk，Ｙ=Ｙk时，
当Ａ＝Ａk+1，Ｙ＝Ｙk时，
当Ａ＝Ａk+1 ，Ｅ＝Ｅk+1时，
其中：步长δk满足０＜ δk ＜1
矩阵低秩分解理论
7
加速近端梯度算法（accelerated proximal gradient，APG）
• 将优化问题式的等式约束松弛到目标函数中，得到如下的拉格朗日函数： 记
矩阵低秩分解理论
26
低秩矩阵表示（LRR）
• 低秩矩阵表示（LRR）是将数据集矩阵Ｄ表示成字典矩阵Ｂ （也称为基矩阵）下的线性组合，即Ｄ＝ＢＺ，并希望线性
组合系数矩阵Ｚ是低秩的。为此，需要求解下列优化问题：
为便于优化，凸松弛后转化为：
若选取数据集Ｄ本身作为字典，则有
那么其解为
，这里
是D的SVD分解。
• 构造增广拉格朗日函数：
• 当Ｙ＝Ｙk，μ＝μ k ，使用交替式方法求解块优化问题
min Ａ,Ｅ Ｌ(Ａ,Ｅ,Ｙk,μ k )。
• 使用精确拉格朗日乘子法交替迭代矩阵Ａ和Ｅ，直到满足终止条件为止。若
则
矩阵低秩分解理论
11
• 再更新矩阵Ｅ:
•记
分别收敛于
• 最后更新参数μ：
，则矩阵Ｙ的更新公式为
其中：ρ＞１为常数；ε＞０为比较小的正数。
矩阵低秩分解理论
12
交替方向方法（alternating direction methods，ADM，IALM）
• ADM对ALM做了改善，即不精确拉格朗日乘子法（inexactALM它
不需要求
的精确解，即矩阵Ａ和Ｅ的迭代更新公
式为：
矩阵低秩分解理论
13
求解方Байду номын сангаас性能比较
矩阵低秩分解理论
14
低秩矩阵恢复应用
✓ 低秩矩阵恢复（Low-rank Matrix Recovery）
矩阵低秩分解理论
3
✓ 鲁棒主成分分析(Robust principle component analysis, RPCA)
预备知识
矩阵低秩分解理论
4
低秩矩阵恢复（鲁棒主成分分析RPCA）
• 在许多实际应用中，给定的数据矩阵Ｄ往往是低秩或近似低秩 的，但存在随机幅值任意大但是分布稀疏的误差破坏了原有数 据的低秩性，为了恢复矩阵Ｄ的低秩结构，可将矩阵Ｄ分解为 两个矩阵之和，即Ｄ＝Ａ＋Ｅ，其中矩阵Ａ和Ｅ未知，但Ａ是 低秩的。当矩阵Ｅ的元素服从独立同分布的高斯分布时，可用 经典的PCA来获得最优的矩阵Ａ，即求解下列最优化问题：
矩阵低秩分解理论及其应用分析
2013年9月4日
矩阵低秩分解理论
1
从稀疏表示到低秩分解
• 稀疏表示
✓压缩感知(Compressed sensing)
矩阵低秩分解理论
2
从稀疏表示到低秩分解
• 矩阵低秩分解
observation
low-rank
sparse
✓ 矩阵低秩稀疏分解(Sparse and low-rank matrix decomposition)