矩阵低秩分解理论
低秩矩阵分解与逼近
机器学习10.低秩矩阵分解主要内容低秩矩阵分解问题L2VS L1主要问题：缺失+噪音 CWMMoG主要内容低秩矩阵分解问题L2VS L1主要问题：缺失+噪音 CWMMoG已知数据：计算两个低秩矩阵目标：使低秩矩阵乘积尽可能重目标使低秩矩阵乘积尽可能重建原矩阵大量应用：运动中的结构检测社交网络/推荐系统(E.g.,Eriksson and Hengel ,2010)人脸建模信息提取(E.g.,Cheng et al., 2012)(E.g., Candes et al.,2012)(E.g. Deerwester et al. 1990)关键问题：☐如何度量原数据与重建数据偏差？性能？最常见误差函数选择：最常见误差函数选择主要内容低秩矩阵分解问题 L2VS L1主要问题：缺失+噪音 CWMMoG各自优劣？L2模型的解为？加正交约束有无影响？L2范数模型L1 范数模型 SVDY oung diagram (CVPR, 2008)T orre&Black (ICCV , 2001) R1PCA (ICML, 2006) L2 Wiberg (IJCV , 2007)LM_S/LM_M (IJCV , 2008)SALS (CVIU, 2010)LRSDP (NIPS, 2010)PCAL1 (PAMI, 2008) ALP/AQP (CVPR, 2005) L1Wiberg (CVPR, 2010, best paper award) RegL1ALM (CVPR, 2012) Damped Wiberg (ICCV , 2011)Weighted SVD (T echnometrics, 1979) WLRA (ICML, 2003)Damped Newton (CVPR, 2005) CWM (AAAI, 2013)Reg-ALM-L1 (CVPR, 2013)L2范数模型L1 范数模型SVDY oung diagram (CVPR, 2008) T orre&Black (ICCV , 2001) R1PCA (ICML, 2006) L2 Wiberg (IJCV , 2007) LM_S/LM_M (IJCV , 2008) SALS (CVIU, 2010) LRSDP (NIPS, 2010)PCAL1 (PAMI, 2008) ALP/AQP (CVPR, 2005)L1Wiberg (CVPR, 2010, best paper award) RegL1ALM (CVPR, 2012)Damped Wiberg (ICCV , 2011)Weighted SVD (T echnometrics, 1979) WLRA (ICML, 2003)Damped Newton (CVPR, 2005) CWM (AAAI, 2013)Reg-ALM-L1 (CVPR, 2013)L2范数模型L1 范数模型优点: 光滑模型优点: 对极端异常点表现稳健算法速度快在无缺失前提下有全局极优缺点: 对异常点与强噪音点表现不稳缺点: 非光滑模型算法速度慢健在高斯噪音下表现不佳R b t P bl 为什么？！Robust Problem为什么对于大误差点的惩罚Mean vs Median 误差分布假设主要内容低秩矩阵分解问题 L2VS L1主要问题：缺失+噪音 CWM MoG数据缺失强噪音{01}⨯d n ,{0,1},∈∈ij W R w 为Hardamard 乘积算子L1低秩矩阵分解模型对异常点与强噪音表现稳健！✓Ke and Kanade, CVPR, 2005✓Eriksson and van den Hengel, CVPR, 2010✓Kwak TPAMI 2008Kwak, TPAMI, 2008✓Wright et al., NIPS, 2009✓Zheng et al., CVPR, 2012✓…L1 Low-Ranki i iMatrix Factorization典型方法:✓ALP: Ke and Kanade, CVPR. 2005Wib L1E ik d d H l CVPR2010✓WibergL1: Eriksson and van den Hengel, CVPR. 2010.✓PCAL1: Kwak, TPAMI. 2008.✓Robust PCA: Wright et al., NIPS. 2009.✓RegL1ALM: Zheng et al., CVPR. 2012✓…优点✓对异常点表现稳健缺点✓非光滑非凸模型✓算法速度慢主要内容低秩矩阵分解问题 L2VS L1主要问题：缺失+噪音 CWM MoGCWMCoordinate D t动机在很多其它机器学习问题中坐标下降算法Descent : 在很多其它机器学习问题中，坐标下降算法已经成为非常有效的计算方法之一LassoRidge RegressionElastic Net. (Friedman et al., 2007; 2010)坐标下降：将原问题分解为针对每个变量元素优化的子问题，然后顺序求解，对L1 LRMF 问题而言：每个子问题均是凸的每个子问题均可通过加权均值滤子快速准确求解算法复杂度与数据大小与维度呈近似线性增长Cyclic Weighted MedianW X UVT()L1难点？CWML1 LRMF 模型可按如下两种方式进行分解11()()-=-∑TTj j j L L W X UV W X u v 11()()=-=-∑Ti i i i j ji L L jW E u v w e u ij v 11()()-=-∑Ti j ji L L W X UV we v ij u jT i j j j i E X u v ≠=-∑, j w 与 j w分别为W 的第j 列和行, i j e 与i j e 分别为i E 的第j 列和行,ij u 与ij v 分别为i u 与i v 的第j 个元素.Cyclic Weighted Median-TW X UV 1()L VSVS.1()-i j ji L w e u ij v 1-i j jj i L w e w u ijv ()-i j ji w e v ij u -i j jj i w e w v ij u 1L 1LCyclic Weighted MedianL1 LRMF 关于U，V的子关于每个变量元素的子问题问题Cyclic Weighted Median每个子问题转换为一个标准的加权均值问题！Cyclic Weighted MedianL1 LRMF 目标函数在迭代过程中单调递减！Cyclic Weighted Median计算复杂度:稠密数据：O(d logd)稀疏数据：O(s logs)稠密数据：O(n logn)稀疏数据：O(s logs)s 为数据矩阵每列/行的本质稀疏度当数据矩阵高度稀疏时, CWM 计算复杂度仅为O((n+d)s), 少于现有最快的算法复杂度O(dn).O((+d)) O(d)Cyclic Weighted Median人工: 100个矩阵，每个大小为7×12，秩为3.Cyclic Weighted Median人脸数据人脸数据：Yale B dataset✓Facedata1 & Facedata2:每组包含64张脸，每个脸大小包含一定程度的缺失与24×21，包含定程度的缺失与椒盐噪声点。
矩阵低秩分解理论课件
多媒体技术与小学语文教学的有效融合【摘要】本文旨在探讨多媒体技术与小学语文教学的有效融合。
在介绍了这一主题的重要性。
在分别从多媒体技术在小学语文教学中的应用、提升教学效果、促进学生学习兴趣、缓解教学难点以及实践案例等方面进行了分析。
随后在总结了多媒体技术与小学语文教学融合的重要性，并探讨了未来多媒体技术在小学语文教学中的发展方向，倡导了深度融合的观点。
通过本文的研究，可以清晰地看到多媒体技术在小学语文教学中的价值和潜力，为提升教学质量和学生学习效果提供了新的思路和方法。
【关键词】多媒体技术、小学语文教学、融合、应用、提升效果、提高兴趣、缓解难点、实践案例、重要性、发展方向、深度融合1. 引言1.1 多媒体技术与小学语文教学的有效融合多媒体技术与小学语文教学的有效融合，是当前教育领域中备受关注的话题。
随着科技的发展和普及，多媒体技术在教育教学中的运用逐渐广泛，而在小学语文教学中，充分利用多媒体技术，将会对学生的语文学习起到积极的促进作用。
语文教学是小学教育的重要组成部分，而多媒体技术的引入使得传统的语文教学方式得到了革新和提升。
通过多媒体技术，教师可以呈现丰富多彩的教学内容，如图文并茂的课件、生动有趣的动画等，这不仅可以激发学生的学习兴趣，还能提升教学效果。
多媒体技术还能够帮助教师解决小学语文教学中的难点和问题，比如词语解释、生字认读等。
通过多媒体技术，这些看似抽象难懂的知识可以被生动形象地呈现出来，使学生更容易理解和掌握。
多媒体技术与小学语文教学的有效融合是一种创新、高效的教学方式，它不仅提升了教学效果，还帮助学生增加学习兴趣，促进了语文素养的提高。
在未来，随着多媒体技术的进一步发展，它将在小学语文教学中发挥出更大的作用，倡导多媒体技术与小学语文教学的深度融合将成为当前教育改革的重要方向。
2. 正文2.1 多媒体技术在小学语文教学中的应用多媒体技术在小学语文教学中的应用是指利用计算机、视频、音频、图像等多种媒体形式，结合教学内容和教学目标，为小学生提供多样化的学习方式和资源。
利用低秩分解去除水下图像后向散射干扰的方法研究
利用低秩分解去除水下图像后向散射干扰的方法研究作者：***来源：《江苏理工学院学报》2020年第04期摘要：區别于陆地，环境光在水下传播时存在吸收散射现象，水下成像过程中伴有散射效应，采集得到的水下图像存在视觉退化问题，其中后向散射在原始图像上形成的“雾化”背景是图像对比度降低的主要原因。
如何减小后向散射造成的影响，是目前水下图像复原技术所关注的主要问题。
基于低秩矩阵分解算法，提出一种新的去除目标后向散射噪声的方法，利用稀疏和低秩矩阵分解将散射分量与目标图像分离，达到去除后向散射的目的。
仿真实验结果表明，该方法可以有效提高全局图像对比度。
关键词：水下图像;后向散射;低秩矩阵;图像复原中图分类号：TP391.41 文献标识码：A 文章编号：2095-7394（2020）04-0071-07随着海洋经济发展和海洋军事活动的多样化，对海洋观测和探测开发的需求迅速增长，使得水下集成作业平台和水下传感技术成为近十几年来的研究热点[1-3]。
目前，声纳技术在大范围探测与远距离通讯方面仍是水下主要的传感手段，其空间分辨率和轻便性也在不断提高，但在近距观测和目标识别方面，光学传感技术由于能够提供更高的时空分辨率和更丰富的图像信息而具有不可替代的优势。
水下光传感技术的主要优势在于，它能够实时获取比声传感更丰富的场景信息。
虽然水下图像处理具有众多的应用，但水下成像环境极其复杂：一方面，水体对光的散射和水中的悬浮杂质等的干扰会使水下图像含有很强的噪声，导致图像质量下降，增加了人们获取信息的难度;另一方面，水体对不同波长的光的吸收强度不同，进而导致衰减程度不同，造成成像色彩的退化，使图像呈现绿色或蓝色，如图1所示。
深入了解水下图像退化过程及原理，对降质图像进行恢复，最大程度保留目标信息、去除噪声等的干扰来还原真实图像，能够为后续的目标识别等提供预处理功能，并获得大量在科学、经济和军事等领域具有实际应用价值的信息。
由于受细小颗粒物，如水分子以及浮尘、泥沙、小型微生物等悬浮物的阻挠，光波在水下的传播会偏离原有的传播轨迹，从而产生散射现象[4]。
矩阵补全原理
矩阵补全原理
矩阵补全是指通过已知的部分矩阵元素，推测出矩阵中未知的部分元素的过程。
这个问题可以形式化为寻找一个与给定的矩阵具有相似性质的矩阵，使得两个矩阵在已知元素的位置上尽可能一致。
矩阵补全的原理可以从以下几个方面来理解：
1. 低秩矩阵假设：矩阵往往具有一定的内在结构，可以用较低维度的矩阵来近似表示。
低秩矩阵假设认为补全后的矩阵可以近似表示为一个低秩矩阵加上一些噪声。
2. 矩阵分解方法：常用的矩阵补全方法是使用矩阵分解技术，例如奇异值分解（Singular Value Decomposition, SVD）和主成分分析（Principal Component Analysis, PCA）。
这些方法可以
将原始矩阵分解为两个或多个矩阵的乘积，通过对其中一个矩阵的补全，得到完整的补全矩阵。
3. 正则化方法：为了解决矩阵补全问题的不确定性，常常引入正则化（regularization）方法来约束补全矩阵的性质。
例如，
核范数正则化（Nuclear Norm Regularization）和L1正则化可
以用来限制补全矩阵的低秩性质和稀疏性质。
4. 优化问题求解：矩阵补全可以看作是优化问题，通过最小化补全矩阵与已知元素之间的差异（例如均方误差）来求解未知元素。
常用的优化方法有基于梯度下降的方法和迭代更新方法。
总而言之，矩阵补全原理可以通过低秩矩阵假设、矩阵分解、正则化方法和优化问题求解来解释。
这些方法可以提供一种通用框架来补全未知的矩阵元素。
lu分解例题及解析
lu分解例题及解析Lu分解法是一种将矩阵分解为低秩矩阵的分解方法，主要应用于数据分析、图像处理等领域。
下面以一个例题来介绍Lu分解法的具体步骤及解析过程。
假设有如下矩阵A:$$\begin{bmatrix}2 & 1 & 4 \\8 & 7 & 2 \\6 & 3 & 5 \\\end{bmatrix}$$步骤1：选取矩阵A的第一行作为初始行，将其作为下三角矩阵L的第一行，确定上三角矩阵U的第一行，即：$$L=\begin{bmatrix}1 & 0 & 0 \\l_{21} & 1 & 0 \\l_{31} & 0 & 1 \\\end{bmatrix},U=\begin{bmatrix}u_{11} & u_{12} & u_{13} \\0 & u_{22} & u_{23} \\0 & u_{32} & u_{33} \\\end{bmatrix}$$那么，可以得到：$$\begin{bmatrix}2 & 1 & 4 \\8 & 7 & 2 \\6 & 3 & 5 \\\end{bmatrix}=\begin{bmatrix}1 & 0 & 0 \\& 1 & 0 \\& & 1 \\\end{bmatrix}\begin{bmatrix}& & \\& & \\& & \\\end{bmatrix}$$因此，需要确定L和U的未知量l21、l31、u11、u12、u13、u22、u23和u33。
步骤2：用第一行的元素对矩阵A进行初等变换，使得第一列的下两个元素都为0，即：$$\begin{bmatrix}2 & 1 & 4 \\8 & 7 & 2 \\6 & 3 & 5 \\\end{bmatrix}\xrightarrow{(R_2-4R_1)}\begin{bmatrix}2 & 1 & 4 \\0 & 3 & -14 \\6 & 3 & 5 \\\end{bmatrix}$$此时，可得到：$$\begin{bmatrix}2 & 1 & 4 \\8 & 7 & 2 \\6 & 3 & 5 \\\end{bmatrix}=\begin{bmatrix}1 & 0 & 0 \\& 1 & 0 \\& & 1 \\\end{bmatrix}\begin{bmatrix}u_{11} & u_{12} & u_{13} \\0 & ? & ? \\0 & ? & ? \\\end{bmatrix}$$可以看出，u11=2，u12=1，u13=4。
低秩分解矩阵
低秩分解矩阵低秩分解矩阵是一种常用的矩阵分解方法，它可以将一个复杂的矩阵分解为两个或多个低秩矩阵的乘积形式。
这种分解方法在很多领域都有广泛的应用，如图像处理、推荐系统、自然语言处理等。
低秩分解矩阵的基本思想是通过降低矩阵的秩来近似表示原始矩阵，从而达到压缩数据、降维处理的目的。
在实际应用中，低秩分解矩阵可以提取矩阵中的主要特征，去除噪声和冗余信息，并且可以通过恢复分解矩阵来重建原始数据。
低秩分解矩阵的最常见形式是奇异值分解（Singular Value Decomposition，SVD）。
SVD将一个矩阵分解为三个矩阵的乘积，即A=UΣV^T，其中U和V是正交矩阵，Σ是对角矩阵。
Σ的对角元素称为奇异值，表示矩阵A在对应的特征向量上的投影长度。
通过保留奇异值较大的部分，可以实现对矩阵的低秩近似。
除了SVD，还有其他一些常用的低秩分解矩阵方法，如主成分分析（Principal Component Analysis，PCA）、非负矩阵分解（Non-negative Matrix Factorization，NMF）等。
这些方法在不同的情况下有不同的适用性，可以根据具体的问题选择合适的方法进行矩阵分解。
在图像处理中，低秩分解矩阵可以用于图像压缩和去噪。
通过将图像矩阵进行低秩分解，可以保留图像的主要特征，同时减少存储空间和传输带宽的需求。
在推荐系统中，低秩分解矩阵可以用于用户兴趣建模和商品特征提取，从而实现个性化的推荐。
在自然语言处理中，低秩分解矩阵可以用于词嵌入和语义分析，帮助计算机理解和处理自然语言。
尽管低秩分解矩阵在很多领域都有广泛的应用，但是它也存在一些局限性。
首先，低秩分解矩阵是一种近似表示方法，分解后的矩阵只能近似地表示原始矩阵，可能会损失一部分信息。
其次，低秩分解矩阵的计算复杂度较高，特别是对于大规模矩阵而言，计算时间和空间开销都会很大。
总的来说，低秩分解矩阵是一种重要的矩阵分解方法，具有广泛的应用前景。
梯度稀疏化、量化、低秩分解、知识蒸馏
梯度稀疏化、量化、低秩分解、知识蒸馏梯度稀疏化（Gradient Sparsity）梯度稀疏化是一种优化方法，旨在通过减少神经网络中参数的数量，从而提高计算效率和模型的泛化能力。
在深度学习中，神经网络的参数通常是通过反向传播算法来进行更新的，而梯度稀疏化则是在这个过程中对梯度进行稀疏化处理。
稀疏化梯度可以通过将梯度中的小值置为零来实现，从而减少了网络中需要更新的参数数量。
这样一来，在网络的训练过程中，可以减少计算量和内存消耗，提高训练速度和模型的泛化能力。
量化（Quantization）量化是一种将模型中的浮点数参数转换为定点数参数的技术。
在深度学习中，神经网络通常使用浮点数来表示参数，但是浮点数的存储和计算成本高。
而量化则是通过将浮点数参数映射为定点数参数，从而减少了参数的存储和计算成本。
量化可以通过将参数的取值范围划分为一定数量的区间，然后用一个定点数来表示每个区间的平均值来实现。
这样一来，可以大大减少参数的位数，提高计算效率和模型的速度。
低秩分解（Low-rank Decomposition）低秩分解是一种将高维参数矩阵分解为低秩矩阵的方法。
在深度学习中，神经网络的参数矩阵通常是高维的，而高维参数矩阵的存储和计算成本高。
而低秩分解则是通过将高维参数矩阵分解为多个低秩矩阵的乘积，从而减少了参数的存储和计算成本。
低秩分解可以通过奇异值分解（Singular Value Decomposition, SVD）等方法来实现。
这样一来，可以减少参数的维度，提高计算效率和模型的速度。
知识蒸馏（Knowledge Distillation）知识蒸馏是一种将大型复杂模型中的知识转移到小型简单模型中的方法。
在深度学习中，大型复杂模型往往具有更好的性能，但是其参数量大，计算复杂度高。
而知识蒸馏则是通过将大型模型的知识（如概率分布、类别信息等）传递给小型模型，从而提高小型模型的性能。
知识蒸馏可以通过在训练过程中引入额外的损失函数来实现，其中包括目标模型的输出和大型模型的输出之间的差异。
基于最大范数的低秩稀疏分解模型_王斯琪
其中式(9)为显式形式可直接求解。式(8)为基于 l1 范数的极小化问题， 其最优解可通过软阈值求得[24]：
Ek +1 = sgn Y - Xk +1 - M k ak
(
)
⋅ max Y - Xk +1 - M k ak - l2 ak , 0
{
}
(10)
3.2 Max 极小化问题 由于式(8)，式(9)易于求解，本节中只详细论述 基于 Max-范数的极小化问题的具体求解过程。 为方 便表述，类似式(7)的 Max 范数极小化问题均可简 化为 2 P (X ) = arg minX t X max + X -W F (11) , R 表 其中W 为已知数据阵， t > 0 为均衡参数。令 L T =X 且 使 得 max{|| L ||2 示 式 (3) 中 满 足 LR 2,¥ ,
1 2 F
,R
2 2,¥
}
(1)
这里 ⋅ 2 2,¥ 为 l2,¥ -范数的平方。
+ ak E -Y + Xk +1 + M k ak M k +1 = M k + ak (Xk +1 + Ek +1 -Y )
/2
(8) (9)
3
Max 极小化模型
矩阵的原始低秩稀疏模型可表述为 ü minX ,E rank(X ) + l E 0 ï ï (2) ý ï s.t. Y = X + E ï ï þ 其中 rank(⋅) 表示低秩矩阵的秩函数， ⋅ 0 表示稀疏矩 阵中非零元的个数， l > 0 为均衡参数。 核范数模型为式(2)模型的常见替代模型[2]，可 表述为 ü minX ,E X * + l E 1 ï ï (3) ý s.t. Y = X + E ï ï ï þ 其中 ⋅ * 为核范数，对于任意矩阵 A 满足 || A ||2 £ 1 时，核范数 || A ||* 为秩函数 rank(A) 的凸包络[9]； ⋅ 1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
参数μ的迭代公式为 其中： 为事先给定的正数；0＜η＜１。 尽管ＡＰＧ与ＩＴ算法类似，但它却大大降低了迭代次数。
对偶方法（DUL）
• 由于核范数的对偶范数为谱范数，所以优化问题的对偶问题 为： 其中： 表示矩阵元素绝对值最大 的值。当优化问题对偶式取得最优值 时，必定满足 即此优化问题等价于： 上述优化问题是非线性、非光滑的，可以使用最速上升法求 解。当 时，定义正规锥 其中 表示函数Ｊ(.)的次梯度。此时，优化问题的最速 上升方向为Ｗｋ＝Ｄ－Ｄk，其中Ｄk为Ｄ在Ｎ(Ｙk)上的投影。 使用线性搜索方法确定步长大小： • 于是Ｙk的更新过程为 • DULL比APG算法具有更好的可扩展性，这是因为在每次迭 代过程中对偶方法不需要矩阵的完全奇异值分解。
• 记
分别收敛于
，则矩阵Ｙ的更新公式为
• 最后更新参数μ：
其中：ρ＞１为常数；ε＞０为比较小的正数。
交替方向方法（alternating
methods，ADM，IALM）
direction
• ADM对ALM做了改善，即不精确拉格朗日乘子法（inexactALM 它不需要求 的精确解，即矩阵Ａ和Ｅ的迭代更 新公式为：
低秩矩阵表示（LRR）
为了对噪声和野点更加鲁棒，一个更合理的模型为：
一般意义上的LRR可以看做：
低秩矩阵表示求解
• 构造上述优化问题的增广拉格朗日乘子函数为 • 当 时,Ｘ的更新公式为
Ｚ的更新公式为 Ｅ的更新公式为 拉格朗日乘子的迭代公式为 参数μ的更新式为
低秩矩阵表示的应用
• 图像分割
B. Cheng et al. Multi-task Low-rank Affinity Pursuit for Image Segmentation, ICCV 2011.
增广拉格朗日乘子法（augmented
multipliers,ALM）
• 构造增广拉格朗日函数：
Lagrange
• 当Ｙ＝Ｙk，μ＝μ k ，使用交替式方法求解块优化问题 min Ａ,Ｅ Ｌ(Ａ,Ｅ,Ｙk,μ k )。 • 使用精确拉格朗日乘子法交替迭代矩阵Ａ和Ｅ，直到满足终止条件为 止。若 则
• 再更新矩阵Ｅ:
低秩矩阵表示新近的发展研究
• Fixed Rank Representation (FRR)
Liu, Lin, Torre, and Su, Fixed-Rank Representation for Unsupervised Visual Learning, CVPR 2012.
低秩矩阵表示新近的发展研究
• Kernel LRR
Wang et al., Structural Similarity and Distance in Learning, Annual Allerton Conf. Communication, Control and Computing 2011.
低秩矩阵表示新近的发展研究
其中： 表示函数ｆ(Ａ,Ｅ)关于矩阵变量Ａ和Ｅ的Ｆｒéｃｈｅ ｔ梯度。此处取Lf =２。对于给定的与Ｄ同型的两个矩阵ＹA和ＹE，作 Ｌ(Ａ,Ｅ,μ)的部分二次逼近：
加速近端梯度算法（accelerated
gradient，APG）
proximal
为了得到更新ＹA和ＹE时的步长，需先确定参数ｔk+1： 于是ＹA和ＹE的迭代更新公式为:
低秩矩阵表示的应用
• 显著性检测
Lang et al. Saliency Detection by Multitask Sparsity Pursuit. IEEE TIP 2012.
低秩矩阵表示新近的发展研究
• Latent LRR
Liu and Yan. Latent Low-Rank Representation for Subspace Segmentation and Feature Extraction, ICCV 2011.
矩阵低秩分解理论及其应用分析
成科扬 2013年9月4日
从稀疏表示到低秩分解
• 稀疏表示
压缩感知(Compressed sensing)
从稀疏表示到低秩分解
• 矩阵低秩分解
observation
low-rank
sparse
矩阵低秩稀疏分解(Sparse and low-rank matrix decomposition) 低秩矩阵恢复（Low-rank Matrix Recovery） 鲁棒主成分分析(Robust principle component analysis, RPCA) 低秩稀疏非相干分解(Rank-sparsity incoherence)
• 基于低秩张量应用研究
低秩矩阵表示新近的发展研究
• 基于低秩张量应用研究
稀疏表示和矩阵低秩分解类比
研究展望：
• 理论方面： 需要研究在稀疏性或(和) 低秩性之外, 如何 更进一步地去发现和利用数据中潜在的本质结构。 • 算法方面： 需要充分利用问题的结构和现有的硬件条件, 开发快速的、并行的算法变性。 • 应用方面： 需要根据应用问题本身的物理意义, 设计合理 的数学模型, 使用现代凸优化方法进行高效的求解。
加速近端梯度算法（accelerated
APG）
proximal gradient，
• 将优化问题式的等式约束松弛到目标函数中，得到如下的拉格朗日函 数： 记 • 于是L(Ａ,Ｅ,μ)=ｇ(Ａ,Ｅ,μ)+ｆ(Ａ,Ｅ)。函数ｇ(Ａ,Ｅ,μ)不可微，而ｆ (Ａ,Ｅ)光滑且具有李普希兹连续梯度，即存在Lf＞0，使得
• 音乐词曲分离
低秩矩阵恢复应用
• 图像矫正与去噪
低秩矩阵恢复应用
• 图像对齐
低秩矩阵补全
• 当数据矩阵Ｄ含丢失元素时，可根据矩阵的低秩结构来恢 复矩阵的所有元素，称此恢复过程为矩阵补全（ＭＣ）。 • 记Ω为集合［ｍ］×［ｎ］的子集，这里［ｍ］表示集合 ｛１,２,…,ｍ｝。ＭＣ的原始模型可描述为如下的优化问 题： 其中： 为一线性投影算子，即
RPCA的求解
• 凸松弛
NP难问题 松弛后
矩阵核范数
迭代阈值算法（iterative thresholding，IT）
将最优化问题正则化，便得到优化问题： 优化问题式的拉格朗日函数为
使用迭代阈值算法交替更新矩阵Ａ,Ｅ和Ｙ。当Ｅ=Ｅk，Ｙ=Ｙk时，
当Ａ＝Ａk+1，Ｙ＝Ｙk时，
当Ａ＝Ａk+1 ，Ｅ＝Ｅk+1时， 其中：步长δk满足０＜ δk ＜1 • ＩＴ算法的迭代式形式简单且收敛，但它的收敛速度比较慢，且难以选取合适的步长
求解方法性能比较
低秩矩阵恢复应用
• 图像恢复
低秩矩阵恢复应用
• 图像去光照影响恢复
低秩矩阵恢复应用
• 视频背景建模
Candès, Li, Ma, and W., JACM, May 2011.
低秩矩阵恢复应用
• 图像类别标签净化
低秩矩阵恢复应用
• 文本主题Байду номын сангаас析
传统PCA
RPCA
低秩矩阵恢复应用
• 为便于优化，凸松弛后转化为：
低秩矩阵补全求解
• ＭＣ问题可应用ＡＬＭ算法求解，将原优化问题重新表示为： 于是构造上述问题的部分增广拉格朗日函数为
低秩矩阵补全应用
• 智能推荐系统
低秩矩阵补全应用
• 电影去雨线处理
低秩矩阵表示（LRR）
• 低秩矩阵表示（LRR）是将数据集矩阵Ｄ表示成字典矩阵 Ｂ（也称为基矩阵）下的线性组合，即Ｄ＝ＢＺ，并希望 线性组合系数矩阵Ｚ是低秩的。为此，需要求解下列优化 问题： 为便于优化，凸松弛后转化为： 若选取数据集Ｄ本身作为字典，则有 那么其解为 ，这里 是D的SVD分解。 当D是从多个独立子空间的采样组合，那么 为对角块矩 阵，每个块对应着一个子空间。此即为子空间聚类（Sparse Subspace Clustering）。
预备知识
低秩矩阵恢复（鲁棒主成分分析RPCA）
• 在许多实际应用中，给定的数据矩阵Ｄ往往是低秩或近似低 秩的，但存在随机幅值任意大但是分布稀疏的误差破坏了原 有数据的低秩性，为了恢复矩阵Ｄ的低秩结构，可将矩阵Ｄ 分解为两个矩阵之和，即Ｄ＝Ａ＋Ｅ，其中矩阵Ａ和Ｅ未知， 但Ａ是低秩的。当矩阵Ｅ的元素服从独立同分布的高斯分布 时，可用经典的PCA来获得最优的矩阵Ａ，即求解下列最优 化问题： 当Ｅ为稀疏的大噪声矩阵时，问题转化为双目标优化问题： 引入折中因子λ，将双目标优化问题转换为单目标优化问题：