非负矩阵分解算法
非负矩阵分解的非单调自适应BB步长算法
基金项目：国家自然科学基金（No.61179040）。 作 者 简 介 ：王 静（1989—），女 ，硕 士 研 究 生 ，研 究 方 向 ：最 优 化 理 论 ，非 负 矩 阵 分 解 ，E- mail：w740626624@；杨 善 学
o29非负矩阵分解nmf问题1是指在所有元素非负的条件下将一个矩阵分解成两个矩阵相乘的形式即给定一个非负矩阵nmrv??和满足条件??nmrmin??的正整数r寻找一个近似分解使得whv?1其中w和h分别是rm?和nr?的非负矩阵即0?hw
Computer Engineering and Applications 计算机工程与应用
WANG Jing, YANG Shanxue. Non-monotone adaptive Barzilai-Borwein step-size method for nonnegative matrix factorization. Computer Engineering and Applications, 2017, 53（5）：181-186.
2017，53（5） 181
非负矩阵分解的非单调自适应 BB 步长算法
王 静 1,杨善学 2
WANG Jing1, YANG Shanxue2
1. 西安电子科技大学 数学与统计学院，西安 710126 2. 西安财经学院 统计学院，西安 710100 1.School of Mathematics and Statistics, Xidian University, Xi’an 710126, China 2.School of Statistics, Xi’an University of Finance and Economics, Xi’an 710100，China
多项式核非负矩阵分解
多项式核非负矩阵分解
多项式核非负矩阵分解（Polynomial Kernel Nonnegative Matrix Factorization，PK-NMF）是一种基于非负矩阵分解（Nonnegative Matrix Factorization，NMF）的方法，用于将非负数据矩阵分解为两个非负矩阵的乘积。
在PK-NMF中，通过引入多项式核函数来构建非负矩阵的相似性度量。
这个多项式核函数可以将原始的特征空间映射到一个高维的特征空间，使得在高维特征空间中的两个向量的相似性可以通过它们在原始特征空间中的内积来表示。
PK-NMF的目标是最小化原始数据矩阵与分解后的矩阵的重构误差，并且加入了一个正则化项来控制特征向量的稀疏性。
通过迭代优化算法，可以同时学习出两个非负矩阵，其中一个矩阵表示数据的低维表示，另一个矩阵表示数据在高维特征空间中的投影。
PK-NMF在很多应用中都有广泛的应用，特别是在文本挖掘、图像处理和推荐系统中。
它可以作为一种降维方法，对高维数据进行特征提取和表示学习，还可以用于数据的聚类和分类等任务。
基于图正则化非负矩阵分解的二分网络社区发现算法
基于图正则化非负矩阵分解的二分网络社区发现算法佚名【摘要】There are many bipartite networks composed of two types of nodes in the real world, studying the community structure of them is helpful to understand the complex network from a new point of view. Non- negative matrix factorization can overcome the limitation of the two-mode structure of bipartite networks, but it is also subject to several problems such as slow convergence and large computation. In this paper, a novel algorithm using graph regularized-based non-negative matrix factorization is presented for community detection in bipartite networks. It respectively introduces the internal connecting information of two-kinds of nodes into the Non- negative Matrix Tri-Factorization (NMTF) model as the graph regularizations. Moreover, this paper divides NMTF into two sub problems of minimizing the approximation error, and presents an alternative iterative algorithm to update the factor matrices, thus the iterations of matrix factorization can be simplified and accelerated. Through the experiments on both computer-generated and real-world networks, the results and analysis show that the proposed method has superior performances than the typical community algorithms in terms of the accuracy and stability, and can effectively discover the meaningful community structures in bipartite networks.%现实世界存在大量二分网络，研究其社区结构有助于从新角度认识和理解异质复杂网络。
数据降维-NMF非负矩阵分解
数据降维-NMF⾮负矩阵分解1.什么是⾮负矩阵分解？NMF的基本思想可以简单描述为：对于任意给定的⼀个⾮负矩阵V，NMF算法能够寻找到⼀个⾮负矩阵W和⼀个⾮负矩阵H，使得满⾜，从⽽将⼀个⾮负的矩阵分解为左右两个⾮负矩阵的乘积。
如下图所⽰，其中要求分解后的矩阵H和W都必须是⾮负矩阵。
分解前后可理解为：原始矩阵的列向量是对左矩阵中所有列向量的加权和，⽽权重系数就是右矩阵对应列向量的元素，故称为基矩阵，为系数矩阵。
⼀般情况下的选择要⽐⼩，即满⾜，这时⽤系数矩阵代替原始矩阵，就可以实现对原始矩阵进⾏降维，得到数据特征的降维矩阵，从⽽减少存储空间，减少计算机资源。
2.⾮负矩阵分解⼀个⽰例解释通过图1中的⾯部特征提取例⼦可领略NMF处理数据的⽅式。
最左边的⼤矩阵由⼀系列的⼩图组成，这些⼩图是分析数据库中包含的2429个脸部图像的结果，每幅图像由19×19个像素组成。
传统⽅法中这样的⼩图是⼀幅完整的⼈脸图像，但是在NMF⽅法中，每个⼩图是通过⼀组基图像乘以⼀个权重矩阵⽽产⽣的⾯部特征图，经过这样处理的每幅⼩图像恰好表⽰了诸如“⿐⼦”、“嘴巴”、“眼睛”等⼈脸局部概念特征，这便⼤⼤压缩了存放的图像数据量。
左边的⼤矩阵由每幅⼩图像的19列⼀起组成矩阵的⼀列，那样它就是19×19=361⾏，2429列。
这个例⼦中，NMF⽅法⽤基图像来代表眼、眉⽑、⿐⼦、嘴、⽿朵、胡⼦等，它们⼀起组成了数据库中的脸。
这样给⼈最先的直觉就是它很好地压缩了数据。
事实上Lee和Seung在他们的论⽂中更深⼊地指出，与⼈类识别事物的过程相似，NMF也是⼀种优化的机制，近似于我们的脑分析和存储⼈脸数据的过程。
这个例⼦中，原图像表⽰这些局部特征的加权组合，这与⼈类思维中“局部构成整体”的概念是相吻合的。
因此，NMF算法似乎体现了⼀种智能⾏为。
3.⾮负矩阵分解NMF的应⽤（1）图像分析 NMF最成功的⼀类应⽤是在图像的分析和处理领域（2）⽂本聚类，数据挖掘（3）语⾳处理（4）机器⼈控制（5）⽣物医药⼯程和化学⼯程。
非负矩阵分解及其应用探讨
非负矩阵分解及其应用探讨作者：高燕燕来源：《硅谷》2011年第23期摘要：介绍非负矩阵分解（non-negative matrix factorization，NMF）的基本算法思想及其实现过程，并对其在一些重要领域内的应用现状进行概括归纳，最后提出NMF方法在图像处理方面存在的问题及其改进的趋势。
关键词：非负矩阵分解；特征提取；矩阵分解中图分类号：TP391 文献标识码：A 文章编号：1671－7597（2011）1210164－01随着现代计算机处理信息数据的规模越来越大，矩阵作为一种最常见的数据表示形式得到了广泛的应用。
但在实际问题当中，由于矩阵的数据量往往很大，直接处理效率低，意义不大，在实际的操作中，都需要对原始矩阵进行分解。
矩阵分解是将原始矩阵进行适当的分解，使得进一步处理变得简单些。
NMF是D.D.Lee和H.S.Seung在1999年《Nature》中首次提出的算法[1]，该算法要求矩阵中所有元素均为非负的条件下对矩阵进行非负分解。
由于非负矩阵分解实现简单、分解形式和分解结果上的可解释性，以及占用存储空间上的优点，使得非负矩阵分解在实际应用中得到了广泛应用。
1 非负矩阵分解算法1）问题的描述传统NMF问题可描述如下：（1-1）即给定m个n维数据向量集合，每个列向量表示一个样本数据，m为集合中数据样本的个数。
W为基矩阵，H为编码矩阵。
选取的r值一般要求满足，从而可使W和H矩阵的秩远远小于矩阵V的秩。
这样就达到了对原始矩阵V的降维处理。
NMF算法通过“乘性”迭代规则来保证每次迭代后矩阵的元素为非负，保证了非负矩阵分解的可行性。
[2]这种算法实现容易因此得到十分广泛的应用。
2）算法的实现过程NMF算法可以理解为一个带约束的非线性规划的问题，可转化成最优化问题，利用迭代的手段可求解出W和H。
为了求出矩阵分解的结果，Lee和Seung引入了两类目标函数：①矩阵A和B之间的欧氏距离：② Kullback-Leibler散度函数：令A=V，B=WH，可得到用于NMF算法的两类目标函数基于以上两个目标函数，就可得到如下的约束优化问题：和通过合适的迭代规则对以上两个约束优化问题进行收敛得到稳定的矩阵W和H。
求解非负矩阵分解的交替非负最小二乘法的一种修正策略
求解非负矩阵分解的交替非负最小二乘法的一种修正策略负矩阵分解（Non-Negative Matrix Factorization，NMF）是一种基于矩阵来进行特征提取的技术，它可以分解一个巨大矩阵中包含的信息，从而可以推导出实际物理意义上的隐藏特征。
NMF有助于从冗余数据中发现实际价值的潜在结构，是无监督机器学习的重要方法之一。
随着使用NMF的越来越普遍，研究人员也开发出了解决非负矩阵分解问题的新方法，其中最突出的是采用交替非负最小二乘（Alternating Non-Negative Least Squares，ANLS）法。
该方法旨在利用数学技巧修正传统的迭代式非负矩阵分解算法，以便更快地收敛k。
ANLS法采用一种叫做“先代换后加”（Replace-Then-Add）的迭代模式，不断地替换当前最优解，同时也会根据更新的信息来更新目标函数的梯度以及其他参数。
在每次迭代过程中，ANLS法会使用双重约束性和非负限制，使得模型在非负空间中进行搜索，从而获得更高的优化结果。
此外，ANLS法还采用了一种叫作“三个自然误差项”（Three Natural Error Terms）的技术，用于识别每次迭代过程中梯度最小的特征和残差的方向。
三个自然误差项使得ANLS法能够忽略任何多余的信息和特征，从而能够更快地找到迭代收敛点。
另外，ANLS法还提出了一种称为“模型预搭设”的技术，用于在收敛前提前预测因子矩阵的结构。
这种模型预设会约束算法最终的功能，从而实现了更好的收敛性。
总之，ANLS法改进了传统非负矩阵分解算法，也增加了一些前所未有的技术，这些技术可以帮助我们更快地收缩k，并在搜索过程中快速找到收敛点。
它还提出了一种模型预搭设技术，用于提前预测因子矩阵的结构，从而获得更高的优化效果。
因此，ANLS法在解决非负矩阵分解问题方面大有作为，受到了广泛的好评。
非负矩阵分解及其在图像压缩中的应用_张永鹏
)
+ φ(kjt)
·5 5
L C
ED
( t) kj
(4)
由此可以得到如下的加性迭代规则 :
B ik ← B ik + <ik [ ( X C T) ik - ( B CC T) ik ]
Ckj ← Ckj + φkj [ ( B T X ) kj - ( B TB C) kj ]
(5)
如果设置 <ik
X n ×m ≈ B n ×rCr ×m , 其中 B n ×r 称为基矩阵 , Cr×m 为系数矩阵 。若选择 r 比 n 小 ,即 r < n ,用系数矩阵 Cr×m 代替原数据矩 阵 X n ×m , 就可以实现对原数据矩阵的降维 , 得到数 据特征的降维矩阵 。然后对系数矩阵 C 进行压缩 , 从而减少存储空间 ,节约计算资源 。 1. 2 非负矩阵分解的算法
具体的实现技术如下 : (1) 首先把一幅图像分 8 ×8 的子块进行离散余 弦正变换 ( FDCT) 和离散余弦逆变换 ( IDCT) 。 在编码器的输入端 ,原始图像被聚分成一系列 8 ×8 的块 ,作为离散余弦正变换 ( FDCT) 的输入 。 在解码器的输出端 ,离散余弦逆变换 ( IDCT) 输出许 多 8 ×8 的数据块 ,用以重构图像 。 (2) 量化 为了达到压缩数据的目的 ,对 DCT 系数 F ( u , v) 需作量化处理 。量化处理是一个多到一的映射 , 它是造成 DCT 编解码信息损失的根源 。在 J PEG 标 准中采用线性均匀量化器 。量化定义为 , 对 64 个 DCT 变换系数 F ( u , v) 除以量化步长 Q ( u , v) 后
性以及稀疏性的特点是很有意义的 。
2 DCT 算法原理
非负矩阵分解 数学原理
非负矩阵分解数学原理
非负矩阵分解是一种用于矩阵降维和特征提取的数学方法。
它将一个非负矩阵分解为两个非负矩阵乘积的形式，其中一个矩阵表示样本的特征，另一个矩阵表示该特征在样本中的权重。
这种方法在数据挖掘、信号处理、图像处理等领域得到了广泛应用。
非负矩阵分解的数学原理基于线性代数和优化理论，主要包括矩阵分解的优化目标、求解方法和性质分析等方面。
其中，优化目标是最小化原始矩阵与分解矩阵的差距，求解方法主要有基于梯度下降和交替最小二乘等算法，性质分析涉及矩阵稀疏性、性质的保持和矩阵分解的唯一性等问题。
非负矩阵分解是一种有益的数学工具，可以帮助我们更好地理解数据中的特征与权重的关系，同时也为我们提供了一种有效的降维和特征提取方法。
- 1 -。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
应用于寻找局部最小值。
4
梯度下降法4可能是实现起来最简单的技术，但其收敛速度可能 很慢。其他方法如共轭梯度具有更快的收敛（至少在局部最小值附 近），但是比梯度下降更复杂[8]。并且，基于梯度的方法的收敛具有 对步长选择非常敏感的缺点，这对于大型应用非常不方便。
四．乘法矫正规则
我们发现，以下“乘法矫正规则”是解决问题 1 和 2 的速度和
1
3(������3 −
T ������3TℎT)1
(15)
证明：因为显然������ ℎ, ℎ ≥ ������ ℎ ，我们只需要证明������ ℎ, ℎd ≥ ������ ℎ ，
为了证明需要，我们对比
������ ℎ = ������ ℎe + ℎ − ℎe X∇������ ℎe + g ℎ − ℎe X ������X������ ℎ − ℎe
������TU
=
Z[\ (]^]Z)[\
(7)
那么我们获得在定理 1 中给出的 H 的矫正规则。注意，该重新
调整会得出乘子因子（分母中的梯度的正分量和因子的分子中的负
分量的绝对值）。
对于散度，对角线重新调整梯度下降采取以下显示：
������TU ← ������TU + ������TU[ 3 ������3T������3U/(������������)3U − 3 ������3T] (8)
非负矩阵分解算法1
摘 要:非负矩阵分解（NMF）是一种处理多变量数据分解极为有效的方
法。这里分析了两种不同的 NMF 多重算法。它们只在矫正规则2中使用 的乘法因子上略有不同。一种算法可以最小化传统的最小二乘误差，而 另一种算法则能将广义的 Kullback-Leibler 发散度最小化。两种算法 的单调收敛性均可使用类似于用于证明期望最大化算法收敛的辅助函 数来证明。 这些算法采用对角比例梯度下降的方式，重新调整因子被 最优选择以确保收敛。
������Tv ℎe = ������Tv(������X������ℎe)T/ℎTe
(13)
那么
������ ℎ, ℎe = ������ ℎe + ℎ − ℎe X∇������ ℎe + g ℎ − ℎe X������(ℎe)(ℎ − ℎe)
1
(14)
是一个辅助函数对于
������ ℎ = g
正都是乘以一个因子。 特别地，当V = WH时，可以直观地看出这
个乘数因子是一致的，所以完美的重构必然是矫正规则的固定一点
点。
4
Gradient descent 5
五．乘法与加法矫正规则
可以将这些乘法矫正与梯度下降产生的矫正进行对比[14]。 特别
地，对于减小平方距离的 H 的简单加法矫正可以被写为：
以我们把它称之为 A 对于 B 的“散度”。它减少到 K-L 散度或相对
熵，当 34 ������34 = 34 ������34 = 1, 使得 A 和 B 可以被认为是归一化的概率 分布。
我们现在考虑 NMF 的两种替代方案作为优化问题：
问题 1 最小化||V − WH||1用W和H，约束条件������, H ≥ 0.
关键词：非负矩阵分解，NMF 多重算法, 最小二乘误差,K-L 发散度
一. 介绍
无监督的学习算法，如主成分分析和矢量量化，一种解释是对不 同约束条件下的数据矩阵进行分解的算法。根据所使用的约束，所得 到的因子可以显示出具有非常不同的表征性质。主成分分析仅执行弱
1 Translated by 卢天培.
和������ ������, ������������ ,矫正规则对定理 1 和 2 遵循 Eq.11.
7
图 1:最小化辅助函数������ ℎ, ℎe ≥ ������ ℎ 确保������ ℎefg ≤ ������ ℎe 对于
ℎefg = arg min ������(ℎ, ℎe)
k
理论 2 如果K(ℎe)是对角矩阵：
通过 Eq.11 重复矫正，我们估计得到了下列方程的收敛局部最小值
ℎo3p
=
arg
min
k
������(ℎ)：
������ ℎo3p ≤ ⋯ ������ ℎefg ≤ ������ ℎe … ≤ ������(ℎ1) ≤ ������(ℎg) ≤ ������(ℎs)(12)
我们接下去证明通过定义适当的辅助函数������ ℎ, ℎe 对| ������ − ������������ |
������TU ← ������TU + ������TU[(������X������)TU − (������X������������)TU]
(6)
如果������TU 设置为小正数，这相当于常规梯度下降方法。只要数字
充分的小矫正会减少到| ������ − ������������ |。
如果我们对对角进行重新调整5变量并设置
量的绝对值）。
5
diagonally rescale
6
由于我们对������TU 的取值不是很小，似乎不能保证这种重新缩放的 梯度下降降低成本函数。令人惊讶的是，如下一节所示，这是确定 的情况。
六．衔接证明
我们将利用类似于期望最大化算法中使用的辅助函数[15,16]证明
定理 1 和 2。
定义 1 G(h, ℎ′)是������(ℎ)的辅助函数，如果下面的条件成立：
2
update rules. 1
正交约束3，导致了非常分散的表示，这种表示采用用消去法生成变异 性 [1,2]。另一方面，矢量量化使用一个有力的全局最优约束，从而将 数据聚类成互相独立的原型[3]。
我们以前已经证明，非负性是矩阵分解中有用的约束来进行数据 的部分性学习[4,5]。非负基学习向量用于分布式（仍然采用稀疏组合产 生表达式）[6,7]。在本文中，我们详细分析了从数据中学习最优非负因 子的两种数值算法。
������ ������������������������������������/(������������)������������ ������ ������������������
当且仅当 W 和 H 处于静止状态时，散度是不变的。
(5)
这些定理的证明在后面的部分给出。 现在我们注意到，每个矫
另外一个有用等方法为：
������(������| ������ =
34(������34 ������������������
;<= ><=
−
������34
+
������34 )
(3)
像欧几里德的距离一样，这也是下限为零，当且仅当 A = B 时
才距离消失。但它不能被称为“距离”，它在 A 和 B 中不对称，所
易于实施的一个很好的妥协方法。
理论 1 欧氏距离| ������ − ������������ |在（4）的矫正规则下非减
������������������
←
������������������
(������������������)������������ (������������������������)������������
������������������
←
������������������
(������������������)������������ (������������������������)������������
(4)
当且仅当W和H同一点时，欧几里得距离固定。
理论 2 散度D(V|WH)在（5）的矫正规则下非减
k
证明：������ ℎefg < ������ ℎefg, ℎe ≤ ������ ℎe, ℎe = ������(ℎe)
(11)
注意到������(ℎefg) = ������(ℎe)仅当ℎe是������ ℎ, ℎe 局部最小值时满足。如
果������的导数存在且在ℎe的短区间内连续，这也表明∇������ ℎe = 0。因此
中的示例数。然后将该矩阵近似分解为n×r矩阵������和r×m矩阵������.通常
r 小于 n 或 m，使������和������小于原始矩阵������. 得到原始数据矩阵的压缩版
本。
3
Principal components analysis enforces only a weak or- thogonality constraint, resulting in a very distributed representation that uses cancellations to generate variability [1, 2]
2
方程式(1)近似的意义在于它可以逐列重写为v ≈ ������������，其中������和 ℎ是������和������的对应列。换句话说，每个数据向量������近似的由������的列进行 线性组合，用ℎ的分量进行加权。因此，������可以被认为是包含对于������中 的数据的线性近似优化的基础。由于相对较少的基向量用于表示许多 数据向量，所以在数据中只有在基向量发现潜在的结构时才能实现良 好的近似。
本文不是关于 NMF 的应用，而是侧重于找到非负矩阵分解的技术 方面。当然，其他类型的元分解因子在数值线性代数中已经得到了广 泛研究，但是这种非负性约束使得以前的很多工作都不适用于目前的 情况[8]。
在这里，我们讨论了基于W和H的迭代矫正的两种 NMF 算法。由 于这些算法易于实现，其收敛性能得到保证，我们发现它们在实际应 用中非常有用。其他算法可能在整体计算时间内更有效，但是更难实 现，并且不能将其推广到不同的成本函数。只有一个因素类似于我们 的算法，已经被用于去卷积发射断层扫描和天文图像[9,10,11,12]。