基于约束非负矩阵分解的图像表示
基于非负矩阵分解和模糊C均值的图像聚类方法
基于非负矩阵分解和模糊C均值的图像聚类方法陶性留;俞璐;王晓莹【摘要】非负矩阵分解(NMF)作为一种新的矩阵分解和特征提取方法,是大数据处理和模式识别中线性分离数据从而聚类的有效方法.提出了一种新的聚类算法FCM-NMF,采用NMF分解提取样本的本质特征,并用模糊C均值(FCM)进行模糊聚类.该算法将NMF目标函数与FCM算法融合,提出了新的目标函数的形式,并生成新的交替迭代公式.最后在两个标准图像数据集GHIM-10k和COREL-10k上与传统的5种聚类方法从三个评价指标进行了对比.实验结果表明,该算法在标准数据集上聚类准确率和标准化互信息值分别达到了84％和77.21％,达到了预期目标,提高了聚类效果.【期刊名称】《微型机与应用》【年(卷),期】2019(038)003【总页数】5页(P44-48)【关键词】非负矩阵分解(NMF);特征提取;模糊C均值(FCM);聚类;交替迭代公式【作者】陶性留;俞璐;王晓莹【作者单位】陆军工程大学通信工程学院,江苏南京210007;陆军工程大学通信工程学院,江苏南京210007;陆军工程大学指挥控制工程学院,江苏南京210007【正文语种】中文【中图分类】TP370 引言随着物联网、电子商务等技术的广泛应用，可收集的数据越来越多，越来越复杂，数据特征的维度也越来越高。
如何快速检索有用的相关信息，越来越成为人们关注的热点问题。
聚类是机器学习和数据挖掘中的基础课题之一，它的目的是将数据样本划分为不同的簇，使同一簇的数据样本具有较高的相似性。
到目前为止，很多研究提出了一些有效的聚类方法，例如K-means[1-2]、FCM[3-4]、SOM聚类[5]、层次聚类[6]、谱聚类(SC)[7-8]。
人们获得的数据普遍具有如下两个特点：(1)数据量庞大，检索困难；(2)数据维数巨大，处理困难。
虽然高维数据也许含有更多的信息，但将其直接用于分类、聚类或概率密度估计等任务，必将付出巨大的时间和空间代价。
基于约束非负矩阵分解的符号网络社团发现方法
在分析复杂网络时，通常将网络建模为无符号网络，节点表示
实体，边表示个体之间的关系，边的属性都是正的。 但是随着社交
网络的发展，在某些网络中，节点之间的关系产生了积极和消极的
区别，例如在微博中的好友关系是积极的关系，黑名单、屏蔽是消
极关系。 网络节点间的这种两面性关系蕴涵了丰富的信息，传统
２
根据上述表述，本文将符号网络中的社团发现问题建模为一
个多目标问题：给定一个符号网络 Ｇ，将其划分成 ｋ 个社团 Ｃ ＝
｛Ｃ１ ，Ｃ２ ，…，Ｃ ｋ ｝并满足社团内部的边尽量为正边且社团内的节点
联系紧密，社团之间的边尽量为负边且社团之间的节点联系稀疏
两个条件。
在上述目 标 的 基 础 上， 本 文 提 出 了 一 种 基 于 约 束 的 Ｓｅｍｉ⁃
据结构平衡和地位理论，社团划分的目标是使网络分割尽可能接
近网络平衡状态，主要方法是将社团发现问题转换为目标优化问
题 ［５ ～ １０］ 。 另一种常见的研究思路是充分利用现有的研究成果，根
据符号网络的特点改进算法 ［１１ ～ １５］ 。 基于这个研究思路，符号模块
度 ［１１，１２］ 、符号相似度 ［１３］ 、符号拉普拉斯矩阵 ［１４］ 、符号比 例 割 集 准
ｍｉｎ‖Ｘ － ＷＳＨ‖２Ｆ ｓ． ｔ． Ｗ≥０，Ｈ≥０
（５）
针对 ＮＭＦ 算法要求分解矩阵都为非负的特点，Ｄｉｎｇ 等人 对
ＮＭＦ 进行扩展，提出 Ｓｅｍｉ⁃ＮＭＦ 算法。 Ｓｅｍｉ⁃ＮＭＦ 算法继承了 ＮＭＦ
算法的思想， 但 是 不 限 制 矩 阵 元 素 的 符 号， 扩 展 了 ＮＭＦ 的 应 用
的具体需求提出了多种改进方法。 对于对称矩阵，研究人员提出
非负矩阵因子分解算法
非负矩阵因子分解算法非负矩阵因子分解（Non-negative Matrix Factorization, NMF）是一种常用的非负矩阵分解技术，它在许多领域中都得到广泛应用。
NMF的目的是将一个非负矩阵分解为两个非负的低秩矩阵，从而提取出矩阵的潜在特征。
在NMF中，给定一个非负矩阵V，我们希望找到两个非负矩阵W和H，使得V≈W×H，其中W是一个m×r的非负矩阵，H是一个r×n的非负矩阵，r是预先设定的秩。
W和H都是非负的这个约束使得NMF能够提取出不具有线性线性相关性的特征。
NMF的优化问题可以定义为最小化目标函数：min||V - WH||，其中||.||表示矩阵的F范数为了求解这个优化问题，可以使用迭代的方法逐步优化W和H。
具体来说，首先初始化W和H为非负矩阵，然后交替更新W和H，直到满足终止条件。
1.初始化W和H为非负矩阵，可以使用随机值或者根据先验知识给定的初值。
2.更新W：固定H，通过最小化目标函数得到最优的W。
2.1计算乘法更新规则：W = W * (VH^T) / (WHH^T)2.2对W进行非负约束处理，将所有小于0的元素置为0。
3.更新H：固定W，通过最小化目标函数得到最优的H。
3.1计算乘法更新规则：H = H * (W^TV) / (W^TWH)3.2对H进行非负约束处理，将所有小于0的元素置为0。
4.判断终止条件，可以设置迭代次数上限或者设定一个阈值，当目标函数下降到一定程度或者迭代次数达到上限时，停止迭代。
5.重复步骤2和3，直到满足终止条件。
NMF的优点是提取到的特征是非负的，因此可以应用于文本挖掘、图像处理和声音信号处理等领域。
此外，NMF还具有良好的可解释性，因为W和H可以看作是每个特征在样本中的贡献度和每个样本在特征上的表示。
然而，NMF也存在一些局限性。
首先，NMF是一个非凸优化问题，因此可能会陷入局部最优解。
其次，NMF对初始值较为敏感，不同的初始值可能会导致不同的结果。
基于多流形正则化非负矩阵分解的多视图聚类的开题报告
基于多流形正则化非负矩阵分解的多视图聚类的开题报告一、研究背景多视图聚类是一种处理多源数据的聚类方法，它将来自不同视角（或特征集）的数据整合到一个共同的集合中。
它可以在融合多视图数据的同时，提高聚类性能和数据解释性。
而非负矩阵分解（NMF）是一种特征提取方法，它将一个非负矩阵分解为两个非负矩阵的乘积，这两个非负矩阵代表了原始矩阵中的不同特征。
多流形正则化（MLR）在NMF的基础上加入了多流形的约束，可以更好地处理高维数据和非线性分布数据。
然而，现有的多视图聚类算法存在着一些问题。
例如，一些方法没有考虑到不同视图之间的相关性，导致聚类结果不够准确；另一些方法没有充分利用数据的非负性质，导致聚类结果不够解释性。
二、研究目的本研究旨在设计一种基于MLR-NMF框架的多视图聚类方法，以提高聚类性能和解释性。
具体来说，我们将探索以下问题：1. 如何在MLR框架下融合多视图数据？2. 如何利用NMF的特征提取能力提高聚类性能和解释性？3. 如何考虑不同视图之间的相关性，提高聚类准确性？三、研究内容1. 多流形正则化非负矩阵分解的基本原理和算法实现。
2. 多视图数据的预处理和融合，并利用MLR-NMF框架提取特征。
3. 基于多流形正则化的多视图聚类算法的设计和实现。
4. 实验验证和性能评估，与现有方法进行比较。
四、研究意义本研究将探索一种新的多视图聚类算法，具有以下优点：1. 充分利用NMF的特征提取能力，提高聚类性能和解释性。
2. 利用MLR框架，在保留数据非线性分布的同时，考虑不同视图之间的相关性，提高聚类准确性。
3. 通过实验证明，本方法在多个数据集上取得了较好的聚类结果，说明其具有很好的应用前景。
五、研究方法1. 文献综述，并分析现有多视图聚类方法的优缺点。
2. 提出基于MLR-NMF框架的多视图聚类方法，并设计实验验证其性能。
3. 实现算法，并使用多个公共数据集进行性能测试。
4. 分析实验结果，与现有方法进行比较，验证本方法的有效性。
非负矩阵分解聚类
非负矩阵分解聚类摘要：一、非负矩阵分解聚类原理1.非负矩阵分解2.聚类方法3.非负矩阵分解聚类二、非负矩阵分解聚类应用优势1.数据降维2.图像处理3.生物信息学4.社交网络分析三、非负矩阵分解聚类局限性1.计算复杂度2.数据噪声敏感3.模型参数选择四、非负矩阵分解聚类未来发展趋势1.高维数据分析2.大规模数据处理3.结合深度学习方法正文：非负矩阵分解聚类（Non-negative Matrix Factorization Clustering,NMF-C）是一种将数据集分解成若干个非负矩阵的方法。
非负矩阵分解（Non-negative Matrix Factorization, NMF）是一种将一个非负矩阵分解成两个非负矩阵的乘积的方法，这两个矩阵分别表示数据的潜在结构和元素之间的关系。
聚类方法则是将数据集中的相似度较高的元素划分到同一个子集中。
非负矩阵分解聚类结合了这两种方法，可以将数据集中的相似度较高的元素划分到同一个子集中。
非负矩阵分解聚类在数据降维、图像处理、生物信息学和社交网络分析等领域具有广泛应用。
数据降维是非负矩阵分解聚类的常见应用之一，通过将高维数据映射到低维空间，可以减少数据规模，提高数据处理效率。
在图像处理领域，非负矩阵分解聚类可以用于图像分割和特征提取，提高图像识别的准确性。
在生物信息学领域，非负矩阵分解聚类可以用于基因表达数据的降维和聚类分析，发现具有相似功能的基因。
在社交网络分析领域，非负矩阵分解聚类可以用于社区发现，识别社交网络中的兴趣群体。
然而，非负矩阵分解聚类也存在一些局限性。
首先，非负矩阵分解聚类的计算复杂度较高，尤其是当数据规模较大时，计算时间会显著增加。
其次，非负矩阵分解聚类对数据噪声敏感，当数据中存在异常值或缺失值时，聚类结果可能受到影响。
此外，非负矩阵分解聚类中的模型参数选择也是一个挑战，不同的参数选择可能导致不同的聚类结果。
一种潜在信息约束的非负矩阵分解方法
非负矩阵分解在图像分析中的应用
量)中包含大部分为0的系数，因此基图像矩阵牙和编码图像矩阵H是稀疏的(sParse)。
基图像的稀疏是因为它是非整体的而且包含多个版本的嘴、鼻子和其它面部元件，在这里各种版本的嘴、鼻子和其它面部元件是在不同的位置和处于不同的形式。
整张脸的多样性就是通过组合这些不同的部件所生成的。
尽管所有的部件至少被一张脸使用，但对于给定的脸并不一定同时使用所有的可用的部件。
这就导致了一个稀疏地分散的图像编码，与v Q的一元编码和P C A的全部分散的编码形成鲜明的对比。
N M F口」二叫叫l111l ll口L」乞_」卜尸叫叫卜一卜扁洲洲...l l习「二]]]l‘蓄日.l ll.l ll...「「]]]至习}}州州I11卜州卜了--.!!!...l一~门门一门门r一，「一几几鱼鱼匕列列「「」.!!!「翌r~~~~呈呈_」月匡匡{{{李一{{{江习l二月一一l r一-，厂气飞一1一T丁一疡一}}牲大1__里f户_」~__l l..!!里哩到「「工二)))钾一:片.r l‘r r一1:阅一宁一卞一二，二，户l l，、百..11.气馨。
书一各.本.4本4一一··1一f+于+卡一··上址全士上上福福~备牛4半4--p C A辍蟒矍黔鬓辍卜卜玺玺铆铆~呀，.曰卜，44r尹石畏‘‘‘气丁习巨蒸蒸俘砚勺勺爵自自酬酬爵圃令令麒圃麒麒肠肠翻嚷寥娜娜氢氢翩翩{密令润瞬绝翻眯眯之麟爵观胰爵广截截彝啊!!!版{{{嗽叫解解遗、髯摹!!!瓮髯酬111·惑一履图2.1N M F、V Q、P C A对人脸的表示N M F是对人脸的的基于部分的表达，而V Q和P C A是对人脸的基于整体的表达。
这三种分析方法都被应用到一个m=2429的人脸图像数据库中，每个图像由n=19xl9像素组成，最终形成一个n x m矩阵V。
这三种方法都是设法找到一种V的近似分解V二不朽叮，但是牙和H规定不同的约束条件。
非负矩阵分解（NMF）原理及算法实现
⾮负矩阵分解（NMF）原理及算法实现⼀、矩阵分解回想矩阵分解是指将⼀个矩阵分解成两个或者多个矩阵的乘积。
对于上述的⽤户-商品（评分矩阵），记为能够将其分解为两个或者多个矩阵的乘积，如果分解成两个矩阵和。
我们要使得矩阵和的乘积能够还原原始的矩阵当中，矩阵表⽰的是m个⽤户于k个主题之间的关系，⽽矩阵表⽰的是k个主题与n个商品之间的关系通常在⽤户对商品进⾏打分的过程中，打分是⾮负的，这就要求：这便是⾮负矩阵分解（NMF）的来源。
⼆、⾮负矩阵分解2.1、⾮负矩阵分解的形式化定义上⾯介绍了⾮负矩阵分解的基本含义。
简单来讲，⾮负矩阵分解是在矩阵分解的基础上对分解完毕的矩阵加上⾮负的限制条件。
即对于⽤户-商品矩阵找到两个矩阵和，使得：同⼀时候要求：2.2、损失函数为了能够定量的⽐较矩阵和的近似程度，提出了两种损失函数的定义⽅式：欧⼏⾥得距离：KL散度：在KL散度的定义中，。
当且仅当时取得等号。
当定义好损失函数后，须要求解的问题就变成了例如以下的形式，相应于不同的损失函数：求解例如以下的最⼩化问题：2.3、优化问题的求解乘法更新规则，详细操作例如以下：对于欧⼏⾥得距离的损失函数：对于KL散度的损失函数：上述的乘法规则主要是为了在计算的过程中保证⾮负，⽽基于梯度下降的⽅法中，加减运算⽆法保证⾮负。
事实上上述的惩罚更新规则与梯度下降的算法是等价的。
以下以平⽅距离为损失函数说明上述过程的等价性：平⽅损失函数能够写成：使⽤损失函数对求偏导数：依照梯度下降法的思路：即为：令，即能够得到上述的乘法更新规则的形式。
2.4、⾮负矩阵分解的实现1from numpy import *2from pylab import *3from numpy import *45def load_data(file_path):6 f = open(file_path)7 V = []8for line in f.readlines():9 lines = line.strip().split("\t")10 data = []11for x in lines:12 data.append(float(x))13 V.append(data)14return mat(V)1516def train(V, r, k, e):17 m, n = shape(V)18#先随机给定⼀个W、H，保证矩阵的⼤⼩19 W = mat(random.random((m, r)))20 H = mat(random.random((r, n)))21#K为迭代次数22for x in range(k):23#error24 V_pre = W * H25 E = V - V_pre26#print E27 err = 0.028for i in range(m):29for j in range(n):30 err += E[i,j] * E[i,j]31print(err)32 data.append(err)3334if err < e:35break36#权值更新37 a = W.T * V38 b = W.T * W * H39#c = V * H.T40#d = W * H * H.T41for i_1 in range(r):42for j_1 in range(n):43if b[i_1,j_1] != 0:44 H[i_1,j_1] = H[i_1,j_1] * a[i_1,j_1] / b[i_1,j_1]4546 c = V * H.T47 d = W * H * H.T48for i_2 in range(m):49for j_2 in range(r):50if d[i_2, j_2] != 0:51 W[i_2,j_2] = W[i_2,j_2] * c[i_2,j_2] / d[i_2, j_2]5253return W,H,data5455565758if__name__ == "__main__":59#file_path = "./data_nmf"60# file_path = "./data1"61 data = []62# V = load_data(file_path)63 V=[[5,3,2,1],[4,2,2,1,],[1,1,2,5],[1,2,2,4],[2,1,5,4]]64 W, H ,error= train(V, 2, 100, 1e-5 )65print (V)66print (W)67print (H)68print (W * H)69 n = len(error)70 x = range(n)71 plot(x, error, color='r', linewidth=3)72 plt.title('Convergence curve')73 plt.xlabel('generation')74 plt.ylabel('loss')75 show()这⾥需要注意训练时r值的选择：r可以表⽰和主题数或者你想要的到的特征数K值的选择：k表⽰训练的次数，设置的越⼤模型的拟合效果越好，但是具体设置多少，要根据性价⽐看，看误差曲线的变化。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
对于图像的约束非负矩阵分解摘要：非负矩阵分解(NMF)对于寻找非负数据的块基础和线性表示是一个常用的方法。
它已经广泛的应用于各种应用，比如模式识别，信息检索，计算机视觉。
但是，NMF本质上是一个非监督方法，不能利用标签信息。
在本文中，我们提出一种新的半监督矩阵分解方法，叫约束非负矩阵分解(CNMF)，将标签作为附加约束合并进来。
特别地，本文显示出结合标签信息能非常简洁地提高矩阵分解的识别能力。
我们利用两个函数公式和提供的相应优化问题的更新解决方法来研究所提出的CNMF方法。
通过实际数据的评估，我们所提出的方法和最先进的方法相比更有效。
索引词：非负矩阵分解，半监督学习，降维，聚类1.简介许多数据分析中一个基础的问题就是寻找一个合适的表示数据[1]，[2]，[3]，[4]，[5]，[6]，[7]，[8]。
可以应用一个非常有效的方法表示数据之间的潜在结构。
矩阵分解技术作为这类数据表示的基础工具已经得到越来越多的注意。
运用不同的标准已经得到了大量不同的方法。
最流行的技术包括主成分分析(PCA)[9]，奇异值分解(SVD)[10]，和向量量化[11]。
矩阵分解的中心是找到两个或者更多的因子产生原始数据的一个好的逼近。
在实际应用中，分解之后的矩阵维数通常远远小于原始数据的维数。
这就引起了数据的压缩表示，促进了其他研究比如聚类和分类。
在矩阵分解方法中，非负矩阵分解(NMF)有一个限制即所有的矩阵因子都必须是非负的，即所有的因子必须大于等于零。
这个非负性约束使NMF从感觉上只能对原始数据进行加操作不能减。
因此，对于图像处理，人脸识别[2][12]，文件聚类[13][14]是一个理想的降维方法，它们就是由部分组成整体的。
NMF是一个非监督学习方法。
NMF不能应用于许多实际的问题当专家认为是可行的有限知识中。
但是许多机器语言的研究发现未标签的数据当与一些少量的标签数据相结合时在研究精确度上会产生相当大的提高[15][16][17]。
全标签训练集的处理过程可能会很昂贵，然而少量的标签数据的获得相对便宜。
在这种情况下，半监督学习方法就有很大的实用价值。
因此，用半监督学习方法研究NMF 很有意义。
最近，蔡登等人提出了一种图表正则化NMF(GNMF)方法来编码数据空间的几何信息。
GNMF构建一个最近邻图表模拟多种结构。
当标签信息可行时，它自然地应用到图表结构中。
特别地，如果两个数据点使用同一个标签，大的权重会被分配到边缘连接它们。
如果两个数据点使用不同的标签，相应的权重都是0。
这就引起了半监督GNMF。
这个方法的最大缺点是相同类别的数据点将会一起映射到一个新的表示空间，而且怎样有原则的选取权重并不清晰，这一观点没有理论保证。
本文中，我们提出一种新的矩阵分解方法，叫约束非负矩阵分解(CNMF)，将标签信息作为附加的约束。
我们算法的中心是相同类别的数据可以在一个新的表示空间中合并。
这样，已经获得的部分表示就有和原始数据一致的标签，因此就有多的识别能力。
我们方法的另一个优点是参数自由，避免了参数调试来获得更好的结果。
这就使我们的算法更容易方便的应用于真实世界应用中。
我们还讨论了怎样高效的解决相应的最优化问题。
给出最优化收敛性证明。
本文贡献如下：1.标准NMF是一个非监督学习算法不需要结合标签信息。
本文中，我们将它扩展为半监督学习算法。
此外，我们将标签信息作为约束；这样一来，有相同标签的数据在新的表示空间里就有相同的坐标。
通过这种方法，表示可以有更多的识别能力。
2.以前的研究[18]显示NMF和概率潜在语义分析(PLSA)都是多项式PCA的实例。
特别的是，PLSA利用KL[19][20]分解解决NMF问题。
为了更深入的探讨，我们将CNMF应用于KL分解公式中并且提供更新规则解决最优化问题。
3.与半监督GNMF不同，我们算法的优点是参数自由。
因此不用靠调参来获得更好的结果。
CNMF算法更容易方便的应用于真实世界中。
实验结果表明，该算法能有效提高聚类性能。
4.就我们目前的知识而言，没有一种方法能直接获得NMF的解决办法。
目前最好的方法是使用更新迭代获得目标函数的最优解。
因此算法的效率对真实应用很重要。
本文中，我们定性的分析算法复杂度并通过实验测试收敛率定量地证明算法效率。
本文结构如下：第二部分，我们简要的介绍了NMF的背景和相关工作；第三部分介绍了NMF约束的相关工作，具体的算法和理论证明在第四和第五部分，第六部分讨论了算法的复杂度。
第七部分实验结果，第八部分是总结。
2．相关工作矩阵分解存在大量方法，如PCA,SVD，每种分解方法都有相应的约束条件，NMF的约束条件是分解因子矩阵元素必须非负。
假设矩阵N d∈，行代表样X R⨯本点，列代表样本维数。
NMF的目的是找到满足T≈的两个非负因子矩阵X UVU,V。
逼近质量由代价函数评价，一种是欧式距离平方度量J，另一种是FKwellback-Liebler散度或相对熵J，这两种目标函数都是关于U,V的非凸函数，KL很难得到J的全局最小值，因此只能用迭代更新算法寻找上述优化问题的局部最小值及局部最优解U和V。
NMF中X在基函数U上的投影值是V，即NMF将d维向量X映射到k维向量V，新空间是由U张成的。
因此当k d≤时，NMF可作为一种降维方法。
(可与其他降维方法比较)NMF没有利用样别标签信息，它是一种无监督的学习方法。
3．半监督NMF 思想设i x，1,2,d i n R =∈ ,其中1,2,i l = 的样本标签已知，而1,i l n =+ 的样本标签未知。
设存在c 类，我们建立l c ⨯矩阵C ，当i x的标签是j 类时，其元素ij C =1，否则ij C =0.我们建立半监督矩阵()l cn-l C 0=0I n n l c A ⨯⨯-+⎡⎤⎢⎥⎣⎦，令V=AZ ，则()TX U AZ ≈(硬约束条件A →软约束条件B ，奇稀疏表示或后验概率) (T d n d k k n X U V ⨯⨯⨯=,[][]N K N N L C N L C K V A Z ⨯⨯-+-+⨯=) L=N 监督NMF4.最优化问题及更新算法4.1更新算法利用F 范数，带标签约束的CNMF 算法变为最小化下式函数：T T F O X UZ A =- (1)其中,i j u ，,i j z 是非负的。
(1)中U,Z 都是非凸的，要想找到F O 的全局最小量不切实际。
接下来我们用迭代更新算法获得F O 。
利用矩阵性质()()Tr AB Tr BA =，目标函数F O 重新写作()2()=(()())()2()T T T T T T T F TTTTTO Tr X UZ A Tr X UZ A X UZ A Tr XX Tr XAZU Tr UZ A AZU=---=-+ij α，ij β分别是0ij u ≥，0ij z ≥的拉格朗日乘子，ij αα⎡⎤=⎣⎦，ij ββ⎡⎤=⎣⎦，拉格朗日函数L 是：()()T T F L O Tr U Tr Z αβ=++L 分别对U,Z 求偏导，我们得到：-220T T LXAZ UZ A AZ U α∂=++=∂ 220T T T T LA X U A AZU U Zβ∂=-++=∂ 根据Kuhn-Tucker 条件0ij ij u α=，0ij ij z β=，可以得到关于ij u ，ij z 等式：()()0T T ij ij ij ij XAZ u UZ A AZ u -=，()()0TT T T ij ij ijijAX U z A AZU U z -=这些等式带来下面的更新准则：()()ijij ijT TijXAZ u u UZ A AZ ←， (2) ()()TT ijij ijTTijA X U z z AAZU U ← (3)关于上面的迭代准则有下面的定理：定理1：(1)中目标函数F O 在(2)(3)条件下不会增长。
当且仅当U,Z 在稳定点时，目标函数不会变化。
4.2收敛证明为了证明定理1，我们利用一个辅助函数的性质。
引理2：如果存在辅助函数G ，满足()()',G x x F x ≥和()(),G x x F x =，则F 在更新条件()1'arg min ,t xx G x x += (4)下不会增长。
等式()()1t t F x F x +=当且仅当t x 是(),t G x x 的最小化时满足。
重复迭代(4)，序列收敛于()min arg min x x F x =的最小值。
我们通过定义一个合适的辅助函数来表示。
首先，我们证明(3)的收敛性。
ab z 是Z 中任意一个元素，ab z F 表示ab z 的F 范数。
由迭代本质上是元素的变化，因此每个ab z F 在步骤(3)中都是不变的。
下面证明：引理3：F ’是Z 的一阶导数。
()()()()()()'2,ab ab t t t tab z ab z ab ab TT t ababtabG z z F z F z z z A AZU U z z z=+-+- (5)(),tab G z z 是ab z F 的辅助函数，是F O 的一部分。
证明：()(),ab z G z z F z =，根据辅助函数定义，要证明()(),ab tab z G z z F z ≥。
为了达到结果，将(5)式中的(),t ab G z z 和ab z F 泰勒展开式作比较：()()()()2'''12ab ab ab ab t t tz z ab z ab z ab F z F z F z z F z z =+-+- (6)''F 是对Z 的二阶偏导。
()'22ab T T T T z ab ab O F A X U A AZU U Z ∂⎛⎫==-+ ⎪∂⎝⎭()()''2ab T Tz aabbF A A U U = (7)将(7)放到(6)中和(5)式作比较，要证明()(),ab tab z G z z F z ≥，就是证明()()()''12ab TT T T abz taa bb abAAZU U F A A U U z ≥=即：()()()()()()()11kTTTTaballbl TTabbbkT tT lb albbl A AZU U A AZ U U A AZ U U A A z U U ===∑≥≥∑下面定义公式(2)中的辅助函数，ab u F 表示ab u 的F 范数。
引理4：()()()()()()'2,ab ab t t t tab u ab u ab ab TT t ababtabG u u F u F u u u UZ A AZ u u u=+-+- (8)引理4和引理3证明相似，有这些引理，得出定理1的证明：定理1证明：将(5)中(),tab G z z 放到(4)中()()()1arg min ,TT t t t abab ab abTTzabA X U z G z z z AAZU U +==由于(5)是一个辅助函数，ab z F 在定理3的更新迭代下不会增长。