基于低秩正则化的神经网络学习方法
基于全变分正则项展开的迭代去噪网络
基于全变分正则项展开的迭代去噪网络侯瑞峰;张鹏程;张丽媛;桂志国;刘祎;张浩文;王书斌【期刊名称】《计算机应用》【年(卷),期】2024(44)3【摘要】针对神经网络训练存在解释能力差以及不稳定问题,提出一种基于CP(Chambolle-Pock)算法求解的全变分(TV)正则项展开去噪网络(CPTV-Net),用于解决低剂量计算机断层扫描(LDCT)图像去噪问题。
首先,向L1正则项模型引入TV约束项,以保留图像的结构信息;其次,采用CP算法对去噪模型进行求解并得出具体迭代步骤,保证算法的收敛性;最后,借助浅层卷积神经网络学习线性操作的原始对偶变量迭代公式,用神经网络计算模型的解,并通过收集网络参数优化合并数据。
在模拟和真实LDCT数据集上的实验结果表明,与残差编码器-解码器卷积神经网络(REDCNN)、TED-Net(Transformer Encoder-decoder Dilation Network)等五种先进的去噪方法相比,CPTV-Net具有较优的峰值信噪比(PSNR)、结构相似度(SSIM)和视觉信息保真度(VIF)评估值,能生成去噪效果明显和细节保留最为完整的LDCT图像。
【总页数】6页(P916-921)【作者】侯瑞峰;张鹏程;张丽媛;桂志国;刘祎;张浩文;王书斌【作者单位】中北大学信息与通信工程学院;生物医学成像与影像大数据山西省重点实验室(中北大学)【正文语种】中文【中图分类】TP391.41;TP183【相关文献】1.基于正则化与保真项全变分自适应图像去噪模型2.基于增广拉格朗日的全变分正则化CT迭代重建算法3.基于非凸低秩矩阵逼近和全变分正则化的高光谱图像去噪4.基于重叠群稀疏分数阶全变分正则化模型的图像去噪算法5.基于全变分加权差正则的高光谱图像去噪算法因版权原因，仅展示原文概要，查看原文内容请购买。
基于卷积神经网络的图像分类模型综述
基于卷积神经网络的图像分类模型综述随着计算机视觉领域的不断发展，图像分类一直是一个重要且具有挑战性的问题。
为了提高图像分类的准确性和效率，研究人员提出了许多基于卷积神经网络（Convolutional Neural Network，CNN）的图像分类模型。
本文将综述近年来基于卷积神经网络的图像分类模型的研究进展和应用。
一、卷积神经网络的基本原理和结构卷积神经网络作为一种深度学习模型，其基本原理是模拟人类视觉系统的工作方式。
它通过多层卷积和池化操作来提取图像的特征，并通过全连接层来实现分类任务。
卷积神经网络的结构包括输入层、卷积层、池化层和全连接层。
其中，卷积层负责提取图像的局部特征，池化层用于减小特征图的尺寸和参数数量，全连接层用于将提取到的特征与类别进行映射。
二、经典的卷积神经网络模型1. LeNet-5模型LeNet-5是卷积神经网络的鼻祖，它由卷积层和全连接层组成。
LeNet-5在手写数字识别等任务上取得了良好的效果，是后续卷积神经网络模型的基础。
2. AlexNet模型AlexNet是第一个在ImageNet图像分类竞赛中获得冠军的卷积神经网络模型。
AlexNet引入了ReLU激活函数和Dropout正则化操作，显著改善了图像分类的性能。
3. VGG模型VGG模型是由牛津大学的研究人员提出的，它采用了更小的卷积核和更深的网络结构。
VGG模型的主要贡献是通过增加网络的深度，提高了图像分类的准确性。
4. GoogLeNet模型GoogLeNet模型使用了Inception模块，将不同尺度的卷积和池化操作并行进行，从而提高了特征提取的效果。
GoogLeNet模型在ILSVRC2014图像分类竞赛中获得了冠军。
5. ResNet模型ResNet模型是由微软亚洲研究院提出的，它通过引入残差连接解决了深度神经网络训练中的梯度消失问题。
ResNet模型在ILSVRC2015图像分类竞赛中取得了突破性的结果。
信号与数据处理中的低秩模型——理论、算法与应用
min rank( A), s.t.
A
( D) ( A)
2 F
,
(2)
以处理测量数据有噪声的情况。 如果考虑数据有强噪声时如何恢复低秩结构的问题，看似这个问题可以用传统的 PCA 解决，但 实际上传统 PCA 只在噪声是高斯噪声时可以准确恢复潜在的低秩结构。对于非高斯噪声，如果噪声 很强，即使是极少数的噪声，也会使传统的主元分析失败。由于主元分析在应用上的极端重要性， 大量学者付出了很多努力在提高主元分析的鲁棒性上，提出了许多号称“鲁棒”的主元分析方法， 但是没有一个方法被理论上严格证明是能够在一定条件下一定能够精确恢复出低秩结构的。 2009 年， Chandrasekaran 等人[CSPW2009]和 Wright 等人[WGRM2009]同时提出了鲁棒主元分析 （Robust PCA, RPCA） 。他们考虑的是数据中有稀疏大噪声时如何恢复数据的低秩结构：
b) 多子空间模型
RPCA 只能从数据中提取一个子空间，它对数据在此子空间中的精细结构无法刻画。精细结构 的最简单情形是多子空间模型，即数据分布在若干子空间附近，我们需要找到这些子空间。这个问 题马毅等人称为 Generalized PCA (GPCA)问题[VMS2015]，之前已有很多算法，如代数法、RANSAC 等，但都没有理论保障。稀疏表示的出现为这个问题提供了新的思路。E. Elhamifar 和 R. Vidal 2009 年利用样本间相互表达，在表达系数矩阵稀疏的目标下提出了 Sparse Subspace Clustering (SSC)模型 [EV2009]（(6)中 rank( Z ) 换成 Z
* 本文得到国家自然科学基金(61272341, 61231002)资助。
结构化稀疏低秩表征学习方法及应用研究
结构化稀疏低秩表征学习方法及应用研究结构化稀疏低秩表征学习方法及应用研究近年来，随着人工智能和机器学习的迅猛发展，人们对于数据表征学习的需求也越来越高。
传统的表征学习方法，如主成分分析（PCA）和独立成分分析（ICA），常常忽视了数据中存在的结构化信息，导致表示能力受限。
为了克服这一问题，结构化稀疏低秩表征学习方法应运而生。
本文将介绍结构化稀疏低秩表征学习的原理、方法和应用，并点明其在图像处理、自然语言处理等领域的潜在应用价值。
结构化稀疏低秩表征学习方法是一种同时考虑数据结构、稀疏性和低秩性的表征学习方法。
在这种方法中，数据被看作是由结构化成分、稀疏信号和低秩噪声组成的线性组合。
这种假设与现实世界中的很多数据完美契合，例如图像中的纹理和边缘信息、语音信号中的基音和谐波等。
相比于传统的表征学习方法，结构化稀疏低秩表征学习方法可以更好地保留数据中的结构信息，提高表征能力和泛化性能。
在结构化稀疏低秩表征学习方法中，表征矩阵被分解为结构化成分、稀疏信号和低秩噪声三部分。
结构化成分能够提取出数据中的结构信息，稀疏信号能够捕捉到数据的稀疏性，低秩噪声则表示数据中的噪声和无用信息。
为了得到最优的表征结果，通常会通过最小化结构化成分和稀疏信号的范数以及最大化低秩噪声的秩来进行模型优化。
这可以通过求解一个优化问题来实现，如基于交替方向乘子法（ADMM）的方法。
结构化稀疏低秩表征学习方法在许多领域都具有广泛的应用潜力。
在图像处理领域，结构化稀疏低秩表征学习方法可以用于图像去噪、图像恢复、图像分割和图像压缩等任务。
通过结合结构化成分和稀疏信号，可以提取出图像中的纹理和边缘特征，从而实现更好的图像处理效果。
在自然语言处理领域，结构化稀疏低秩表征学习方法可以用于词嵌入和文本分类等任务。
通过学习结构化成分和稀疏信号，可以建立词汇之间的语义关系和文本的语义表示，从而提高文本处理的效果。
然而，结构化稀疏低秩表征学习方法也存在一些挑战和问题。
梯度低秩先验-概述说明以及解释
梯度低秩先验-概述说明以及解释1.引言1.1 概述梯度低秩先验是一种在机器学习领域被广泛应用的先验假设。
通过对模型参数的梯度进行低秩约束，可以让模型更加稳定并且有更好的泛化能力。
在本文中，我们将深入探讨梯度低秩先验的原理、应用以及优势，并指出它在当前机器学习研究中的重要性。
通过深入研究梯度低秩先验，我们也希望能够为未来的研究方向提供一些启示和展望。
分的内容文章结构部分的内容如下：1.2 文章结构本文主要分为引言、正文和结论三个部分。
- 引言部分首先概述了梯度低秩先验的概念和重要性，然后介绍了文章的结构和目的。
- 正文部分将深入探讨什么是梯度低秩先验，以及在机器学习领域中的应用，重点介绍了梯度低秩先验的优势。
- 结论部分将总结梯度低秩先验在机器学习中的重要性，并展望未来研究方向，最终得出结论。
1.3 目的：本文的主要目的是介绍梯度低秩先验这一重要的机器学习方法，探讨其在各个领域的应用和优势。
通过深入分析梯度低秩先验的原理和作用机制，希望读者能够更全面地了解该方法，并认识到其在现代数据科学和机器学习中的重要性。
同时，本文旨在激发读者对未来研究方向的思考，为更深入的研究和应用梯度低秩先验提供参考和启示。
通过本文的阐述和讨论，希望能够推动梯度低秩先验方法在学术界和工业界的发展和应用。
2.正文2.1 什么是梯度低秩先验梯度低秩先验是一种先验假设，它认为在机器学习模型中，梯度的结构是低秩的。
换句话说，模型的参数在梯度方向上具有较低的秩，即参数更新的方向是受限制的。
在传统的机器学习算法中，通常使用的是平滑和凸函数来对参数进行更新，而梯度低秩先验则更强调模型参数之间的关系以及参数更新的方向。
在这种先验下，模型参数更新的方向更为稳定，可以减少模型的过拟合风险，提高模型的泛化能力。
梯度低秩先验的应用包括但不限于推荐系统、图像处理、自然语言处理等领域。
通过引入梯度低秩先验，可以更加有效地利用参数之间的依赖关系，在训练过程中降低模型的复杂度，从而提高训练效率和模型性能。
低秩表示(lrr)方法
低秩表示(lrr)方法低秩表示（Low-Rank Representation，LRR）方法是一种新型的数据分析方法。
该方法以低秩矩阵的形式进行数据表示，适用于不完整数据的重建和噪声数据的去除。
LRR方法具有广泛的应用领域，如图像处理、视频分析、信号处理等。
一、低秩表示方法的概念低秩表示是一种用低秩矩阵来近似高维数据的方法，通常表现为一个线性矩阵问题。
在传统样本降维的方法中，主成分分析（PCA）是一种比较常用的方法。
但是，PCA方法只适合于非噪声数据的降维，当数据存在噪声时它的效果并不好。
LRR方法引入低秩矩阵在原有数据中大约保留跟PCA相同的信息，但是它可以处理含有噪声的数据。
因此，在数据处理中，LRR方法往往比PCA方法更为广泛地应用。
二、低秩表示方法的原理低秩表示的原理在于，对于给定的数据矩阵X（n×d），可以将它表示为两个矩阵的乘积： X = L + E 其中，L为低秩矩阵，它代表了数据矩阵的共同性或信息，并且rank(L) < min{n, d}；E为噪声矩阵，它代表了数据矩阵中的随机性或噪声，E的每一行都是一个随机向量。
很显然，如果给定了L的值，那么E就可以通过矩阵运算求出。
因此，问题转化为如何求解L的值。
对于这个问题，我们可以将其转化为一个带约束的最小化问题，也就是：min_{L, E} ||L||_* + λ||E||_1 s.t. X = L + E 其中，||·||_*表示矩阵的核范数，||·||_1表示矩阵的L1范数，λ是正则化系数，用于平衡两项之间的贡献。
三、低秩表示方法的应用 LRR方法具有广泛的应用领域。
下面以图像处理为例来简要介绍：在图像处理中，LRR 方法可以被用来分离图像中的前景和背景，也可以用来去除图像中的噪声。
首先，我们可以将图像的三维数据（宽度、高度和颜色通道）转换成一个二维的矩阵X，然后进行LRR分解。
在分解后的低秩矩阵L中，所有信息都体现在了它的子空间上，而噪声则体现在了噪声矩阵E中。
自适应超图正则化低秩矩阵分解
第４１卷第４期２０２３年７月 贵州师范大学学报（自然科学版）ＪｏｕｒｎａｌｏｆＧｕｉｚｈｏｕＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅｓ）Ｖｏｌ．４１．Ｎｏ．４Ｊｕｌ．２０２３引用格式：李毓静，刘奇龙．自适应超图正则化低秩矩阵分解［Ｊ］．贵州师范大学学报（自然科学版），２０２３，４１（４）：４８ ５７．［ＬＩＹＪ，ＬＩＵＱＬ．Ｌｏｗ ｒａｎｋｍａｔｒｉｘｆａｃｔｏｒｉｚａｔｉｏｎｗｉｔｈａｄａｐｔｉｖｅｈｙｐｅｒｇｒａｐｈｒｅｇｕｌａｒｉｚｅｒ［Ｊ］．ＪｏｕｒｎａｌｏｆＧｕｉｚｈｏｕＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅｓ），２０２３，４１（４）：４８ ５７．］自适应超图正则化低秩矩阵分解李毓静，刘奇龙（贵州师范大学数学科学学院，贵州贵阳 ５５００２５）摘要：超图正则化非负矩阵分解（ＨＮＭＦ）是一类常用的数据降维方法。
然而，使用预先构造超图的方法不能较好地反映出样本点间的多元关系。
为解决此问题，设计了一类自适应超图的构造方法，结合非负矩阵分解，建立了自适应超图正则化低秩矩阵分解（ＬＭＦＡＨＲ）模型。
利用乘性更新的方法求解该模型，并证明了该模型的目标函数在迭代过程中单调不增。
数值实验表明：ＬＭＦＡＨＲ算法与经典的低秩矩阵分解算法相比，在ＣＯＩＬ２０数据集上评估指标ＡＣＣ和ＮＭＩ分别有０ ６６％～１ ４８％，０ １９％～１ ４３％的提升，在Ｙａｌｅ数据集上评估指标ＡＣＣ和ＮＭＩ分别有０ ０１％～４ ２９％，０ ３％～８ ４４％的提升。
关键词：矩阵分解；自适应超图；流形学习；聚类中图分类号：Ｏ２４１ 文献标识码：Ａ 文章编号：１００４—５５７０（２０２３）０４－００４８－１０ＤＯＩ：１０．１６６１４／ｊ．ｇｚｎｕｊ．ｚｒｂ．２０２３．０４．００４Ｌｏｗ ｒａｎｋｍａｔｒｉｘｆａｃｔｏｒｉｚａｔｉｏｎｗｉｔｈａｄａｐｔｉｖｅｈｙｐｅｒｇｒａｐｈｒｅｇｕｌａｒｉｚｅｒＬＩＹｕｊｉｎｇ，ＬＩＵＱｉｌｏｎｇ（ＳｃｈｏｏｌｏｆＭａｔｈｅｍａｔｉｃｓＳｃｉｅｎｃｅ，ＧｕｉｚｈｏｕＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｇｕｉｙａｎｇ，Ｇｕｉｚｈｏｕ５５００２５，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｈｙｐｅｒｇｒａｐｈｒｅｇｕｌａｒｉｚｅｄｎｏｎ ｎｅｇａｔｉｖｅｍａｔｒｉｘｆａｃｔｏｒｉｚａｔｉｏｎ（ＨＮＭＦ）ｉｓａｐｏｐｕｌａｒｃｌａｓｓｏｆｄａｔａｄｉｍｅｎｓｉｏｎａｌｉｔｙｒｅｄｕｃｔｉｏｎｍｅｔｈｏｄｓ．Ｈｏｗｅｖｅｒ，ｔｈｅｕｓｅｏｆｐｒｅ ｃｏｎｓｔｒｕｃｔｅｄｈｙｐｅｒｇｒａｐｈｓｄｏｅｓｎｏｔｂｅｔｔｅｒｒｅ ｆｌｅｃｔｔｈｅｍｕｌｔｉｖａｒｉａｔｅｒｅｌａｔｉｏｎｓｈｉｐｓａｍｏｎｇｓａｍｐｌｅｐｏｉｎｔｓ．Ｔｏｓｏｌｖｅｔｈｉｓｐｒｏｂｌｅｍ，ａｃｌａｓｓｏｆａｄａｐｔｉｖｅｈｙ ｐｅｒｇｒａｐｈｃｏｎｓｔｒｕｃｔｉｏｎｍｅｔｈｏｄｓｉｓｄｅｖｅｌｏｐｅｄ，ａｎｄａｌｏｗ ｒａｎｋｍａｔｒｉｘｆａｃｔｏｒｉｚａｔｉｏｎｗｉｔｈａｄａｐｔｉｖｅｈｙｐｅｒｇ ｒａｐｈｒｅｇｕｌａｒｉｚｅｒ（ＬＭＦＡＨＲ）ｍｏｄｅｌｉｓｅｓｔａｂｌｉｓｈｅｄｉｎｃｏｍｂｉｎａｔｉｏｎｗｉｔｈｎｏｎｎｅｇａｔｉｖｅｍａｔｒｉｘｆａｃｔｏｒｉｚａｔｉｏｎ．Ｔｈｅｍｕｌｔｉｐｌｉｃａｔｉｖｅｕｐｄａｔｉｎｇｍｅｔｈｏｄｉｓｕｓｅｄｔｏｓｏｌｖｅｔｈｅｍｏｄｅｌ，ａｎｄｉｔｉｓｐｒｏｖｅｄｔｈａｔｔｈｅｏｂｊｅｃｔｉｖｅｆｕｎｃ ｔｉｏｎｏｆｔｈｅｍｏｄｅｌｉｓｍｏｎｏｔｏｎｉｃａｌｌｙｎｏｎ ｉｎｃｒｅａｓｉｎｇｉｎｔｈｅｉｔｅｒａｔｉｖｅｐｒｏｃｅｓｓ．ＴｈｅｅｘｐｅｒｉｍｅｎｔｓｏｎｉｍａｇｅｄａｔａｓｅｔｓＣＯＩＬ２０ａｎｄＹａｌｅｓｈｏｗｔｈａｔ：Ｃｏｍｐａｒｅｄｔｏｔｈｅｏｔｈｅｒａｌｇｏｒｉｔｈｍｓ，ＬＭＦＡＨＲａｌｇｏｒｉｔｈｍｉｍｐｒｏｖｅｓＡＣＣａｎｄＮＭＩｂｙ０．６６％～１．４８％ａｎｄ０．１９％～１．４３％ｏｎＣＯＩＬ２０ｄａｔａｓｅｔｓ，ｒｅｓｐｅｃｔｉｖｅｌｙ，ａｎｄｉｍ ｐｒｏｖｅｓＡＣＣａｎｄＮＭＩｂｙ０．０１％～４．２９％ａｎｄ０．３％～８．４４％ｏｎＹａｌｅｄａｔａｓｅｔｓ，ｒｅｓｐｅｃｔｉｖｅｌｙ．Ｋｅｙｗｏｒｄｓ：ｍａｔｒｉｘｆａｃｔｏｒｉｚａｔｉｏｎ；ａｄａｐｔｉｖｅｈｙｐｅｒｇｒａｐｈ；ｍａｎｉｆｏｌｄｌｅａｒｎｉｎｇ；ｃｌｕｓｔｅｒｉｎｇ８４收稿日期：２０２２－１１－２９基金项目：国家自然科学基金资助项目（１２０６１０２５）；贵州省教育厅自然科学研究资助项目（黔教合ＫＹ字［２０２１］２９８） 通讯作者：刘奇龙（１９８８－），男，博士，副教授，研究方向：数值代数，Ｅ ｍａｉｌ：ｑｌｌｉｕ＠ｇｚｎｕ．ｅｄｕ．ｃｎ．Copyright ©博看网. All Rights Reserved.０ 引言 低秩矩阵分解常用于信息检索，数据压缩和降维等领域［１］。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2018年4月计算机工程与设计A pr.2018第 39卷第 4 期 COMPUTERENGINEERINGANDDESIGN Vol. 39 No. 4基于低秩正则化的神经网络学习方法陈嫒嫒，刘光灿(南京信息工程大学江苏省大数据分析技术重点实验室，江苏南京210044)摘要：针对神经网络参数过多容易导致过拟合这一问题！结合神经网络学习与低秩学习的基本思想，提出一种低秩正则 化神经网络，每层的权值矩阵被约束为低秩的，降低网络的有效参数规模，达到防止过拟合的效果。
由于低秩约束的存 在，低秩正则化神经网络的学习过程不能直接利用传统B P算法来完成，因此，提出一种扩展的B P算法，用于求解含低秩 约束的神经网络学习问题。
实验结果表明，所提方法在分类精度、收敛速度以及预测精度上优于对比方法。
关键词：神经网络；低秩矩阵因子分解；反向传播算法；正则化；数据分类与回归中图法分类号：TP18 文献标识号：A文章编号：1000-7024 (2018) 04-1034-05doi： 10. 16208/.. issnl000-7024. 2018. 04. 024Neural network learning method based on low-rank regularizationCHEN Ai-ai，LIU Guang-can(Jiangsu Key Laboratory of Big Data Analysis Technology,Nanjing University ofInformation Science and Technology,Nanjing 210044，China)Abstract：To eliminate the over-fitting phenomenon arising from the gigantic nature of the parametric space of neural networks，a low-rank regularized neural network was proposed，which combined the ideas of neural network learning and low-rank learly，the weight matrices in each layer of the proposed low-rank regularized neural network were constrained to be low-rank.In this way，the amount of network parameters was significantly reduced and thus effectively suppressed the over-fitting phenomenon.Due to the low-rank constraints，the traditional back-propagation (BP)algorithm could not be directly used to train the low-rank r egularized neuml network.An extended BP algorithm was proposed for training the neuml networks containing low-rank constraints.Experimental results show that the proposed method is better than the competing methods>in terms of classification accuracy，convergence rate and prediction accuracy.Key words：neural networks；low-rank matrix factorization；back-propagation；regularization；data classification and regression3引言现有神经网络学习方法19'仍存在若干缺陷。
其主要缺 陷之一就是会出现学习速度慢，参数过多，容易导致“过 拟合’’现象，而且网络参数过多也会给计算成本和存储都 带来很大的困难。
针对过拟合问题，众多研究者已经提出 了一些有效的方法，比如正则化神经网络算法[10]、Drop o u t11'、数据集扩增等。
本文结合神经网络学习与低秩学习的基本思想，提出 了一种称为低秩正则化神经网络的方法。
其基本思想是将 原来的每层高维权值矩阵因式分解为两个低维矩阵之积，即：限定每层的高维权值矩阵是低秩的。
通过这种低秩约 束，网络的有效参数规模被大大降低，从而达到既防止过 拟合，又能降低存储与计算开销的效果。
由于低秩约束的 存在，低秩正则化神经网络的学习过程不能直接利用传统 back-propagation(BP)算法来完成。
因此，本文也提出了 一种扩展的B P算法，用于求解含低秩约束的神经网络学 习问题。
文献&2]也提出过将原来的高维权值矩阵因式分解为两个低维矩阵之积，但他们的低维矩阵是通过对原高维 矩阵进行奇异值分解所得到的，也就是说，低秩约束并没 有严格嵌人到神经网络的学习过程中。
而本文方法把低秩收稿日期：2017-02-22#修订日期：2017-05-10基金项目：国家自然科学基金优秀青年基金项目（61622305);国家自然科学基金青年基金项目（61502238);江苏省自然科学基金杰出青 年基金项目（BK20160040)作者简介：陈嫒嫒（1992-），女，江苏扬州人，硕士研究生，研究方向为神经网络、模式识别；刘光灿（1982 -），男，湖南邵阳人，博士，教授，硕士生导师，研究方向为模式识别、计算机视觉、图像处理。
E-mail:yycmthgh@第39卷第4期陈嫒嫒，刘光灿：基于低秩正则化的神经网络学习方法•1035 •约束嵌入到神经网络的学习过程里，并提出一种扩展的BP 算法对网络参数进行优化求解。
通过实验结果的对比分析 可以看出基于低秩正则化的神经网络在学习速度和预测精 度方面效果显著。
1低秩正则化神经网络1.1数学符号说明在本文中，粗体大写字母（比如W)表示矩阵，粗体 小写字母（比如X)表示向量，希腊字母（比如a)表示数 值。
一个矩阵W的第2行7列表示为，，一个矩阵序列的 某个矩阵表示为粗体大写字母加下标，比如^表示一个矩阵序列中的第z个矩阵。
特别地，小写字母m z j，g，r用于表示一些特殊数值，比如矩阵的大小、矩阵的秩 等。
下表对本文所用到的数学符号进行一个简单说明：矩阵：W，A，B。
矩阵的第Z行j列：z z，％，z。
矩阵序列：^，呢，…，。
向量：X，y。
向量序列：X i，X2，…，X n。
数值：a，/?。
特殊数值：m，n，Z，j，{，g，r。
1.2低秩正则化神经网络模型如图1所示，本文提出的低秩正则化神经网络结合了 传统神经网络模型[13，14]与低秩学习的基本思想。
与传统神 经网络一样，低秩正则化神经网络也由输入层、隐含层、输出层组成。
激活函数选择sigm oid函数/Or)" 1/[1 / exp(—W其对输入产生响应，产生&，1]的值域。
与传统神经网络模型不同的是，在低秩正则化神经网 络中，每层的权值矩阵被约为低秩的rm々）Z) 4r，Z " 1，…^ (1)式中：W;G於―〃——网络中第^层的权值矩阵，r a w—矩阵的秩，r—阈值。
在本文中，阈值r设置为r "a •min(m z n)⑵式中：0<a<1为人为指定的参数。
当a=1时，低秩正则 化神经网络等价于传统的神经网络；当a%1时，网络的有效参数规模被降低，从而提高神经网络学习的抑制过拟合能力。
2学习算法低秩正则化神经网络中每层的权值矩阵需要通过对训 练数据进行学习而获得。
下面将以回归分析为例来说明低 秩正则化神经网络的学习过程。
假设（&，>!)…（^恳）表 示{个样本，其中X) 4z<{)表示输入数据向量，3Z (4Z4々）表示第z个样本的目标输出。
如果把神经网络 对应的函数记为y " /w(X)，那么低秩正则化网络的学习 过程就是寻求最佳的权值矩阵W1，W2,…，W g，使得下列优 化目标最小m in ?& ||/r(X)—y||2z=1 3) s. 4 ra n k X W i) 4r i"1，，…，q上述优化问题的主要难点在于如何处理低秩约束ra<(W i)4r。
为了方便求解，我们首先把式（）中的 问题转化为下列等价的优化问题m in ?&I\/w i x l) —y j|2i"1⑷s. 4 W i"A E i，A(R i r，E l(R i n，i " 1，2,…，q通过这种方式，对一个权值矩阵w n的求解被转化为求 解两个小矩阵▲和艮。
W i的参数个数为mi X n，Wi "▲坎的参数个数为r(mi /n)，这样就达到了对权值矩阵 低秩约束的效果，降低计算参数规模，从而达到降低学习 过程的存储与计算开销，又抑制过拟合的效果。
式（）中问题的优化求解可以通过扩展传统B P算法 来实现。
由于不同层中权值矩阵的更新策略是一样的，为 了简化表述，在下文中我们用W表示权值矩阵，用A和B 表示W的低秩分解因子_z n,z12".z ln_W =........"A B()—Z V m1 ，Z V m2…*Z Jm n—式中：W G，A G B G汧％。
由定义，可知z i=&a<b kj(6)k=1因此，每个a<依赖于，吻，…，Z n。
记1" 1&W/w(x i)—y A\2()i"1根据链式法则，优化目标1对a<的导数为3E"n i i =〇kj式中：可通过传统B P算法获得。
因此，参数A的更新法则为•1036 •计算机工程与设计2018 年a<(t/1* = 7k) t* ——(t*(9)式中表示学习率（为迭代次数。
同理可以得到参数B的更新法则9E=$9E&d l i j7%=< ((/ 1* " =<(t*—+6= _ )*(10*正则化神经网络的训练过程，步骤如下：以一个神经元为例，/是神经元对应的层数，其中/ =1,2,…,M，L表示对应层神经元数。