球面l1-正则化逼近模型及其应用研究
219455633_贝叶斯正则化在球面等效源法中的应用研究
第３８卷第２期２０２３年４月安㊀徽㊀工㊀程㊀大㊀学㊀学㊀报J o u r n a l o fA n h u i P o l y t e c h n i cU n i v e r s i t y V o l ．３８N o ．２A pr ．２０２３文章编号:１６７２Ｇ２４７７(２０２３)０２Ｇ００８９Ｇ０６收稿日期:２０２２Ｇ０６Ｇ２０㊀基金项目:国家自然科学基金资助项目(６１４７１００３);安徽省教育厅自然科学基金资助项目(K J ２０２０A ０４８４);安徽高校学科(专业)拔尖人才学术基金资助项目(G X B J Z D ２０２１０６６)作者简介:赵㊀越(１９９８Ｇ),女,安徽池州人,硕士研究生.通信作者:张学勇(１９７４Ｇ),男,安徽合肥人,教授,博士.贝叶斯正则化在球面等效源法中的应用研究赵㊀越１,２,张学勇１,２,３∗(１．安徽建筑大学数理学院,安徽合肥㊀２３０６０１;２．安徽省建筑声环境重点实验室,安徽合肥㊀２３０６０１;３．安徽建筑大学声学研究所,安徽合肥㊀２３０６０１)摘要:为拓宽空心球阵列的应用场景,提高三维空间声场重构精度,本文开展空心球阵列结合球面等效源方法的声场重建研究.在近场条件下,由空心球阵列采集到三维空间的声场信息,结合球面等效源法,对声场重构中存在的逆问题所常用的广义交叉验证正则化参数选择方法,提出贝叶斯正则化,并利用MA T L A B 对两种正则化方法的重建结果进行对比.分别探讨了两种正则化方法在不同声源距离㊁声源频率㊁重构球面半径和信噪比情况下对声场重建精度的影响.结果表明,贝叶斯正则化在基于空心球阵列的三维空间声场重建中具有明显优势.关㊀键㊀词:空心球阵列;等效源法;贝叶斯正则化;广义交叉验证;球面近场声全息中图分类号:O ４２９㊀㊀㊀㊀文献标志码:A声场重构是噪声源精准识别与定位的关键技术[１],目前声场重构技术一般是由所选择的麦克风阵列和声全息方法结合实施[２].空心球阵列[３]测量成本低且与测量声场之间的相互作用小.基于球面等效源法(S p h e r i c a l E q u i v a l e n t S o u r c eM e t h o d ,S ＧE S M )[４]的近场声全息技术[５]不仅扩大了声场重建区域,同时适用于任何声源结构,对三维空间声场重构精度更高.但在运用S ＧE S M 时,等效源数目远大于阵列传声器数目,这导致运用等效源强信息进行声场重构时,传递矩阵条件数过大,使矩阵方程不适定,为了得到不适定逆问题的精确解,通常需要加入正则化方法.经典T i k h o n o v 正则化方法[６]的核心是最优正则化参数的选取[７],其参数的选取方法有l Ｇc u r v e 法[８]㊁B a ye s i a n 正则化[９]和广义交叉验证(G e n e r a l i z e dC r o s s V a l i d a t i o n ,G C V )[１０]等.近年来,李敏宗等[２]在三维封闭空间中采用T i k h o n o v 正则化方法结合G C V 准则作为声场重构的最优正则化参数处理方式;平国力等[４,９]将B a y e s i a n 正则化㊁l Ｇc u r v e 曲线法㊁G C V 和H a l d 正则化公式在基于等效源法的近场声全息中进行比较,总结了B a y e s i a n 正则化的优越性.本文采用空心球阵列结合S ＧE S M 实现三维空间声场重构,通过MA T L A B 仿真比较了G C V 和B a y e s i a n 正则化参数选择方法在不同声源距离㊁声源频率㊁重构球面半径和信噪比下的三维空间声场重建精度,结果表明B a ye s i a n 正则化参数选择方法在三维空间声场重建性能上具有优越性.图１㊀笛卡尔坐标系与球坐标系关系图１㊀声场重建基本理论１．１㊀空心球阵列测量理论在笛卡尔坐标系中,空间中任意一点用(x ,y ,z )表示;在球坐标系中,以空心球阵列的中心为坐标原点,任意一点的位置可用(r ,θ,φ)表示.其中r 表示该点到原点的距离,θ(０＜θ＜π)为仰角,φ(０＜φ＜２π)为方位角.具体的关系如图１所示.在球坐标系下,球面上的任何压力分布都可以展开为正交球面谐波之和,即通用的球谐函数,其表达式为:Copyright ©博看网. All Rights Reserved.０９ 安㊀徽㊀工㊀程㊀大㊀学㊀学㊀报第３８卷Y m n(θ,φ)＝(２n＋１)(n－m)!４π(n＋m)!P m n(c o sθ)e j mφ,(１)式中,m为球谐函数的阶;n为球谐函数的次;P m n为m阶n次的连带勒让德函数;e j mφ为时间因子,j＝－１.对于空心球形传声器阵列,各传声器按近似均匀分布,等距离的固定在阵列球面上,测量声源所辐射的声场信息[３].在三维空间中,将空心球阵列中心处于球坐标系原点处,并在模型假设中忽略阵列对声场的影响.对于(r s,θs,φs)处的单极子点声源所辐射的入射波,此时位于空间中任意一点处的声压可表示为[２,１１]:p(r)＝－i k２ρc Q sðNңɕn＝０j n(k r)h n(k r)ðn m＝－n Y m n(θ,φ)Y m n(θs,φs)∗,(２)式中,r＝(r,θ,φ)为空间中任一点的坐标;k为波数,即角频率与声速c之比;ρ为介质的密度;Q s为入射波强度;j n( )为第一类球贝塞尔函数;h n( )为第一类球汉克尔函数;( )∗为复共轭;N为球谐函数的截止项数,已有研究表明[２],基于６４通道的空心球阵列,在中低频时最优截止项数取７,可得到良好的重构性能.１．２㊀基于SＧE S M的近场声全息理论在近场声全息理论中,等效源法结合空心球形传声器阵列的声场重构组合称为球面等效源法.其等效源强的求解通过阵列采集的声压数据和传递函数求出.在三维空间中,假设阵列对声场不产生影响,则由球面等效源法可得阵列表面上任一点的声压为:p(r)＝jρc kðY i＝１q(r i)G(r,r i),(３)式中,ρ表示空气密度;q(r i)为(r e,θe,φe)处的第i个等效源强度;G(r,r i)为自由场格林函数[１２].其球谐函数扩展形式为:G(r,r i)＝e j k|r－r i|４π|r－r i|＝－j kðɕn＝０ðn m＝－n j n(k r)h n(k r i)Y m n(Ω)Y m n(Ωi)∗,(４)通过在阵列上布置X个采样点,在声源内部或背离声源表面放置Y个等效源,此时全息面上所测得声压的矩阵表达式为:P h＝G Q,(５)式中,P h为阵列上X个传声器所测声压组成的列向量;Q为Y个等效源强所组成的列向量;G为传递矩阵[１３].而在实际测量过程中,等效源数量往往多于阵列数目,即Y＞X,这使得上述方程是欠定的,故在声源重构这一逆问题中,会导致解的不适定性,为解决这一问题.重构过程中运用T i k h o n o v正则化方法[６],此时上述方程的正则化解可表示为:Q＝(G H G＋λ２I)－１G H P h,(６)式中,λ为需要求解的正则化参数;I为单位矩阵.基于以上形式,需对传递矩阵G进行奇异值分解,即:G＝U(XˑX)S(XˑY)V(YˑY),(７)式中,S为包含X个奇异值的矩阵;U为X阶酉矩阵;V为Y阶酉矩阵;将其带入上式中,等效源强度的正则化解可表示为:Q＝V(S H S＋λ２I)－１S H U H P h,(８) T i k h o n o v正则化方法的核心是正则化参数λ的选取.对于三维空间的声场重构,B a y e s i a n正则化和G C V都可用来进行正则化参数的选取,为得到最优正则化参数,需对这两种方法进行比较[７].１．３㊀正则化参数选择理论(１)G C V.在基于G C V的T i k h o n o v正则化方法中,假设全息面上的阵列点均不参与重建计算,此时构造的G C V函数为[７]:G(λ)＝ (G(G H G＋λI)－１G H－I)P h ２２(T r(I－G(G H G＋λI)－１G H))２,(９)Copyright©博看网. All Rights Reserved.式中,T r 为矩阵的迹,G C V 是一种后验误差估计方法,正则化参数λ在G (λ)取最小值时达到最优.(２)B a y e s i a n 正则化.B a y e s i a n 正则化的关键思想是将正则化设想为引入先验信息,以补偿测量过程中造成的信息损失.在贝叶斯方法的理论背景下,正则化参数的估计值通过极大化边际似然函数来获得.其最优正则化参数的选取方法是通过对联合概率密度函数边际化得到其最大化后验概率密度函数[λ２|p ],即:[λ２|p ]ɖðX x ＝１(U H P h )２s ２x ＋λ２æèçöø÷X －２ᵑX x ＝１(s ２x ＋λ２))－１,(１０)再对其取负对数,此时得到正则化参数的成本函数为[４]:λ２＝A r g m i n J (λ２)＝ðX x ＝１l n (s ２x ＋λ２)＋(X －２)l n １X ðXx ＝１|U H P h |s ２x ＋λ２æèçöø÷éëêêùûúú,(１１)正则化参数λ在J (λ２)取最小值时达到最优.２㊀仿真实验与分析为探究B a y e s i a n 正则化在三维空间声场重构中是否具有优越性和较佳的稳健性,本节通过数值仿真,比较在近场条件下,基于空心球阵列的球面等效源法中正则化参数选择方法:G C V 和B a y e s i a n 正则化,在不同声源距离㊁声源频率㊁重构球面半径和信噪比下的重建性能.并通过相对误差来评价G C V 和B a y e s i a n 正则化的重建性能.定义相对误差为:e r r ＝P １－P ２ ２ P １ ２ˑ１００％,(１２)式中,P １为重建面上的理论声压;P ２为重建面上的重建声压.２．１㊀声源距离和频率对重建结果的影响(１)仿真条件.通过布置一个体积速度为１０－４m ３/s 的单极子点声源位于源面中心,设置源面中心分别距坐标原点０ ４８㊁０ ５８㊁０ ６８m 处,声源频率在１００~４０００H z 以１００H z 为步长进行仿真;声源的辐射声场采用一空心球阵列测量,该阵列有６４个传声器,各传声器之间按照近似均匀分布,等距离地布置在半径为０ ３８m 的球面上,并以阵列中心为坐标原点;等效源面由２１ˑ２１个等效点源组成,近似均匀地分布在源面后方０ ０１m 处(避免计算出现奇异);重建面位于空心球阵列与等效源面之间,据阵列中心０ ３８m处.在实际测量过程中,可能存在由各个方面带来的噪声影响,故仿真时加入３０d B 的高斯白噪声.(２)仿真结果及分析.当声源位置分别位于０ ４８㊁０ ５８㊁０ ６８m 处时,G C V 和B a y e s i a n 正则化在不同声源频率下的重建误差如图２~４所示.从仿真结果可以看出,声源频率在１２００H z 以下时,G C V 和B a y e s i a n 正则化均保持良好的重建结果,相对误差均保持在５％以下.随着声源距离的增大㊁频率的增加,相对误差也随之增大,这验证了S ＧN A H 适用于小全息和中低频环境下的声场重建.总体来看,B a y e s i a n 正则化的重建结果较GC V 波动幅度小㊁重建误差更小,重建性能也更优异.B a y e s i a n 正则化在整个频段内重建误差均保持在１４％以下,并且随着频率的增大逐渐趋于稳定,可见该方法稳健性较佳.图２㊀声源位置位于０ ４８m 处图３㊀声源位置位于０ ５８m 处１９ 第２期赵㊀越,等:贝叶斯正则化在球面等效源法中的应用研究Copyright ©博看网. All Rights Reserved.㊀㊀㊀图４㊀声源位置位于０ ６８m 处２．２㊀重构球面半径对重建结果的影响(１)仿真条件.在２．１(１)的基础上,选取声源频率为１０００H z 和２０００H z 时;设置源面中心分别距坐标原点０ ４８m 和０ ５８m 处;重建面位于空心球阵列与等效源面之间,分别据阵列中心０ ３８~０ ４８m 和０ ３８~０ ５８m 以０ ０１m 为步长进行仿真.(２)仿真结果及分析.在固定声源位置和声源频率下,G C V 和B a y e s i a n 正则化在不同重构球面半径下的重建误差如图５~８所示.从仿真结果可以看出,当声源位置相同时,声源频率越高,重建误差越大;声源频率相同时,随着重构球面半径的增大,重建误差呈现上升趋势,并在靠近声源处,呈现下降趋势.综合看来,在低频近场条件下,G C V 和B a ye s i a n 正则化参数选择方法的重建结果均达到最佳.相比而言,B a y e s i a n 正则化在每个条件下的重建相对误差均比G C V 的小,这体现出了B a ye s Ｇi a n 正则化较G C V 的优越性.图５㊀声源位置位于０ ４８m 处,f ＝１０００H z 图６㊀声源位置位于０ ４８m 处,f ＝２０００Hz 图７㊀声源位置位于０ ５８m 处,f ＝１０００H z 图８㊀声源位置位于０ ５８m 处,f ＝２０００H z ２．３㊀信噪比对重建结果的影响(１)仿真条件.在２．１(１)和２．２(１)的基础上,选取声源频率为８００H z 时;设置源面中心距坐标原点０ ４８m 处;重建面据阵列中心０ ３８m 处.信噪比设置为２０~６０d B 以５d B 为步长增长,并选取信噪比分别为２０d B 和６０d B 时,理论与重建结果进行比较.(２)仿真结果及分析.不同信噪比下两种参数选择方法相对误差如表１所示.由表１可以看出,在低频近场条件下,随着信噪比的升高,重建误差逐渐减小,这是因为信噪比越高时,抑制噪声的能力就越强,重建效果也就越好.在２０d B 和６０d B 时理论声压级与两种方法重建声压级分别见图９㊁１０和图１１~１４,可见在高信噪比条件下,两种正则化参数选择方法的重建结果均良好;而在低信噪比情况下,G C V 重建的性能并不是很稳定,在信噪比越低的时候,效果越不好,B a y e s i a n 正则化较G C V 仍保持一个良好的重建性能.因此,B a y e s i a n 正则化参数选择方法具有明显优势. ２９ 安㊀徽㊀工㊀程㊀大㊀学㊀学㊀报第３８卷Copyright ©博看网. All Rights Reserved.表１㊀不同信噪比下两种参数选择方法相对误差表(f ＝８００H z )方法信噪比２０d B ２５d B ３０d B ３５d B ４０d B４５d B ５０d B ５５d B ６０d BG C V /％１．８１６５１．７５０２１．６９１７１．６３１８１．５２３２１．４９１１１．３７１５１．２３１８１．０５５８B a y e s i a n 正则化/％１．２７８０１．２５１４１．１６７８１．１５２３１．１４７５１．０７１００．９８０１０．９３２７０．８８２９图９㊀６０d B 时理论声压级图１０㊀２０d B时理论声压级图１１㊀６０d B 时G C V 重建声压级图１２㊀２０d B 时G C V重建声压级图１３㊀６０d B 时B a y e s i a n 重建声压级图１４㊀２０d B 时B a ye s i a n 重建声压级３㊀结论通过空心球阵列结合球面等效源方法,验证了运用G C V 和B a ye s i a n 正则化参数选择方法的三维空间声场重建结果.仿真和实验结果表明,在不同声源距离和声源频率以及在不同重构球面半径和信噪比情况下,应用B a y e s i a n 正则化都比G C V 声场重建结果好,稳健性也更佳.因此,将B a y e s i a n 正则化应用到基于空心球阵列的三维声场重建中,更具优越性.随着研究的深入,也可以应用到更多的场景,这将进一步拓宽空心球阵列的应用范围.３９ 第２期赵㊀越,等:贝叶斯正则化在球面等效源法中的应用研究Copyright ©博看网. All Rights Reserved.４９ 安㊀徽㊀工㊀程㊀大㊀学㊀学㊀报第３８卷参考文献:[１]㊀肖友洪,陈艺凡,班海波,等．低信噪比环境下声场重建的正则化方法改进[J]．哈尔滨工程大学学报,２０２０,４１(１１):１６５７Ｇ１６６２．[２]㊀李敏宗．球面声全息重构三维封闭空间声场的方法研究[D]．杭州:浙江工业大学,２０１５．[３]㊀HU Y,L UJ,Q I U X．A m a x i m u ml i k e l i h o o dd i r e c t i o no f a r r i v a l e s t i m a t i o nm e t h o d f o r o p e nＧs p h e r em i c r o p h o n e a r r a y si n t h e s p h e r i c a l h a r m o n i c d o m a i n[J]．J o u r n a l o f t h e a c o u s t i c a l s o c i e t y o fA m e r i c a,２０１５,１３８(２):７９１．[４]㊀平国力．基于稀疏表征的球面阵声源识别理论及算法研究[D]．重庆:重庆大学,２０１９．[５]㊀冯叶飞．球面近场声全息声场重构系统的研究和开发[D]．杭州:浙江工业大学,２０１５．[６]㊀蔡鹏飞,陈德兵,姚波,等．等效源法声全息中求解正则化参数的一种新方法[J]．客车技术与研究,２０１６,３８(４):５．[７]㊀谭大艺．等效源法近场声全息声源识别性能改进研究[D]．重庆:重庆大学,２０２０．[８]㊀X I A O Y,S O N GQ,L I S,e t a l．C o m p a r i s o n s o f r e g u l a r i z a t i o nm e t h o d s a n d r e g u l a r i z a t i o n p a r a m e t e r s e l e c t i o nm e t h o d s i n s o u n d s o u r c e i d e n t i f i c a t i o nu s i n g i n v e r s eb o u n d a r y e l e m e n tm e t h o d[J]．N o i s e c o n t r o l e n g i n e e r i n g j o u r n a l,２０１９,６７(３):２１９Ｇ２２７．[９]㊀Y A N G Y,P I N G G,C A IP,e t a l．A p p l i c a t i o no f b a y e s i a n r e g u l a r i z a t i o n c r i t e r i o n i nn e a r f i e l d a c o u s t i c h o l o g r a p h y b a s e d o ne q u i v a l e n t s o u r c em e t h o d[J]．N o i s e a n dv i b r a t i o nw o r l d w i d e,２０１５,４６(６):２０Ｇ２８．[１０]李瑞彪,何琳,卜文俊,等．不同正则化方法在船舶辐射噪声计算中对比与试验研究[J]．振动与冲击,２０２１,４０(１６):１５１Ｇ１５８．[１１]王玥．基于统计最优和等效源法的近场声全息方法研究[D]．哈尔滨:哈尔滨工程大学,２０２１．[１２]刘延善,曾向阳,王海涛．封闭空间声场重构的多层等效源法[J]．声学学报,２０２０,４５(３):３６７Ｇ３７６．[１３]王庆华．基于等效源法的声源识别与声场分离算法改进[D]．重庆:重庆大学,２０１８．A p p l i c a t i o no fB a y e s i a nR e g u l a r i z a t i o n I nS p h e r i c a l E q u i v a l e n t S o u r c eM e t h o dZ H A O Y u e１,２,Z H A N G X u e y o n g１,２,３(１．S c h o o l o fM a t h e m a t i c s a n dP h y s i c s,A n h u i J i a n z h uU n i v e r s i t y,H e f e i２３０６０１,C h i n a;２．K e y L a b o r a t o r y o fA r c h i t e c t u r a lA c o u s t i cE n v i r o n m e n t o fA n h u i,H e f e i２３０６０１,C h i n a;３．I n s t i t u t e o fA c o u s t i c s,A n h u i J i a n z h uU n i v e r s i t y,H e f e i２３０６０１,C h i n a)A b s t r a c t:I no r d e r t ob r o a d e n t h e a p p l i c a t i o n so f o p e nＧs p h e r ea r r a y sa n d i m p r o v e t h e s o u n d f i e l dr e c o nＧs t r u c t i o na c c u r a c y o f t h r e eＧd i m e n s i o n a l s p a c e,t h e s o u n d f i e l dr e c o n s t r u c t i o n m e t h o do f o p e nＧs p h e r ea rＧr a y s c o m b i n e d w i t hs p h e r i c a l e q u i v a l e n ts o u r c e m e t h o di sa d o p t e d．U n d e rt h en e a rＧf i e l dc o n d i t i o n,t h e s o u n d f i e l d i n f o r m a t i o n i n t h r e eＧd i m e n s i o n a l s p a c e i s c o l l e c t e db y t h e o p e nＧs p h e r e a r r a y s,c o m b i n e dw i t h t h e s p h e r i c a l e q u i v a l e n t s o u r c em e t h o d,B a y e s i a nr e g u l a r i z a t i o n i s p r o p o s e df o r t h e p a r a m e t e rs e l e c t i o n m e t h o do f g e n e r a l i z e d c r o s s v a l i d a t i o nr e g u l a r i z a t i o nc o mm o n l y u s e d i n i n v e r s e p r o b l e m so f s o u n d f i e l d r e c o n s t r u c t i o n,t h e r e c o n s t r u c t i o n r e s u l t s o f t h e t w o r e g u l a r i z a t i o nm e t h o d s a r e c o m p a r e db y MA T L A B．T h e e f f e c t s o f t h e t w o r e g u l a r i z a t i o nm e t h o d s o n t h e a c c u r a c y o f s o u n d f i e l d r e c o n s t r u c t i o nu n d e r d i f f e rＧe n t s o u n ds o u r c ed i s t a n c e s,s o u n ds o u r c e f r e q u e n c i e s,r e c o n s t r u c t e ds p h e r i c a l r a d i u sa n ds i g n a lＧt oＧn o i s e r a t i o a r e d i s c u s s e d r e s p e c t i v e l y．T h e r e s u l t s s h o wt h a tB a y e s i a n r e g u l a r i z a t i o nh a s o b v i o u s a d v a n t a g e s i n t h r e eＧd i m e n s i o n a l s o u n d f i e l d r e c o n s t r u c t i o nb a s e do no p e nＧs p h e r e a r r a y s．K e y w o r d s:o p e nＧs p h e r e a r r a y s;e q u i v a l e n t s o u r c em e t h o d;B a y e s i a n r e g u l a r i z a t i o n;g e n e r a l i z e dc r o s s v a l iＧd a t i o n;s p h e r i c a lN e a rＧf i e l d a c o u s t i c h o l o g r a p h yCopyright©博看网. All Rights Reserved.。
L1和L2正则化
L1和L2正则化L1正则化与稀疏性稀疏性说⽩了就是模型的很多参数是0。
这相当于对模型进⾏了⼀次特征选择，只留下⼀些⽐较重要的特征，提⾼模型的泛化能⼒，降低过拟合的可能。
正则化通过降低复杂模型的复杂度来防⽌过拟合的规则被称为正则化！正则化⽅法是在经验风险或者经验损失\(L_{e m p}\)（emprirical loss）上加上⼀个结构化风险，我们的结构化风险⽤参数范数惩罚，⽤来限制模型的学习能⼒、通过防⽌过拟合来提⾼泛化能⼒。
L1正则化（Lasso回归）：通过对损失函数加上所有权重值的绝对值来惩罚损失函数；\[J=J_{0}+\alpha \sum_{w}|w| \]L2正则化（岭回归）：通过对损失函数加上所有权重值的平⽅来惩罚失函数！\[J=J_{0}+\alpha \sum_{w} w^{2} \]⾓度1：解空间形状在⼆维的情况下，黄⾊的部分是L2和L1正则项约束后的解空间，绿⾊的等⾼线是凸优化问题中⽬标函数的等⾼线。
L2正则项约束后的解空间是圆形，⽽L1正则项约束的解空间是菱形。
显然，菱形的解空间更容易在尖⾓处与等⾼线碰撞出稀疏解。
L1正则化等价于在原优化⽬标函数中增加约束条件：\(\|w\|_{1} \leq C\)L2正则化等价于在原优化⽬标函数中增加约束条件：\(\|w\|_{2}^{2} \leq C\)L2正则化相当于为参数定义了⼀个圆形的解空间，⽽L1正则化相当于为参数定义了⼀个菱形的解空间。
如果原问题⽬标函数的最优解不是恰好落在解空间内，那么约束条件下的最优解⼀定是在解空间的边界上，⽽L1“棱⾓分明”的解空间显然更容易与⽬标函数等⾼线在⾓点碰撞，从⽽产⽣稀疏解。
⾓度2：函数叠加仅考虑⼀维的情况，多维情况是类似的。
假设棕线是原始⽬标函数\(L(w)\)的曲线图，显然最⼩值点在蓝点处，且对应的\(w*\)值⾮0。
考虑加上L2正则化项，⽬标函数变成\(L(w)+C w^{2}\)，其函数曲线为黄⾊。
L1正则化机器学习问题求解分析
［ ｓｒｃ］ ｏｄ ａｗｉ ｅｎｗ ｍｅ ｎ ａｅｃａｌｎ ｅ ｆｈ ｃ ｉｅｌａｎｎ ｒｂｅ ａｇ ｒｈ ｏ ｌｒｅｓａｅ ａａ ｔｉｐ ｐｒ ｏｕ ｅ ｎ Ａｂ ｔａ ｔ Ｔ ｅｌ ｔ ｔ ｅ ｔ ｄｓ ｃ ｌ ｇ ｓ ｅ ｈｈ ｉ ａ ｐ ｈ ｅ ｏ ｔ ｍａｈｎ ｒｉｇｐｏ ｌｍ ｌｏｉ ｍｓｒｍ ｇ ｌ ｔ，ｈｓ ａｅ ｃ ｓｓｏ ｅ ｔ ｆ ａ ｃ ｄ ｆ
’“ ａ ｍｎ ‘ ｗ— ＋ １ （ Ｊ ＝ ｒ ｉＬ １ ｗ １ ． ｗ） ｇ ｛ Ｉ ， ２ ｝
（ 可 以取 Ｌ１ ２ 以及 Ｌｏ ｗ） 、Ｌ ｏ 正则 化项 。Ｆ Ｂ Ｏ ＯＳ
ｆ １
１
第１ 步是标 准的 Ｓ ＧＤ方法 ， ２步在最小化正则化项的同时 第 保持尽可能 靠近第 １ 的解向量。文献【】 步 ６进一步给出了算法
法 即是收敛 的。同时 ，在保证算法收敛 的前提 下 ，收敛速 度 的快慢 也是必须考虑的。 “ 多步骤（ ｌ—ｔ ） ｍｕｔｓ ｐ”与 “ ｉｅ 多阶段（ ｌ—ｔｇ） ｍｕｔ ｓ ｅ”是 当前 ｉａ 机器学 习界 出现频率较高 的词汇 。对于迭代算法而言 ，所谓 多步骤算法 ，即把问题的求解划分成若干规模很小的子 问题 来解决 。单步计算代价小 ，但 迭代 次数多 ，如最速下降法采
的收敛性分析和 ｒｇｅ 界 ，从而给算法奠定 了坚实 的理论基 ｅｒｔ 础。当取 Ｌ ｌ正则化项 时， ２步具有解析解 ， 第 算法具有了稀 疏性。
的解确实具有稀疏性 ，在一 定条件下 ， 正则化确实可 以求 Ｌ１ 解特征稀疏 问题 。事实上 ，Ｌ１正则化 的最小 二乘回归 问题
（Ａ Ｓ ） Ｌ Ｓ Ｏ最早是在信号处理领域提出的。其稀疏解对于 信号／
问题 ：
１
L1和L2正则化原理及分析
L1和L2正则化原理及分析在介绍正则化原理之前，首先需要了解一下过拟合问题。
过拟合是指模型在训练数据上表现良好，但在测试数据上表现较差的现象。
过拟合通常发生在模型过于复杂的情况下，模型会记住训练数据中的每一个细节，导致对新的数据缺乏泛化能力。
L1正则化（也称为Lasso正则化）的原理是在损失函数中增加参数的L1范数（绝对值之和）作为正则化项。
L1正则化能够使得模型的参数稀疏化，即将一部分参数设置为0，从而达到特征选择的效果。
这是因为L1正则化的几何解释是正则项的等值线是一个菱形，菱形的顶点就是参数为0的点，而L1范数的范围圆角，更容易产生参数为0的情况。
L1正则化的数学表达式如下：\[\lambda\，W\，_1\]其中，\(\lambda\)是正则化参数，控制正则化的强度，\(W\)是模型的参数。
L2正则化（也称为Ridge正则化）的原理是在损失函数中增加参数的L2范数（平方和的开平方）作为正则化项。
L2正则化通过对参数的平方惩罚，使得参数尽量小，进而降低模型的复杂程度。
与L1正则化不同，L2正则化的等值线是一个圆形，更容易产生参数接近于0的情况。
L2正则化的数学表达式如下：\[\lambda\，W\，_2^2\]其中，\(\lambda\)是正则化参数，控制正则化的强度，\(W\)是模型的参数。
L1和L2正则化的选择主要取决于具体问题的特点。
一般来说，如果模型的特征很多，但只有少数特征对结果起到重要作用，那么就可以使用L1正则化进行特征选择。
而如果模型的特征不是很多，特征之间的关联性较大，那么可以使用L2正则化来减小参数的值，从而避免过拟合。
另外，L1和L2正则化还可以用于解决高维数据集的问题。
在高维数据集中，由于特征的维度很大，模型容易过拟合。
通过加入正则化项，可以缩小参数的解空间，从而降低模型的复杂度，提高模型的泛化能力。
总结起来，L1和L2正则化是常用的控制模型复杂度、防止过拟合的方法。
地球物理反演中的正则化技术分析
地球物理反演中的正则化技术分析地球物理反演是一种通过观测地球上各种现象和数据，来推断地球内部结构和物质分布的方法。
在地球物理反演中，由于观测数据的不完整性和不精确性，常常需要借助正则化技术来提高反演结果的可靠性和准确性。
正则化技术是一种以一定规则限制解的优化方法。
通过在反演过程中引入附加信息或者假设，正则化技术可以帮助减小反演问题的不确定性，提高解的稳定性和可靠性。
在地球物理反演中，正则化技术有多种应用。
下面将介绍几种常见的正则化技术，并对其进行分析和比较。
1. Tikhonov正则化Tikhonov正则化是一种基本的正则化技术，它通过在目标函数中加入一个范数约束来限制解的空间。
常见的约束可以是L1范数和L2范数。
L1范数可以使解具有稀疏性，即解中的大部分分量为零，适用于具有稀疏特性的反演问题。
而L2范数可以使解具有平滑性，适用于具有平滑特性的反演问题。
2. 主成分分析正则化主成分分析正则化是一种通过将反演问题映射到低维空间来减小问题的维度的正则化技术。
它可以通过选择重要的主成分来实现数据降维，从而减少反演问题的不确定性。
主成分分析正则化在处理高维数据时可以提高反演的效率和精度。
3. 奇异值正则化奇异值正则化是一种基于奇异值分解的正则化技术。
通过对反演问题进行奇异值分解，可以将问题分解为多个低维子问题，从而减小高维问题的不确定性。
奇异值正则化适用于非线性反演问题，可以提高反演结果的稳定性和可靠性。
4. 稀疏表示正则化稀疏表示正则化是一种基于稀疏表示理论的正则化技术。
它通过将反演问题转化为对系数矩阵的优化问题，并引入L1范数约束，使得解具有稀疏性。
稀疏表示正则化适用于信号重构和图像恢复等问题，并在地震勘探和地球成像中有广泛应用。
在选择正则化技术时，需要考虑问题的特性和数据的特点。
不同的正则化技术适用于不同的问题，并且各自具有一些优势和限制。
因此，根据问题的具体要求和数据的特征，选择合适的正则化技术可以提高反演结果的可靠性和准确性。
L1正则化和L2正则化有什么区别在模型训练中的作用是什么
L1正则化和L2正则化有什么区别在模型训练中的作用是什么L1正则化和L2正则化是机器学习领域中常用的正则化方法，它们在模型训练过程中起着重要的作用。
本文将深入探讨L1正则化和L2正则化的区别以及它们在模型训练中的作用。
第一章：L1正则化和L2正则化的原理及区别在介绍L1正则化和L2正则化之前，我们先简单回顾一下正则化的概念。
正则化是指在模型训练过程中为了防止过拟合而引入的一种惩罚项，通过向损失函数中添加正则化项来限制模型的复杂度，从而提高模型的泛化能力。
L1正则化和L2正则化分别是对模型参数的不同约束方式。
L1正则化通过向损失函数中添加参数的绝对值之和来限制模型参数的大小，其数学表达式为：L1(w) = ||w||_1，其中||w||_1表示参数向量w的L1范数。
而L2正则化则是通过向损失函数中添加参数的平方和来限制模型参数的大小，其数学表达式为：L2(w) = ||w||_2^2，其中||w||_2表示参数向量w的L2范数。
L1正则化和L2正则化的主要区别在于对模型参数的惩罚方式不同。
L1正则化会让部分参数变为0，从而实现特征选择的功能，即可以通过L1正则化将不重要的特征的权重置为0，从而达到特征筛选的效果；而L2正则化则会让所有参数都变小但不为0，能够更好地控制模型的复杂度。
第二章：L1正则化和L2正则化在模型训练中的作用L1正则化和L2正则化在模型训练中起着重要的作用，主要体现在以下几个方面：1. 防止过拟合：正则化可以有效地防止模型过拟合训练数据，提高模型的泛化能力。
L1正则化和L2正则化都是常用的正则化方法，可以通过控制模型参数的大小来避免模型在训练集上过度拟合，提高模型在测试集上的表现。
2. 特征选择：L1正则化可以实现特征选择的功能，即可以通过L1正则化将不重要的特征的权重置为0，从而达到特征筛选的效果。
这对于高维数据中选择最重要的特征变量非常有帮助，可以提高模型的解释性和泛化能力。
L1正则化问题的对偶性理论
L1正则化问题的对偶性理论吴焚供【摘要】L1 -regularization problem is a non-smooth unconstrained optimization problem,which is wide-ly used in the fields such as variable selection,data compression and image processing.Optimality con-ditions for the solution of L1 -regularization problem is given.And a Mond-Weir type dual problem for L1-regularization problem is formulated,by using these optimal conditions.Finally a weak duality theorem and a strong duality theorem are proved.%L1正则化问题是一个非光滑的无约束最优化问题，在变量选择，数据压缩和图像处理等领域有广泛的应用。
给出了 L1问题最优解存在的新的必要条件和充分条件，利用这些条件构造出 L1正则化问题的一个Mond-Weir 型对偶问题，最后给出了相应的弱对偶定理和强对偶定理。
【期刊名称】《中山大学学报（自然科学版）》【年(卷),期】2015(000)001【总页数】3页(P10-12)【关键词】L1 正则化;最优解;对偶问题【作者】吴焚供【作者单位】华南师范大学数学科学学院，广州广东 510631; 广东第二师范学院数学系，广州广东 510303【正文语种】中文【中图分类】O224正则化问题近年来备受关注，许多研究者考虑如下的Lp最小化问题其中f(x):Rn→R 为一光滑函数，ρ为一给定的非负正则化参数，p∈[0,1]，变量x∈Rn，‖x‖p为定义在Rn上的Lp拟范数，当0<p≤1时，定义当p=0时，定义‖即x中非零元的个数。
深度学习中的正则化方法
深度学习中的正则化方法深度学习作为人工智能领域的重要分支，已经取得了巨大的突破和应用。
然而，深度学习模型往往具有大量的参数和复杂的结构，容易出现过拟合的问题。
为了解决这个问题，研究者们提出了各种正则化方法，有效地提高了深度学习模型的泛化能力。
本文将介绍几种主要的正则化方法，并探讨其原理和应用。
一、L1正则化（L1 Regularization）L1正则化是一种常用的特征选择方法，它通过在损失函数中引入参数的绝对值之和来限制模型的复杂度。
具体来说，对于深度学习模型中的每个权重参数w，L1正则化的目标是最小化损失函数与λ乘以|w|的和。
其中，λ是一个正则化参数，用来平衡训练误差和正则化项的重要性。
L1正则化的优点是可以产生稀疏的权重模型，使得模型更加简洁和可解释性，但同时也容易产生不可导的点，对于一些复杂的深度学习模型应用有一定的限制。
二、L2正则化（L2 Regularization）与L1正则化不同，L2正则化通过在损失函数中引入参数的平方和来平衡模型的复杂度。
具体来说，对于深度学习模型中的每个权重参数w，L2正则化的目标是最小化损失函数与λ乘以|w|^2的和。
与L1正则化相比，L2正则化不会产生稀疏的权重模型，但能够减小权重的幅度，使得模型更加平滑和鲁棒。
L2正则化也常被称为权重衰减（Weight Decay），通过减小权重的大小来控制模型的复杂度。
三、Dropout正则化Dropout正则化是一种广泛应用于深度学习模型的正则化方法，通过在训练过程中随机将部分神经元的输出置为0来减小模型的复杂度。
具体来说，每个神经元的输出被设置为0的概率为p，而被保留的概率为1-p。
这样做的好处是能够迫使网络学习到多个不同的子网络，从而提高模型的泛化能力。
在测试模型时，通常会将所有神经元的输出乘以p来保持一致性。
四、Batch NormalizationBatch Normalization是一种通过对每一层的输入进行归一化处理来加速训练和提高模型的泛化能力的方法。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
36 2018，54（12）
Computer Engineering and Applications 计算机工程与应用
∑ ∫ 1
N
N j=1
p(xj) =
1 4π
S2 p(x)dω(x) ∀p ∈ P t
（2）
其中，dω(x) 是单位球面上的表面测度。显然，得到一
个球面 t -设计，就相当于得到一个对次数不超过 t 的多
1 引言
球面上的逼近问题具有广泛的应用背景，例如测量 地球表面的大气气流[1]、晶体结构[2]、静电学逼近[3]、球面 几 何 的 声 波 仿 真 [1]，热 辐 射 传 感 [4]，宇 宙 中 图 像 的 恢 复 [5] 和医疗图像重建[6]都是该问题的源泉。在数学上，上述 实际问题可以抽象为球面上的最优化问题[3]、偏微分方 程 [5]、积 分 方 程 [7]、样 条 逼 近 [1]、鞍 点 问 题 [8] 与 最 小 二 乘 问 题[9]等。
201854121引言球面上的逼近问题具有广泛的应用背景例如测量地球表面的大气气流1晶体结构2静电学逼近3球面几何的声波仿真1热辐射传感4宇宙中图像的恢复5和医疗图像重建6都是该问题的源泉
Computer Engineering and Applications 计算机工程与应用
2018，54（12） 35
本文选取适当次数 t 的球面 t -设计作为节点，其定
义如下：
定义 1[2] 称球面 S 2 上的点集 XN = {x1,x2,…,xN} ⊂
S 2 为球面 t -设计，如果其满足于对球面上所有次数不
超过 t 的多项式在 XN 上的值的算术平均值准确等于该 多项式在球面上积分的几何平均值，即 XN 满足：
Abstract：Based on variant regularization operators, this paper sets up a class of spherical l1 -regularization least squares approximation model. The algorithm is illustrated to solve this approximation problem by using well conditioned spherical t-design as sampling point sets. Finally, numerical experiments demonstrate the theoretical results can provide satisfactory approximation on the sphere, with or without the presence of data errors. Key words：spherical polynomial approximation; spherical t -design; l1 -regularization
在二维球面 S 2 上，文献[10]提出了在连续和离散情 况下带有旋转不变性的正则化球面最小二乘多项式逼 近，涵盖了球面多项式插值，超插值和过滤超插值等一 系列最小二乘模型[10]。
本文主要研究一类在二维单位球面S 2: = {x = (x,y,z)T ∈ ℝ3|x2 + y2 + z2 = 1 } 上带 l1 -正则项的最小二乘逼近模型：
基金项目：国家自然科学基金（No.11301222，No.11371173）；暨南大学科研培育与创新基金（No.21615453）。 作者简介：陈斯泳（1991—），男，硕士研究生，研究领域为数值最优化，高性能计算；安聪沛（1984—），通讯作者，男，博士，副教授，
研究领域为计算机应用技术，数值最优化，高性能计算，E-mail：tancpei@。 收稿日期：2017-04-26 修回日期：2017-07-03 文章编号：1002-8331（2018）12-0035-06 CNKI 网络出版：2017-10-23, /kcms/detail/11.2127.TP.20171023.1642.002.html
摘 要：基于不同的正则化算子的选取，建立了一类球面上带 l1 -正则项最小二乘逼近模型。通过选取好条件的球 面 t -设计点作为采样点，展示了求解此逼近问题的算法。最后，通过数值例子展现了满意的逼近效果—精确数据和 噪声污染的情形。 关键词：球面多项式逼近 ；球面 t -设计 ；l1 -正则化 文献标志码：A 中图分类号：O241.5 doi：10.3778/j.issn.1002-8331.1704-0357
项 式 准 确 成 立 的 数 值 积 分 公 式 。 在 本 文 中 ，假 定 节 点
XN 是 t ≥ 2L 且节点数满足 N = (t + 1)2 的球面 t -设计。
∑( ) ∑| | min
p ∈ PLຫໍສະໝຸດ ìí îN j=1
p(xj) - f (xj) 2 + λ N RL p(xj) üý
j=1
þ
（1）
其中，f 是给定的连续函数，且其在有 N 个点的点集
XN = {x1,x2,…,xN} ⊂ S 2 上的值是给定的（可能带有噪
声）；P L: = P L(S2) 是 ℝ3 中所有限定在球面上且次数小 于等于 L 的多项式所组成的线性空间；正则化算子 RL 为线性算子，λ > 0 为正则化参数。该模型根据节点 XN 和正则化算子 RL 的选取，可以变换出多种不同的形式。
CHEN Siyong, AN Congpei. Spherical l1 -regularization approximation model and its application. Computer Engineering and Applications, 2018, 54（12）：35-40.
⦾理论与研发⦾
球面 l1 -正则化逼近模型及其应用研究
陈斯泳，安聪沛
CHEN Siyong, AN Congpei
暨南大学 信息科学技术学院 数学系，广州 510632 Department of Mathematics, School of Information Science Technology, Jinan University, Guangzhou 510632, China