求矩阵方程AXB_C的双对称最小二乘解的迭代算法_尚丽娜
线性最小二乘法的矩阵解法

线性最⼩⼆乘法的矩阵解法1.公式推导PPT 参考⾃: ,矩阵解的具体推导过程。
其中残差函数矩阵 f (c) 求导的过程推导如下,需要⽤到矩阵求导的2.两种最⼩⼆乘法的平⾯拟合MATLAB 代码对⽐1)⽤传统的∑⽅式求平⾯⽅程z=ax + by + c 的参数1 function [ a,b,c ]=FitPlane( input_X , input_Y , input_Z)23 % FileName : FitPlane4 % CreatDate : 2018/7/105 % Describe : Least square fitting plane equation6 % OutputPara : a,b,c7 % Note : Plane equation: z=a*x+b*y+c8 % Author : wellp910 X1=0;Y1=0;Z1=0;X2=0;Y2=0;X1Y1=0;X1Z1=0;Y1Z1=0;11 num=length(input_X);12if num<3 % less than 3 points can't fit the plane13 a=-8888;14 b=-8888;15 c=-8888;16else17for i=1 : num18 X1=X1+input_X(i);19 Y1=Y1+input_Y(i);20 Z1=Z1+input_Z(i);21 X2=X2+input_X(i)^2;22 Y2=Y2+input_Y(i)^2;23 X1Y1=X1Y1+input_X(i)*input_Y(i);24 X1Z1=X1Z1+input_X(i)*input_Z(i);25 Y1Z1=Y1Z1+input_Y(i)*input_Z(i);26 end2728 N=num;29 C=N*X2-X1*X1;% X2!=X1*X1 !!!!!!!30 D=N*X1Y1-X1*Y1;31 E=-(N*X1Z1-X1*Z1);32 G=N*Y2-Y1*Y1;33 H=-(N*Y1Z1-Y1*Z1);3435 a=(H*D-E*G)/(C*G-D*D);36 b=(H*C-E*D)/(D*D-G*C);37 c=(Z1-a*X1-b*Y1)/N;3839 end40 endView Code2)⽤矩阵的形式求解同样的问题。
求一般线性矩阵方程组中心对称解的迭代算法

t% r (
证
一
tQ P) r Tj ( .
( 3 )
/ T , R
R 一 1 Q } ∑A ¨ N} B
:
●
2— 2 一 2— 一 2 — 2 一 2
, , ,I - . . . . . . .. . 。 I 。 。 . I. .
一。 。 1、 、 , I. . . .. . 。 . .I 、
Ⅳ ∑ A
Q
B
Ⅳ Ⅳ ∑ ∑ A
1 引言
矩 阵方程组 的求 解计算 及其 相关 的最佳逼 近 问题在结 构振动 设计 、参 数识别 、力学 、有 限元分 析 和线性 最优 控制等 应用 科学 领域 都有 重要 的应 用 .线性 矩 阵方 程组 的求 解算 法多 种多样 [ 6 变 形共 轭梯度 法 [ 6 是 其 中的有效 算法之 一 .本文 根据 变形共 轭梯 度法 的基 1] -, 4 ] - 本原理 ,对 其再做 相应 的变形 ,建立 了求一般 线性矩 阵方 程组 的中心对 称解 的迭代算 法,并 证明了迭 代算法 的收 敛性 . 文 中 I l 表示 矩 阵 的 Fo eis rbnu 范数 , R( ) 示矩 阵 的值域 , t( ) A表 rA 表示 方 阵 A 的迹 . e 表 示单位矩 阵 的第 i i 12 … , ) ,记 S= ( , 1… ,1, 。 (= ,, n 列 e e 一 , e)则有 S = , 。
ST = S
.
定义 若矩 阵 X ∈R 的元素 满足 Xj= X + ¨ 1 j(, l2 … , ) 则称 为 i nl 一 iJ= ,, n , 中心对 称 矩 阵,所 有 礼阶 中心对称 矩 阵的集合 记为 C R . S 对于 一般 的线性矩 阵方 程组 ,研 究下面 两个 问题. 问题 I 给 定 ∈R , ∈R × , )∈R m B 口FO ( = 12… , J一 1 2… , ) i ,, Ⅳ; ,, M ,
矩阵方程a^txa—d的反对称次对称最小二乘解

矩阵方程a^txa—d的反对称次对称最小二乘解矩阵方程在现代数学领域是一个重要的研究主题。
它比较广泛的应用于工程、物理学和经济学等领域。
一个重要的矩阵方程是a^txad,其中a是mxn的矩阵(m<n),x是nxn的未知矩阵,d是m维的未知常数。
所谓“反对称次对称最小二乘解”就是求解a^txad的最小二乘解。
这里有几点要注意:
首先,矩阵方程a^txad是一个非线性方程,其中a^txa是一个反对称次对称矩阵。
因此,构造解决反对称次对称最小二乘解的方法应考虑矩阵的反对称次对称性。
其次,由于矩阵有反对称次对称性,所以a可以被分解为a=uv,其中u和v是mxm和nxn的反对称次对称矩阵。
因此,矩阵方程a^txad 可以转化为uv^txuvd,这就是反对称次对称最小二乘解的标准形式。
第三,由于反对称次对称最小二乘解的标准形式是uv^txuvd,因此可以采用特征值分解法将矩阵分解为特征矩阵和特征向量,并结合反对称次对称特征值定理,对矩阵方程uv^txuvd求解。
最后,可以采用最小二乘法或最小绝对值法求解反对称次对称最小二乘解。
首先,通过特征值分解法得到矩阵的特征矩阵和特征向量,然后构建一个nxm的矩阵b,其中每一行表示一个特征值对应的特征向量,然后将b作为解的近似,并使用最小二乘法或最小绝对值法搜索出解。
总结起来,反对称次对称最小二乘解是将矩阵方程a^txad转换为uv^txuvd,然后使用特征值分解法分解矩阵,结合反对称次对称
特征值定理,构造一个nxm矩阵,再利用最小二乘法或最小绝对值法来求反对称次对称最小二乘解。
这是一种有效的推导矩阵方程解的方法,在求解反对称次对称最小二乘解时有着很好的结果。
矩阵方程AXB=C

矩阵方程C AXB =的定秩解及其最佳逼近问题第1章 绪论对于矩阵方程C AXB T =,刘瑞娟]2[利用矩阵对的商奇异值分解,得到了解非空的充要条件和解的最大(小)秩.1955年Penrose ]5[得到了C AXB =有解的充要条件和通解的表达式;1970年Lnacaster ]6[利用Kornecker 乘积和拉直映射也得到了它的一般解的条件和显式解;1976年,S.K.Mitra ]7[研究了它的Hermitian 解及非负定解的条件,并给出了两种解的表达式;1990年,戴华]8[研究了此方程在对称矩阵集合中的求解问题,利用矩阵对的广义奇异值分解得到了问题有对称解的条件和解的表达式;邓远北、彭向阳、雷渊]129[-等系统地研究了此方程在对称化矩阵、(反)对称矩阵、半正定矩阵、正交(反)对称矩阵、(反)自反矩阵集合中的等式约束解以及最小二乘解;2003年,廖安平]13[利用广义奇异值分解研究了它在对称半正定矩阵集合中的最小二乘解;2004年,彭亚新]14[用迭代法系统地研究了矩阵方程C AXB =的一般解 对称解 (反)中心对称解 (反)自反解 双对称解与对称次反对称解等问题.对于矩阵方程的定秩解问题及其最佳逼近,1972年,S .K .Mitra ]16[提出了线性矩阵方程(组)的定秩求解问题;于1984年,Sujit Kumar Mitra ]17[利用空间有关理论及秩的相关不等式,给出了矩阵方程组D XB C AX ==, 的极小秩及其它定秩的通解;Uhlig ]18[于1987年给出了矩阵方程 B AX =的可能秩的解;于1990年Mitra ]15[研究了矩阵方程组111C XB A = ,222C XB A = 的公共解的最小秩;Gross ]19[使用了广义逆给出了矩阵方程 B AXA =*的最大秩和最小秩的Hermitian 非负定解;Xiao Q F,Hu X Y,Zhang L ]35[于2009年研究了矩阵方程B AX =的对称最小秩解和最佳逼近解;2007年,雷渊]12[利用矩阵对的广义奇异值分解和标准相关分解研究了以下不相容矩阵方程和矩阵方组D AXB =,D BYB AXA T T =+ , [][]D C XB B XA A T T ,,= , [][]D C GXH AXB ,,=的最小二乘问题等价转换为相容矩阵方程的求解问题,并得到了相应的最小二乘解的表达式;于2009年,肖庆丰]4[对矩阵对利用广义奇异值分解,研究了矩阵方程B AX =的自反、反自反、中心对称、反中心对称矩阵的定秩求解的问题及最小秩解的最佳逼近问题,还研究了矩阵方程 B AX = 的对称、反对称矩阵反问题的定秩求解问题,并得到了相应的成果.第2章 秩约束下矩阵方程C AXB =的一般解及其最佳逼近 2.1引言秩约束下矩阵的求解问题是线性代数的重要研究课题之一.关于矩阵方程C AXB =的在秩约束下的一般解、最小秩和最小秩解的通式及其最佳逼近解、最大秩和最大秩解的通式.本章采用了RSVD 分解,对矩阵方程C AXB =的一般解的秩的情况进行了详细的分析,成功地获取了解的最大(小)秩及其定秩解的表达式.利用相应的结果,也获得了最小秩解的表达式和唯一最佳逼近解的表达式.2.2 提出问题问题I 给定矩阵m m m n n m R C R B R A ⨯⨯⨯∈∈∈,,,非负整数s ,(i)求n n R X ⨯∈,使得C AXB =,且s X rank =)(; (ii)若有解,设X S }|{C AXB RX nn =∈=⨯,求M m ,~使得)(max ),(min ~X rank M X rank m XXS X S X ∈∈==,以及},)(|{~~X mS X m X rank X S ∈==.问题II 给定nn RX ⨯*∈,求~~m S X ∈使得||||min ||||~*∈*-=-X X X X mS X2.3 解决问题 2.3.1问题Ⅰ的解给定矩阵m m m n n m R C R B R A ⨯⨯⨯∈∈∈,,,记:)(),(),(C rank r B rank r A rank r c b a ===[]⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡==0,,B A Crank r B C rank r A Crank r cab cb ca cab b ca b a cab r r r k r r r k -+=--=21,cb ca cab c cab a cb r r r r k r r r k --+=-+=43,引理 2.3.1 (RSVD 定理]1[)给定矩阵m m m n n m R C R B R A ⨯⨯⨯∈∈∈,,,则存在非奇异矩阵m m m m R N R M ⨯⨯∈∈,及正交矩阵n n n n OR V OR U ⨯⨯∈∈,,使得N M C N V B U M A C B T A ∑∑∑===,, (1.1)其中ca c ca r r k k r n Ar m r r k k k k I I I c ca a--⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=--∑432143000000000000000000000,c cb b r m r r k k k k B r r k k r m I I I cb c cb --⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎣⎡=∑--4243210000000000000000000, ca cca r m r r k k k k CAB Cr m r r k k k k S I I I cb ccb --⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=--∑4321432100000000000000000000000000000, 其中0},,,{44211>≥≥≥=k k CAB diag S σσσσσ . 于是有如下定理:定理2.3.1 设矩阵m m m n n m R C R B R A ⨯⨯⨯∈∈∈,,分解如引理1,非负整数s ,则矩阵方程C AXB =有解n n R X ⨯∈的充要条件是:⎪⎩⎪⎨⎧=-+=-+=--⎪⎩⎪⎨⎧===000,000321caba cb cab b ca b a cab r r r r r r r r r k k k 即, (1.2) 若矩阵方程C AXB =有解,则有(1) 矩阵方程C AXB =的通解表达式为:T CAB V Y S Y Y Y Y U X ⎥⎥⎥⎥⎦⎢⎢⎢⎢⎣=0004131141311, (1.3) 其中4131141311,,,,Y Y Y Y Y 是具有相应维数的任意矩阵,CAB S V U ,,见引理1.(2) 矩阵方程C AXB =的解矩阵中最小秩及最小秩解为:最小秩为=~m cb ca cab c r r r r --+, (1.4) 且最小秩解为:T CAB CAB V S Y Y Y S Y U X ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=-00000311313131, (1.5) 其中3113,Y Y 是具有相应维数的任意矩阵,V U S CAB ,,见引理1.(3) 矩阵方程C AXB =的解矩阵中最大秩及最大秩解为: 最大秩为,要考虑两种情况:第一,当},m in{},m in{},m in{b cb c c ca c c c r r r n r r r m r m r n --+--≥--时, },min{)(max 1c c cb ca cab c S X r m r n r r r r X rank M X--+--+==∈, (1.6)且相应的最大秩解为:T CAB V Y S Y Y Y Y U X ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0004131141311, (1.7) 其中,4114,Y Y 是具有相应维数的任意矩阵,我们总可以选取1313111Y S Y Y CAB--为行满秩或列满秩,V U S CAB ,,见引理1.第二,当},m in{},m in{},m in{b cb c c ca c c c r r r n r r r m r m r n --+--<--,},min{},min{)(max 2c ca c b cb c cb ca cab c S X r r r m r r r n r r r r X rank M X--+--+--+==∈,(1.8)且相应的最大秩解为:T CAB V Y S Y Y Y Y U X ⎥⎥⎥⎥⎦⎢⎢⎢⎢⎣=0004131141311, (1.9) 其中,311311,,Y Y Y 是具有相应维数的任意矩阵,我们总可以选取4114,Y Y 为行满秩或列满秩,V U S CAB ,,见引理1.(3) 也要分两种情况:第一,对于1~M s m ≤≤,矩阵方程C AXB =的解矩阵中具有秩为s 的解为: T CAB V Y S Y Y Y Y U X ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0004131141311, (1.10) 其中1441,Y Y 是具有相应维数的任意矩阵,V U S C ,,见引理1,我们可以选133111,,Y Y Y使得-=--s Y S Y Y rank CAB)(1313111cb ca cab c r r r r ++-. 第二,对于2~M s m ≤≤,矩阵方程C AXB =的解矩阵中具有秩为s 的解为: T CAB V Y S Y Y Y Y U X ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0004131141311, (1.11) 其中133111,,Y Y Y 是具有相应维数的任意矩阵,V U S C ,,见引理1,我们可以选1441,Y Y 使得-=+s Y rank Y rank )()(4114cb ca cab c r r r r ++-.证明 给定m m m n n m R C R B R A ⨯⨯⨯∈∈∈,,,RSVD 分解由引理1给出,则N XV U M N M AXB C B T A C ∑∑∑-=- N XV U M B T A C )(∑∑∑-= 令XV U Y T =,则有rank AXB C rank =-)())((N XV U M B T A C ∑∑∑- rank =)(∑∑∑-B A C Y将Y 作如下分块:⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=44434241343332312423222114131211Y Y Y Y Y Y Y Y Y Y Y YY Y Y Y Y , 则ca cca r m r r k k k k CAB BA Cr m r r k k k k Y Y YY Y S Y Y Y I YI I Y cb c cb --⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡---------=---∑∑∑43214443423433322423224321000000000000000000000000,在上式中,由)4,3,2,4,3,2(==j i Y ij 的任意性,得到)(min )(min ∑∑∑-=-B A C Y rank AXB C rank 321k k k ++= cab cb ca r r r -+=因此,矩阵方程C AXB =是可解的0)(min =-⇔AXB C rank X⎪⎩⎪⎨⎧=-+=-+=--⎪⎩⎪⎨⎧===⇔000,000321caba cb cab b ca b a cab r r r r r r r r r k k k 即(1)易知若矩阵方程C AXB =是有解,即0321===k k k 时,则解的一般表达式为T UZV X =,其中c ca c r r k r m CAB r r k r n Y S Y Y Y Y Z b cb c --⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=--441311413114000,其中4131141311,,,,Y Y Y Y Y 是具有相应维数的任意矩阵,V U S CAB ,,见引理1. (2)记X S 为相容矩阵C AXB =的解集合,即 }|{T X UZV X X S ==;由高斯块变换,得⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-=→⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡-00000000411413131114131141311Y S Y Y S Y Y T Y S Y Y Y Y CAB CAB CAB , 则有4)(min )(min )(min k T rank Z rank X rank ZS X X===∈,因此有,0,0,41141313111===-Y Y Y S Y Y CAB容易得知:====∈4)(min )(min ~k Z rank X rank m ZS X Xcb ca cab c r r r r --+,且最小秩解为: T CAB CAB V S Y Y Y S Y U X ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=-00000311313131, 其中3113,Y Y 是具有相应维数的任意矩阵,V U S CAB ,,见引理1. 记m S ~为相容矩阵C AXB =的最小秩解集合,即},~)(|{~X m S X m X rank X S ∈==(3)由(2)中的矩阵T 可得, 矩阵方程C AXB =的解矩阵中最大秩为: 要考虑两种情况:第一,当},m in{},m in{},m in{b cb c c ca c c c r r r n r r r m r m r n --+--≥--时, },min{)(max 1c c cb ca cab c S X r m r n r r r r X rank M X--+--+==∈,且相应的最大秩解为:T CAB V Y S Y Y Y Y U X ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0004131141311, 其中,4114,Y Y 是具有相应维数的任意矩阵,我们总可以选取1313111Y S Y Y CAB--为行满秩或列满秩,V U S CAB ,,见引理1.第二,当},m in{},m in{},m in{b cb c c ca c c c r r r n r r r m r m r n --+--<--,},min{},min{)(max 2c ca c b cb c cb ca cab c S X r r r m r r r n r r r r X rank M X--+--+--+==∈,且相应的最大秩解为:T CAB V Y S Y Y Y Y U X ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0004131141311, 其中,311311,,Y Y Y 是具有相应维数的任意矩阵,我们总可以选取4114,Y Y 为行满秩或列满秩,V U S CAB ,,见引理1.(4) 也要分两种情况:第一,对于1~M s m ≤≤,我们可以选133111,,Y Y Y 使得 -=--s Y S Y Y rank CAB )(1313111cb ca cab c r r r r ++-,则矩阵方程C AXB =的解矩阵中具有秩为s 的解为:T CAB V Y S Y Y Y Y U X ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0004131141311, 其中1441,Y Y 是具有相应维数的任意矩阵,V U S C ,,见引理1.第二,对于2~M s m ≤≤,我们可以选1441,Y Y 使得 -=+s Y rank Y rank )()(4114cb ca cab c r r r r ++-,则矩阵方程C AXB =的解矩阵中具有秩为s 的解为:T CAB V Y S Y Y Y Y U X ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0004131141311, 其中133111,,Y Y Y 是具有相应维数的任意矩阵,V U S C ,,见引理1 .证毕.第三章 矩阵方程C AXB =的自反解及其最佳逼近 3.1 引言秩约束下矩阵的求解问题是线性代数的重要研究课题之一.关于矩阵方程C AXB =的在秩约束下的对称解、最小秩和最小秩对称解的通式及其最佳逼近解、最大秩和最大秩对称解的通式.本章采用了RSVD 分解,对矩阵方程C AXB =的对称解的秩的情况进行了详细的分析,成功地获取了对称解的最大(小)秩及其定秩解的表达式.利用相应的结果,也获得了最小秩对称解的表达式和唯一最佳逼近解的表达式.3.2 提出问题问题Ⅰ给定矩阵m m m n n m C C C B C A ⨯⨯⨯∈∈∈,,, 求)(P C X nn R⨯∈,使得C AXB =, 若有解,记X S }|{C AXB C X n n =∈=⨯问题II 给定nn CX ⨯*∈,求X S X ∈~使得||||min ||||~*∈*-=-X X X X XS X 3.3问题Ⅰ的解设C P ∈nn ⨯,且I P P P H ==2,,则称P 为广义反射矩阵.本文中的P 均为广义反射矩阵.设n n C X ⨯∈,若X 满足PXP X =,则称X 为关于P 的自反矩阵.所有关于P 的自反矩阵的全体记为X C X P C n n nn R|{)(⨯⨯∈=}PXP =. 引理3.3.1]33[ 矩阵)(P C X nn R⨯∈的充要条件是X 可以表示为: HU X X U X ⎪⎪⎭⎫ ⎝⎛=210 (3.1)其中U P I rank r C X C X n p n p n p p ),(,,)()(21+=∈∈-⨯-⨯为酉矩阵且由P 唯一确定.引理3.3.2]34[ (广义奇异值分解(GSVD)) 给定l m n m C C C A ⨯⨯∈∈,,则存在酉矩阵l l n n OC V OC U ⨯⨯∈∈11,以及非奇异矩阵m m C W ⨯∈1使得∑∑==C A V W C U W A 1111, (3.2) 这里l m C n m A C C ⨯⨯∑∑∈∈,,并且()()C A r C r A r t A r r C A r k -+===)()(),(,,k m rk t t r S I rn tt r A A AA ---⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=--∑0000000000,,0000000000km r k t t r I S rk tk t r l C CCC ---⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=---+∑其中,A I 和C I 为单位矩阵,A 0和C 0为零矩阵,并且 ),,,(),,(1,1t C t A diag S diag S ββαα ==其中10,0111<≤≤<>≥≥>t t ββαα ,而.,,1,122t i i i ==+βα 3.3.1问题Ⅰ的解现在考虑问题Ⅰ,取U 如(3.1)式,记⎥⎦⎤⎢⎣⎡==2121),,(B B B U A A AU H , (3.3)其中)(,,,,)(21)(21P I rank r C B C B C A C A n m r n m r r n m r m +=∈∈∈∈⨯-⨯-⨯⨯而矩阵对),(),,(2121H H B B A A 的广义奇异值分解如下:11211121,V M A U M A A A ∑∑==, (3.4) 22222121,V M B U M B H H B H B H ∑∑==, (3.5)其中酉矩阵)()(22)()(11,,,r n r n r r r n r n r r OC V OC U OC V OC U -⨯-⨯-⨯-⨯∈∈∈∈,非奇异矩阵m m m m C M C M ⨯⨯∈∈21,,这里)(21,r n m A r m A C C -⨯⨯∈∈∑∑,并且+===)(),(),,(1111211A rank t A rank r A A rank k),()(212A A rank A rank -;∑∑-⨯⨯∈∈)(21,r n m B r m B C C H H ,并且r r B B rank k HH ==22),,(21+=)(),(112H H B rank t B ank ),()(212H H H B B rank B rank -,11111111111111000000000k m r k t t r S I r r t t r AA AA ---⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=--∑, 1111111111112222000000000k m r k tt r I S r k t k t r r n AA A A ---⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=---+-∑, 222222222211110000000000k m r k t t r S I r r t t r B B B B H HH H ---⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=--∑, 22222222222222220000000000k m r k t t r I S r k t k t r r n B B B B H HHH ---⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=---+-∑, 于是有以下定理:定理3.3.1给定m m m n n m C C C B C A ⨯⨯⨯∈∈∈,,,非负整数s 和广义反射矩阵n n C P ⨯∈B U AU H ,按(3.3)式进行分块,矩阵对),(),,(2121H H B B A A 的广义奇异值分解由(3.4)(3.5)式给出,则矩阵方程C AXB =有自反矩阵解的充要条件是:)3,2,1(0),4,3,2,1(0,0,0443113======j C i C C C j i , (3.6)并且若(3.6)式成立,则矩阵方程C AXB =有自反矩阵解的一般表达式为:HHH U YV V ZU U U X ⎥⎦⎤⎢⎣⎡=212100, (3.7) 其中11113332312312222121113112112222122111)(r r t t r Z Z Z Z S S Y S C S C S Z S C C Z t r t t r B B A A A B H H H--⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-=------, 1111113313231231222113121122222222r k t k t r r n C S C Y C S Y Y Y Y Y Y r k t k t r r n B A H ---+-⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=---+---,312221323113,,,,),3,2,1(,Y Y Y Z Z i Y Z i i =,是具有相应维数的任意矩阵,H H B B A A S S S S V V U U 2121,,,,,,,2121见(3.4)(3.5)式,1(=i C ij333223,,),2,1,2,C C C j =见①式.证明 给定m m m n n m C C C B C A ⨯⨯⨯∈∈∈,,,由引理3.3.1,对)(P C X nn R⨯∈,有 HU X X U X ⎪⎪⎭⎫ ⎝⎛=210, 其中)()(21,p n p n p p C X C X -⨯-⨯∈∈,由)2,1(,=i B A i i 的定义,矩阵方程C AXB =有自反矩阵解等价于矩阵方程:C B X A B X A =+222111, 有一般解.下面来解矩阵方程C B X A B X A =+222111,矩阵对),(),,(2121H H B B A A 分解如(3.4),(3.5)式 令=),(21X X F C B X A B X A -+222111,有=),(21X X F C V M X V M U M X U M H B A H B A H H -+∑∑∑∑)()(22211221112211C M V X V M M U X U M H H H A H H H A H B H B -+=∑∑∑∑22211221112211∑∑∑∑---+=H HH H A H H A M CM M V X V U X U M H B H B 22112212111)(2211令H H V X V Y U X U Z 221211,==,则有)),((21X X F rank ))((221112211∑∑∑∑---+=H HH A H A M CM M Y Z M rank H B H B )(2112211∑∑∑∑---+=HH A H A CM M Y Z rank H B H B 将1211,,--CM M Y Z 作如下分块:11113332312322211312112222r r t t r Z Z Z Z Z Z Z Z Z Z t r t t r --⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=--, 111111333231232221131211222222r k t k t r r n Y Y Y Y Y Y Y Y Y Y r k t k t r r n ---+-⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=---+-, 111111444342413433323124232221141312111211222222k m r k t t r C C C C C C C C C C C CC C C C CM M k m r k t t r ---⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=-----, ① 则有∑∑∑∑---+HH A H A CM M Y Z H B H B 211221111111144434241343333323231242323222222212114131212111122222222221111k m r k t t r C C C C C C Y C S Y C C C Y S C S Y S S Z S C Z S C C C S Z C Z k m r k t t r B A B A B A A B H H H H ---⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡-----------+-----=---, 在上式中,由于)3,2,3,2(),2,1,2,1(====l k Y j i Z kl ij 的任意性,可知)),((m in 21X X F rank )(m in 2112211∑∑∑∑---+=HH A H A CM M Y Z rank H B H B则矩阵方程0),(21=X X F 有解的充要条件是:)3,2,1(0),4,3,2,1(0,0,0443113======j C i C C C j i .易知,若阵方程0),(21=X X F 有解,解的一般表达式为:HHH U YV V ZU U U X ⎥⎦⎤⎢⎣⎡=212100,其中11113332312312222121113112112222122111)(r r t t r Z Z Z Z S S Y S C S C S Z S C C Z t r t t r B B A A A B H H H--⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-=------, 1111113313231231222113121122222222r k t k t r r n C S C Y C S Y Y Y Y Y Y r k t k t r r n B A H ---+-⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=---+---,312221323113,,,,),3,2,1(,Y Y Y Z Z i Y Z i i =,是具有相应维数的任意矩阵,H H B B A A S S S S V V U U 2121,,,,,,,2121见(3.4)(3.5)式,1(=i C ij333223,,),2,1,2,C C C j =见①式.3.3.2问题Ⅱ的解由问题Ⅰ的解,易知矩阵方程C AXB =的自反矩阵解集合是一个闭凸集,因此问题Ⅱ一定存在唯一的最佳逼近.因为)(P C n n R ⨯是n n C ⨯的一个子空间,令⊥⨯))((P C n n R表示)(P C nn R ⨯的正交补空间,则对任意的n n C X ⨯*∈,有***+=21X X X其中)(1P C X n n R⨯*∈,⊥⨯*∈))((2P C X n n R .因为)(1P C X nn R ⨯*∈,由引理3.3.1知: HU X X U X ⎪⎪⎭⎫ ⎝⎛=***2211100 利用矩阵的广义奇异值分解表达式中的酉矩阵2121,,,V V U U 和引理(3.1)式中的U ,对给定的H H V X V U X U 22212111,**进行如下分块: ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=**********3332312322211312112111W W W W W W W W W U X U H,⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=**********6665645655544645442122W W W W W W W W W V X V H , (3.8)于是有如下定理:定理 2.3.2 设矩阵m m m n n m C C C B C A ⨯⨯⨯∈∈∈,,分解式为(3.4)(3.5)式,且(3.6)式成立.给定nn C X ⨯*∈,则问题Ⅱ存在唯一的最佳逼近解)(~P C X nn R⨯∈,且它可表示为:H HH U YV V ZU U U X ⎥⎦⎤⎢⎣⎡=212100~, (3.8) 其中,11113332312315522121113112112222122111)(r r t t r W WW W S S W S C S C S W S C C Z t r t t r B B A A A B HH H--⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡-=--****-*--*- 1111113313264231555446454422222222r k t k t r r n C S C W C S W W W W W Y r k t k t r r n B A H---+-⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=---+--*-*****,312221323113,,,,),3,2,1(,Y Y Y Z Z i Y Z i i =,是具有相应维数的任意矩阵,H H B B A A S S S S V V U U 2121,,,,,,,2121见(3.4)(3.5)式,1(=i C ij333223,,),2,1,2,C C C j =见①式.证明 对于给定的n n C X ⨯*∈,有如下分解:***+=21X X X ,其中)(1P C X nn R⨯*∈,⊥⨯*∈))((2P C X n n R . 利用酉矩阵对Frobenius 范数的不变性和范数的基本性质,对于~mS X ∈,有22212212*****+-=--=-X X X X X X X X因此,*∈*∈-⇔-12~~min min X X X X mmS X S X ,而2121221001**-⎥⎦⎤⎢⎣⎡=-X U YV V ZU U U XX H H H 2221121210000⎥⎦⎤⎢⎣⎡-⎥⎦⎤⎢⎣⎡=**X X YV V ZU U HH 2222121121**-+-=X YV V X ZU U H H2222122111H H V X V Y U X U Z **-+-=22323221211213132121122111111**-**-*-+-+-+-+-=WZ WC S WZ WSC WC A B H2333323232231312221222211221)(****---+-+-+--+W Z W Z W Z WSS Y S C S H H B B A A 25623125522254212461324512244112*-*****-+-+-+-+-+-+W C S W Y W Y W Y W Y W Y A 26633265132264312**-*-+-+-+WC WSC WY H B*∈*∈-⇔-1~m in m in X X X X mXS X S X ?**--**==-==⇔31312212222123231313,)(,,1221W Z W S S Y S C S W Z W Z H H B B A A *******=======5522542146134512441133333232,,,,,,W Y W Y W Y W Y W Y W Z W Z将上式代入(3.7)式,得(3.8)式.证毕.参考文献:[1] D.L.Chu,B.D.Moor.On a variational formulation of QSVD and the RSVDL.A.A.,2000(311):61-78[2] 刘瑞娟.几类约束矩阵方程的定秩解的问题.长沙理工大学,2008,1-43 [3] 肖庆峰.秩约束下几类矩阵方程问题及其最佳逼近问题.湖南大学数学与计量经济学院,2009,1-106[5] Penrose R.A geralized inverse for matrices.Proc Cambridge PhilosSoc,1955,5:406-413[6] Lancaster P.Explicit solutions of Linear matrix equations.SIAMReview,1970,72(4):544-566[7] Khatai C G,Mitra S K.Hermitian and nongative definite solutions oflinear matrix equations. SIAM Journal on Applied Mathematics,1976, 31(4):576-585[8] Dai H.On the symmetric solutions of linear matrix equations.LinearAlgebre and Its Application.1990,131:1-7[9] 邓远北.几类线形矩阵方程的解与PROCRUSTES 问题:[湖南大学博士论文].长沙:湖南大学数学与计量经济学院,2003,1-99[10]Peng X Y,Hu X Y,Zhang L.The reflexive and anti-reflexive solutions of the matrix equation C XB A H =. Journal of Computational and Applied Mathematics,2007,200:749-760[11]彭向阳.几类特殊约束矩阵方程问题及其最佳逼近问题:[湖南大学博士文].长沙:湖南大学数学与计量经济学院,2006,1-138[12]雷渊.求解一类矩阵最佳逼近问题的理论和算法:[湖南大学博士论文].长沙:湖南大学数学与计量经济学院,2007,1-134[13]Liao A P,Bai Z Z.Least squares solutions of D AXB =over symmetricpositive semidefinte mareices. Journal of ComputationalMathematics ,2003,21(2):175-182[14]彭亚新.求解约束矩阵方程及其最佳逼近的迭代法研究:[湖南大学博士文].长沙:湖南大学数学与计量经济学院,2004,1-142[15]Mitra S K.A pair of simultaneous linear matrix equations ,111C XB A =222C XB A = and a matrix programming problem. Linear Algebre and Its Application.1990,131:107-123[16]Mitra S K.Fixed rank solutions of linear matrix equations.SankhyaSer.A.,1972, 35: 387-392[17]Mitra S K.The matrix equation D XB C AX ==,.Linear Algebre and ItsApplication,1984,59:171-181 [18]Uhlig F .On the matrix equation BAX= with applications to the generators of controllability matrix.Linear Algebre and ItsApplication,1987,85:203-209[19]Gross J.Nonnegtive-definite and positive-definite solution to the* revisited. Linear Algebre and Its Applica- matrix equation BAXA=tion.2000,321:123-129[33]Peng Z Y,Hu X Y.The reflexive and anti-reflexive solutions of thematrix equation BAX=. Linear Algebre and Its Application,2003,375:147-155[34]Paige C C,Saunders M A.Towards a generalized singular value decom-Position.SIAM Journal on Numerical Anaysis,1981,18:398-405[35]Qing-Feng Xiao,Xi-Yan Hu,Lei Zhang.The Symmetric Minimal RankSolution of the Matrix Equation BAX= and the Optimal Approxim- ation.Electronic Journal of LINEAR Algebra.2009,(18):264-273(SCI)。
矩阵的最小二乘法

矩阵最小二乘法是一种数据拟合技术,可以用来寻找最小化某一函数(称为代价函数,或损失函数)的参数。
它可以使用矩阵表示,通过求解矩阵最小二乘法计算出最优参数,从而使代价函数得到最小化。
这种方法在机器学习和数据科学中有广泛的应用,是优化算法的基础。
矩阵最小二乘法的基本思路是,在给定的参数的情况下,对给定的所有数据点求取残差矩阵,将残差矩阵通过最小二乘法计算出最优参数,最后使残差矩阵的范数得到最小化。
其具体步骤如下:(1)给定一个代价函数,其参数用θ表示。
(2)构建矩阵A,其元素是数据点的特征向量,并且A的每一行对应每一个数据点的特征向量。
(3)构建向量b,其元素是数据点的输出值。
(4)构建残差矩阵:e = b - Aθ。
(5)计算最优参数θ:θ = (A^T A)^(-1) A^T b。
(6)计算残差矩阵范数:||e|| = (A A^T)^(-1/2) b。
最小范数最小二乘解

最小范数最小二乘解
最小范数最小二乘解是线性代数中一个重要的概念,是求解线性方程组的一种方法。
在实际应用中,线性方程组经常会出现矩阵的行列式为零或矩阵特征值为零的情况,导致无法使用传统的逆矩阵方法求解。
此时,最小范数最小二乘解就能发挥重要作用。
最小范数最小二乘解的求解过程可以分为两步,第一步是求出该方程组的最小二乘解,第二步是从所有最小二乘解中选取范数最小的那个作为最优解。
首先,通过正交分解的方法将系数矩阵分解为QR矩阵的乘积,然后再利用QR分解求解最小二乘解。
对于QR分解后得到的上三角矩阵,可以通过回代求解出最小二乘解。
第二步,就是从所有最小二乘解中选取范数最小的那个,通常采用最小二乘解的欧拉范数作为标准来选择最优解。
最小范数最小二乘解的应用非常广泛,在生产制造、金融投资等各个领域都有应用。
比如在生产制造中,最小范数最小二乘解可以用来解决补偿问题。
当设备出现误差时,可以通过测量数据求出最小范数最小二乘解来对误差进行补偿,从而提高生产效率。
在金融投资领域,最小范数最小二乘解可以用来进行投资组合优化,根据历史数据求出最小范数最小二乘解来构建有效前沿组合,达到最优化的资产配置。
总之,最小范数最小二乘解是线性方程组求解的重要方法之一,其应用广泛,能够在各个领域中发挥重要作用。
需要掌握最小范数最
小二乘解求解方法的同学可以通过学习线性代数知识并结合实际问题进行练习,加深理解和掌握。
对称子矩阵约束下矩阵方程AX=B的迭代解法
R( m - n I ) ( n - n 1 ) , X1 1∈ R l 1 , Xl 2 ∈
题。 文献[ 1— 3 ]对子 矩 阵约束 下矩 阵方 程和 对称 约束 问题进 行 了相关 研究 , 但 目前对 该 类 问题 采 用 迭代 解
法进 行研究 的文献 尚不 多见 。 本文 给 出 了对 称子 矩阵 约束 条件 下矩 阵方程 A x = B的一 类迭 代求 解算 法 , 并 通过 数值 实验 证 明了该 方法 的有 效性 。
2 ]
( A P i +A z P ; ) ( A P { +A P ; ) ] +t r [ ( A P { +A 。 P 5 ) ( A : P j +A P 5 )
± [ ( 多 } 。 ) ( A ; +A P j ) ] +t r [ ( B 。 ) ( A 。 P +A 。 P ) ]
+t r [ ( A P { +A 。 P j ) ( A P +A 。 P ) ] +t r [ ( A P j +A 。 ) ( A : P { +A 。 P { ) ]
△ X{ 1 一 P j , i 1 = P , } 。 一 P{ , z x x{ = Pj ; K一 1 ;
R “ 1 ( n - n 1 ) , x2 l ∈ R( n - n 1 ) X n I , 2 2∈ R( n - n 1 ) ( n - n I ) , 其中 , 2 1 ≤ 月 ;
( 3 ) 计算 : B ; l —B 1 1 , B ; 1 一 B2 1 , Bl 2 一B 1 2 , B5 2 一B 2 2 , Q 一 召 1 1 + B 2 1 , P i : ( Q ) + Q ,
最小二乘法矩阵表示及求解详细推导
最小二乘法矩阵表示及求解详细推导最小二乘法是将未知参数和误差数据组合为一个整体实现拟合,其运算公式也非常简单,一般可以用线性代数方程式来表示。
假定有一组实验数据 $\{(x_1, y_1), (x_2, y_2), …, (x_n, y_n)\}$,表示y与x的关系,它是满足 $y=f(x,\theta)$ 的任意函数的经验表达式,其中$x$是试验变量,而未知参数$\theta$是由最小二乘法估计出来的;设最小二乘估计参数为 $\theta^{*}$,则$\theta^{*}$就是使误差函数值 $\sum_{i=1}^{n}[y_i-f(x_i,\theta)]^2$最小的参数值。
最小二乘法矩阵表示就是把实验数据用矩阵表示,以简化求解问题,把最小二乘法问题写成矩阵形式,设有$m$z个参数:$$\left\{\begin{array}{l}A\theta =B \\\text {差值函数:}\\E=\left[y_{1}-f\left(x_{1}, \theta\right), y_{2}-f\left(x_{2}, \theta\right), \cdots, y_{n}-f\left(x_{n}, \theta\right)\right]\end{array}\right.$$其中,系数矩阵$A=[A_{1}, A_{2}, \cdots, A_{n}]$,$A_{i}$ 为实验点$(x_i, y_i)$的函数求导,其式子为:$$A_{i} =\left[\frac{\partial f\left(x_{i},\theta\right)}{\partial \theta_{1}}, \frac{\partialf\left(x_{i}, \theta\right)}{\partial \theta_{2}}, \cdots, \frac{\partial f\left(x_{i}, \theta\right)}{\partial\theta_{m}}\right]^T$$其中,常数矩阵$B=[B_1,B_2,\cdots,B_n]^T$,其中$B_i$表示实验点$(x_i,y_i)$的符号为:$$B_{i}=f\left(x_{i}, \theta\right)$$由上面几个式子可以得到$A\theta=B$,解出$\theta$即得到最优参数,即$\theta=A^{-1}B$。
迭代算法求解矩阵方程埃尔米特双对称解
迭代算法求解矩阵方程埃尔米特双对称解胡志增;杨春花【摘要】通过构建一个迭代算法来求解复矩阵方程组最小F范数剩余问题:min‖{A1XB1+C1-XD1A2XB2+C2-XD2}-{M1M2}‖,其中X是埃尔米特双对称矩阵,即满足X=XH =SnXSn;在不考虑舍入误差的条件下,对于任意双埃尔米特矩阵X0,矩阵方程组的解都能在有限步内得到;最后,给出一个数值试验来检验算法的有效性.【期刊名称】《重庆工商大学学报(自然科学版)》【年(卷),期】2017(034)002【总页数】6页(P6-11)【关键词】复矩阵方程;迭代算法;埃尔米特双对称解【作者】胡志增;杨春花【作者单位】湘潭大学数学与计算科学学院,湖南湘潭411105;湘潭大学数学与计算科学学院,湖南湘潭411105【正文语种】中文【中图分类】O151.24矩阵方程大量出现于线性系统理论之中,所以矩阵方程求解以及解的形式的进一步研究是有必要的。
早期求解矩阵方程时,Keonecker积起到了举足轻重的作用,但是随着矩阵阶数的逐渐增大,如果依然使用Keonecker积,则会使其阶数成几何倍数增大,维数的增大必然导致求解过程中舍入误差更大,最终结果可能会因为误差过大而不再是原问题的解。
所以,近年来用迭代方法求解矩阵方程有了更多的研究。
黄娜和马长丰等[1]用迭代算法求出了方程A1XB1+C1YTD1=F1,A2YB2+C2XTD2=F2的迭代解以及其不相容时的最小范数解;刘爱静等[2]求解了相容矩阵方程组A1XB1=C1,A2XB2=C2的双对称最小范数解;段学峰等[3]用一种新的迭代算法解决了一类矩阵近似问题;刘勇等[4]求解了一个系统方程的广义自反和广义反自反解;而陈德钦等[5]则用迭代法求得了矩阵方程AXB=E,CXD=F的广义自反解.更进一步,周忠礼和黄广新[6]求解了,i=1,2,…,p的自反解;谢雅君[7]结合了CGS,BCG和BI-CGSTAB等算法求解了方程组A1XB1+C1YD1=E,A2XB2+C2YD2=F的解;梁开福和刘建州[8]提出了一个修正的共轭梯度算法,求解了方程A1XB1+C1XTD1=F1,A2XB2+C2XTD2=F2;蔡静和陈国良[9]给出了A1XB1=C1,A2XB2=C2的最小二乘双对称解;周金华、刘建州[10]求得了矩阵方程ATXB-BTXTA=D的最小二乘解.通过使用迭代方法来求解矩阵方程组,的埃尔米特双对称解,用HBSCn×n表示,即X满足X=XH=SnXSn,其中Sn=(en,en-1,…,e1)而ei表示第i个分量为1的n×1矩阵。
最小二乘法的矩阵解
最小二乘法的矩阵解最小二乘法是一种常用的数据拟合方法,可以用来解决数据点不完全匹配、存在噪声等问题。
在数学上,最小二乘法就是要求解一个线性方程组,而这个线性方程组的解可以用矩阵运算来表示。
下面我们就来详细介绍一下最小二乘法的矩阵解。
假设我们有一个数据集 {(x1,y1),(x2,y2),,(xn,yn)},其中 x 和 y 分别表示自变量和因变量。
我们希望用一个线性方程 y=a+bx 来拟合这个数据集。
但是由于数据点的不完全匹配和存在噪声等问题,我们无法直接求出 a 和 b 的值。
这时,我们可以采用最小二乘法来解决这个问题。
最小二乘法的思想是,找到一组参数 a 和 b,使得数据集中所有数据点到直线 y=a+bx 的距离的平方和最小。
这个距离可以用垂线的长度来表示,也就是说,我们要找到一条直线,使得所有数据点到这条直线的垂线的长度的平方和最小。
我们可以将这个问题表示成一个线性方程组:[∑xi2∑xi∑xi∑i] [ba]= [∑xiyi∑yi]其中∑ 表示求和,xi2 表示第 i 个数据点的 x 值的平方,xi 表示第 i 个数据点的 x 值,yi 表示第 i 个数据点的 y 值。
这个线性方程组的解就是参数 a 和 b 的值。
为了方便,我们可以将上面的线性方程组表示为矩阵形式:[A] [x]= [b]其中A=[∑xi2∑xi∑xi∑i],x=[ba],b=[∑xiyi∑yi]。
现在的问题就是如何求解矩阵 [x]。
我们可以使用矩阵的逆的公式:[x]=(A T A)-1 A T [b]其中 (A T) 表示 A 的转置,(A T A)-1 表示矩阵 (A T A) 的逆矩阵。
这样,我们就可以用矩阵运算来解决最小二乘法的问题了。
当然,在实际应用中,我们还需要注意一些问题,比如如何处理数据中的异常值、如何选择适当的拟合函数等等。