矩阵微分与向量函数的Taylor展开

15
2.2.3 不等式约束条件下向量 函数的极值 库恩－图克定理：假设 标量函数 f ( x )及函数向量 g ( x )连续 x2 L x n ]T， g ( x ) = [g1 ( x )
可微， x = [ x1
g 2 ( x ) L g m ( x )]T，
dg m dg1 dg 2 且向量组 线性无关。若 f ( x )在不等式约束 , ,L , dx dx dx g ( x ) ≤ 0条件下的相对极小值解 为 x *，则必存在不同时为零 的数 λ1，
T
∂F ⎤ ⎥ ∂x n ⎦
∂F1 ⎤ ∂x n ⎥ ⎥ ∂F2 ⎥ ∂x n ⎥ = M ⎥ ∂Fm ⎥ ⎥ ∂x n ⎥ ⎦
⎡ ∂Fi ⎤ ⎢ ⎥ ∂ x ⎢ ⎣ j⎥ ⎦ m×n
( 3)
( 3 )式中的矩阵称为雅可比 （ Jacobi ）矩阵。
4
dF ( X ) ⎡ ∂F =⎢ dX ⎣ ∂x1
f ( x )在 x * 处取相对极小值的必要 条件：
f ( x ) 在 x * 处取相对极小值的充分 ⎧ ⎛ df ⎞ ⎪ ⎜ dx ⎟ * = 0 ⎠x ⎪ ⎝ ⎨⎛ 2 ⎞ ⎪⎜ d f ⎟ > 0 ⎜ dx 2 ⎟ ⎪ ⎠ x* ⎩⎝ ⎡ ∂2 f ⎢ 2 ∂ x 1 ⎢ ⎢ ∂2 f 2 d f d ⎛ df ⎞ ⎢ = 其中 ⎜ ⎟＝ ∂ x 2 ∂ x 1 2 dx dx ⎝ dx ⎠ ⎢ M ⎢ 2 ⎢ ∂ f ⎢ ∂x ∂x ⎣ n 1
T
是F ( X )的梯度，记为 gradF ( x )或∇F ( x )。 求导法则类似 (1)、（2 ）式。 dF ( X ) ⎡ ∂F =⎢ T dX ⎣ ∂x1 ∂F ∂x 2 ∂F ⎤ ⎡ dF ( X ) ⎤ L ⎥=⎢ ∂x n ⎦ ⎣ dX ⎥ ⎦
T
3
二、 F为函数向量时 F ( X )＝[F1 ( X ) F1 ( X ) L Fm ( X )] dF ( X ) Δ dF ( X ) ⎡ ∂F = =⎢ T dX dX ⎣ ∂ x1 ⎡ ∂F1 ∂F1 ⎢ ∂x ∂x 2 ⎢ 1 ⎢ ∂F2 ∂F2 = ⎢ ∂ x1 ∂x 2 ⎢ M M ⎢ ∂F ∂Fm m ⎢ ∂x 2 ⎢ ⎣ ∂ x1 ∂F ∂x 2 L L L L L
T
求 x *，使 f ( x * )取极小值。 f ( x )在 x * 处取极值的一阶必要条 件： ⎛ df ⎞ ⎟ =0 ⎜ ⎝ dx ⎠ x * ⎧ ⎛ df ⎞ ⎪ ⎜ dx ⎟ * = 0 ⎠x ⎪⎝ ⎨⎛ 2 ⎞ ⎪⎜ d f ⎟ ≥ 0 ⎜ dx 2 ⎟ ⎪ ⎠ x* ⎩⎝
13
或
∇ f ( x * )＝0
∂F ∂F F ( x , u )＝ F ( x 0 , u0 ) + δx + δ u + 高阶项 ∂x ∂u 其中 δx = x − x 0 , δ u = u − u0
12
2.2 函数极值的基本理论 2.2.1 向量函数的无条件极值 问题 2.2.1 f ( x )是 n维向量 x = [ x1 x2 L x n ] 的标量函数 ，
λ 2， L λ m，使得下列必要条件成 立：
(1) ( 2) dg i ( x * ) df ( x * ) m + ∑ λi =0 dx dx i =1 g i ( x * ) ≤ 0, i = 1,2, L , m
( 3) λ i ≥ 0, i = 1,2, L , m
( 4) λ i g i ( x * ) = 0, i = 1,2, L , m
第二章 矩阵微分与函数极值的基本理论
2.1 矩阵微分与向量函数的Taylor展开
常数矩阵：一个矩阵的所有元素都是常数，则称该矩 阵是常数矩阵。 函数矩阵：一个矩阵的元素中至少有一个是自变量的 函数，则称该矩阵是函数矩阵。 函数向量：
dF ( X ) 求 dX
1
2.1.1 当 X 为标量时
考虑 F （ X ) = f ij ( x ) n× m 为函数矩阵， 则 dF ( X ) Δ ⎡ df ij ( x ) ⎤ =⎢ ⎥ dX dx ⎣ ⎦ n× m F （ X )为函数向量时可看成是 函数矩阵的特例， 上式依然成立。 求导法则： d [F1 ( X ) ± F2 ( X )] dF1 ( X ) dF2 ( X ) ± ＝ dX dX dX d [F1 ( X ) F2 ( X )] dF1 ( X ) dF ( X ) ＝ F2 ( X )＋ F1 ( X ) 2 dX dX dX 其中 F1 ( X )、 F2 ( X )为函数矩阵， 若 F1 ( X )、 F2 ( X )
T Δ
T
∂F ∂x 2
T
⎡ ∂F1 ⎢ ∂x ⎢ 1 ⎢ ∂F1 = ⎢ ∂x 2 ⎢ M ⎢ ∂F ⎢ 1 ⎢ ⎣ ∂x n 可见 dF ( X ) ⎡ dF ( X ) ⎤ ＝⎢ T ⎥ dX dX ⎣ ⎦
T T
∂F ⎤ L ⎥ ∂x n ⎦ ∂Fm ⎤ ∂F2 L ∂x1 ∂x1 ⎥ ⎥ ∂Fm ⎥ ∂F2 L ∂x 2 ∂x 2 ⎥ M L M ⎥ ∂Fm ⎥ ∂F2 ⎥ L ∂x n ∂x n ⎥ ⎦
[
T
]
T
T
6
当 F ( X )＝ X 时， dF ( X ) dX dX ＝ ＝ =I T dX dX dX dF T ( X ) dX T ＝ ＝I dX dX 等式两边作移乘或移除 运算时应加转置。
7
三、 F ( X )为函数矩阵时， F ) ＝⎢ dX ⎣ ∂x1 dF ( X ) ⎡ ∂F ( X ) ＝⎢ T dX ⎣ ∂x1 ∂F ( X ) ∂F ( X ) ⎤ L ⎥ ∂x 2 ∂x n ⎦ nm×l ∂F ( X ) ∂F ( X ) ⎤ L ⎥ ∂x 2 ∂x n ⎦ m×ln
T
[
g2 ( x ) L
g p ( x) ,
]
T
dg p dg 1 dg 2 线性无关。若 f ( x ) 在等式约束 , ,L , p < n ，且向量组 dx dx dx g ( x ) = 0条件下的相对极小值解 为 x *，则必有不同时为零的 数 λ 1， L , λ p，使得 λ 2，
p dg i ( x * ) df ( x * ) + ∑ λi =0 dx dx i =1
[
]
∂ H ⎛∂ H⎞ ⎟ =⎜ ⎜ ∂u∂x ⎝ ∂x∂u ⎟ ⎠
2 2
T
11
二、设 F ( x , u )是 n维向量 x = [ x1 u = [u1 处的 Taylor 展开式为
u2 L um ]T 的函数向量，则 F ( x , u )在点 ( x 0 , u0 )
x 2 L x n ]T 和 m 维向量
T
T
5
求导法则： d [F1 ( X ) ± F2 ( X )] dF1 ( X ) dF2 ( X ) ± ＝ dX dX dX d [a ( X )F ( X )] da ( X ) dF ( X ) F ( X )＋a( X ) ＝ dX dX dX
(a ( X )为标量函数） ( 4)
d F1 ( X )F2 ( X ) dF1 ( X ) dF2 ( X ) F X ＝ )＋ F1 ( X ) 2( dX dX dX
16
T
[
]
8
2.1.3
X为矩阵时， X = X ij n×m
[ ]
∂F ( X ) ⎤ ⎡ ∂F ( X ) L ⎢ ∂x ⎥ ∂ x 11 1m dF ( X ) ⎢ ⎥ =⎢ M L M ⎥ dX ⎢ ∂F ( X ) L ∂F ( X ) ⎥ ⎢ ∂x n 1 ⎥ ∂ x nm ⎣ ⎦
9
2.1.4 复合函数的导数 设 x、 y、 z分别表示 n、 m 、 l维列向量 t为标量自变量， f为标量函数 一、设 z = z ( y ), y = y ( t ), 则 dz dz dy = T dt dy dt 二、设 z = z ( y ), y = y ( x ), 则 dz dz dz dy , = T = T T dx dx dy dx 三、设 z = z ( y , x ), y = y ( x ), 则 dz dz ∂z ∂z dy = T = T + T dx dx ∂y dx T ∂x , dz T dy T dz T = dx dx dy dz T ∂z T dy T ∂z T = + dx ∂x dx ∂y
条件：
∂2 f ∂x1∂x 2 ∂2 f 2 ∂x 2 M ∂2 f ∂x n ∂x 2
L L L L
∂2 f ⎤ ⎥ ∂x1∂x n ⎥ ∂2 f ⎥ ∂x 2∂x n ⎥ ⎥ M ⎥ 2 ∂ f ⎥ 2 ∂x n ⎥ ⎦
14
2 .2 .2 等式约束条件下向量函 数的极值 拉格朗日定理：假设标 量函数 f ( x )及函数向量 g ( x )连续 可微， x = [ x1 x2 L x n ] ， g ( x ) = g1 ( x )
10
2.1.5 向量函数的 Taylor展开 u = [u1
一、设 H ( x , u)是n维向量 x = [ x1 处的Taylor展开式为
u2 L um ]T 的标量函数， H ( x , u)在点( x0 , u0 )
T T
x 2 L x n ]T 和 m 维向量
⎛ ∂H ⎞ ⎛ ∂H ⎞ + H ( x , u) = H ( x0 , u0 ) + ⎜ x δ ⎜ ⎟ δu ⎟ ⎝ ∂x ⎠ ⎝ ∂u ⎠ ⎡ ∂2H ∂2H ⎤ ⎢ ⎥ ⎡δx ⎤ 2 1 T T ∂ ∂ ∂ x x u + δ x δu ⎢ 2 ⎥ ⎢ ⎥ + 高阶项 2 2 ⎢ ∂ H ∂ H ⎥ ⎣δu⎦ ⎢ ⎣ ∂ u∂ x ∂ u 2 ⎥ ⎦ 其中δx = x − x0 , δu = u − u0