第一章--最优化问题与数学预备知识

合集下载

最优化原理与方法课后习题1

第一章、预备知识一、考虑二次函数()2211221223f X x x x x x x =++-+1) 写出它的矩阵—向量形式: ()f X =12TTQx x xb +2) 矩阵Q 是不是奇异的? 3) 证明: f(x)是正定的 4) f(x)是凸的吗? 5) 写出f(x)在点x =()2,1T处的支撑超平面(即切平面)方程解: 1) f(x)=xx x x x x2122212132+-++=⎪⎪⎭⎫ ⎝⎛x x 2121⎪⎪⎭⎫⎝⎛6222⎪⎪⎭⎫ ⎝⎛x x 21+11T-⎛⎫ ⎪⎝⎭⎪⎪⎭⎫ ⎝⎛x x 21 其中 x=⎪⎪⎭⎫ ⎝⎛x x 21 ,Q=⎪⎪⎭⎫ ⎝⎛6222, b=⎪⎪⎭⎫⎝⎛-11 2) 因为Q=⎪⎪⎭⎫ ⎝⎛6222,所以 |Q|=6222=8>0 即可知Q 是非奇异的3) 因为|2|>0, 6222=8>0 ,所以Q 是正定的,故f(x)是正定的4) 因为2()f x ∇=⎪⎪⎭⎫ ⎝⎛6222,所以|)(2x f ∇|=8>0,故推出)(2x f ∇是正定的, 即)(2x f ∇是凸的5) 因为)(x f ∇=2121(2x 2-1,261)x x x T+++,所以)(x f ∇=(5,11)所以 ()f x 在点x 处的切线方程为5(21-x )+11(12-x )=0 二、求下列函数的梯度问题和Hesse 矩阵 1) ()f x =2x 12+xx x x x 23923121+++x x x 2322+2) ()f x =2212()21n l x x x x ++解: 1) )(x f ∇= (,94321x xx ++ 26321+++xx x, xx 219+))(2x f ∇=⎪⎪⎪⎭⎫ ⎝⎛019161914 2) )(x f ∇=(x x x x xx 112221221+++,x x x x x x112221221+++))(2x f ∇=⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛----------++++++++)()()()(2221212222212142221214222121222222121222212122221212212122x x x x x x x x x x x x x x x x x x x x xx x xx x x x x x x x 三、设f(x)=xx x x x x x323223322122--+++,取点)1,1,1()1(Tx=.验证d )1(=(1,0,-1)是f(x)在点x )1(处的一个下降方向,并计算min >t f(x )1(+t d)1()证明: )(x f ∇=)124,123,x 2(233221-+-+x x x x T)5,4,2()(1Tx f =∇d )(1x f ∇=(1,0,-1)⎪⎪⎪⎭⎫ ⎝⎛542= -3<0所以d)1(是f(x)在x )1(处的一个下降方向f(x )1(+t d)1()=f((1+t,1,1-t))=433)1(1)1(221(222)1()1+-=----+++-+t t t t t t∇f(x )1(+t d)1()=6t-3=0 所以t=0.5>0所以0min >t f(x )1(+t d)1()=3*0.25-3*0.5+4=3.25四、设,,i i i a b c （j=1,2,….,n ）考虑问题Min f(x)=∑=nj jj xc 1s.t. b nj jjxa =∑=10≥xj(j=1,2,….,n)1) 写出其Kuhn Tuker 条件 2) 证明问题最优值是])([12112∑=nj j j b c a解：1）因),....,1(n j x j = 为目标函数的分母故0>x j所以λ*j （j=1,…,n ）都为0所以Kuhn Tuker 条件为 0)()(=∇+∇x h x f μ即 ⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛---x c x c x c n n 2222211 +⎪⎪⎪⎪⎪⎭⎫ ⎝⎛a a a n 21μ=0 2）将ac xjjjμ=代入 h(x)=0 只有一点得221(nj b n j bμ==⇒=∑=故有ac ca x jj nj jjj b∑==1所以最优解是21211()n j j j b a c =⎡⎤⎢⎥⎢⎥⎣⎦∑.五、使用Kuhn Tuker 条件，求问题min f(x)=)2()1(2122--+x xs.t.,021212112≥≥=+=-x x x x x x 的Kuhn Tuker 点，并验证此点为问题的最优解解：x=(1/2,3/2) 0≠ 故1λ*，λ*2=0 则 0)()()(2211=+∇+∇x x x f h h μμ 即0111142222121=⎪⎪⎭⎫⎝⎛+⎪⎪⎭⎫ ⎝⎛-+⎪⎪⎭⎫ ⎝⎛--μμx x ⇒120,1μμ==-而⎪⎪⎭⎫ ⎝⎛=∇2002)(2x f ()210g x *∇= ()220g x *∇= ()210h x *∇=()220h x *∇=,()()()()()()()22222211221122H x f x g x g x h x h x f x λλμμ***********=∇+∇+∇+∇+∇=∇(){}{}12121213|00|1020,22T T T x y h y h y y y y y y *⎧⎫⎛⎫=∇=∇==-+-=+-==⎨⎬⎪⎝⎭⎩⎭故08)(2>=∇x x f x T ,即其为最优解.第二章、无约束优化问题一、设f(x)为定义在区间[a,b]上的实值函数，x *是问题min{f(x)|a b x ≤≤}的最优解。

《最优化方法》课程复习考试

《最优化方法》复习提要第一章最优化问题与数学预备知识§1. 1 模型无约束最优化问题 12min (),(,,,)T n n f x x x x x R =∈．约束最优化问题（},,2,1,0)(;,,2,1,0)(,|{l j x h m i x g R x x S j i n ===≥∈=∧）min ();...f x s t x S ⎧⎨∈⎩ 即 m i n ();..()0,1,2,,,()0,1,2,,.i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩其中()f x 称为目标函数，12,,,n x x x 称为决策变量，S 称为可行域，()0(1,2,,),()0(1,2,,)i j g x i m h x j l ≥===称为约束条件．§1. 2 多元函数的梯度、Hesse 矩阵及Taylor 公式定义设:,n n f R R x R →∈．如果n ∃维向量p ，n x R ∀∆∈，有()()()T f x x f x p x o x +∆-=∆+∆．则称()f x 在点x 处可微，并称()T df x p x =∆为()f x 在点x 处的微分．如果()f x 在点x 处对于12(,,,)T n x x x x =的各分量的偏导数(),1,2,,if x i n x ∂=∂都存在，则称()f x 在点x 处一阶可导，并称向量12()()()()(,,,)Tnf x f x f x f x x x x ∂∂∂∇=∂∂∂ 为()f x 在点x 处一阶导数或梯度．定理1 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处梯度()f x ∇ 存在，并且有()()T df x f x x =∇∆．定义设:,n n f R R x R →∈．d 是给定的n 维非零向量，de d=．如果 0()()lim()f x e f x R λλλλ→+-∈存在，则称此极限为()f x 在点x 沿方向d 的方向导数，记作()f x d∂∂．定理2 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处沿任何非零方向d 的方向导数存在，且()()T f x f x e d ∂=∇∂，其中de d=．定义设()f x 是n R 上的连续函数，n x R ∈．d 是n 维非零向量．如果0δ∃>，使得(0,)λδ∀∈，有()f x d λ+<（>）()f x ．则称d 为()f x 在点x 处的下降（上升）方向．定理3 设:,n n f R R x R →∈，且()f x 在点x 处可微，如果∃非零向量n d R ∈，使得()T f x d ∇<（>）0，则d 是()f x 在点x 处的下降（上升）方向．定义设:,n n f R R x R →∈．如果()f x 在点x 处对于自变量12(,,,)T n x x x x =的各分量的二阶偏导数2()(,1,2,,)i j f x i j n x x ∂=∂∂都存在，则称函数()f x 在点x 处二阶可导，并称矩阵22221121222222122222212()()()()()()()()()()n n n n n f x f x f x x x x x x f x f x f x f x x x x x x f x f x f x x x x x x ⎛⎫∂∂∂ ⎪∂∂∂∂∂ ⎪ ⎪∂∂∂ ⎪∇=∂∂∂∂∂ ⎪ ⎪⎪ ⎪∂∂∂⎪∂∂∂∂∂⎝⎭为()f x 在点x 处的二阶导数矩阵或Hesse 矩阵．定义设:,n m n h R R x R →∈，记12()((),(),,())T m h x h x h x h x =，如果 ()(1,2,,)i h x i m =在点x 处对于自变量12(,,,)T n x x x x =的各分量的偏导数()(1,2,,;1,2,,)i jh x i m j n x ∂==∂都存在，则称向量函数()h x 在点x 处是一阶可导的，并且称矩阵111122221212()()()()()()()()()()n n m n m m m n h x h x h x xx x h x h x h x x x x h x h x h x h x xx x ⨯∂∂∂⎛⎫ ⎪∂∂∂⎪⎪∂∂∂⎪∂∂∂∇= ⎪ ⎪⎪∂∂∂ ⎪ ⎪∂∂∂⎝⎭为()h x 在点x 处的一阶导数矩阵或Jacobi 矩阵，简记为()h x ∇．例2 设,,n n a R x R b R ∈∈∈，求()T f x a x b =+在任意点x 处的梯度和Hesse 矩阵．解设1212(,,,),(,,,)TTn n a a a a x x x x ==，则1()nk k k f x a x b ==+∑，因()(1,2,,)k kf x a k n x ∂==∂，故得()f x a ∇=．又因2()0(,1,2,,)i jf x i j n x x ∂==∂∂，则2()f x O ∇=．例3 设n n Q R ⨯∈是对称矩阵，,n b R c R ∈∈，称1()2TT f x x Qx b x c =++为二次函数，求()f x 在任意点x 处的梯度和Hesse 矩阵．解设1212(),(,,,),(,,,)T T ij n n n n Q q x x x x b b b b ⨯===，则121111(,,,)2n nnn ij i j k k i j k f x x x q x x b x c ====++∑∑∑，从而111111111()()()nn j j j j j j n n n nj j n nj j j j n f x q x b q x x bf x Qx b f x b q x b q x x ====⎛⎫⎛⎫∂⎛⎫+ ⎪ ⎪ ⎪∂⎛⎫ ⎪ ⎪⎪ ⎪ ⎪ ⎪ ⎪∇===+=+ ⎪ ⎪ ⎪ ⎪ ⎪∂⎝⎭ ⎪ ⎪ ⎪+ ⎪ ⎪ ⎪∂⎝⎭⎝⎭⎝⎭∑∑∑∑．再对1()(1,2,,)nij j i j i f x q x b i n x =∂=+=∂∑求偏导得到2()(,1,2,,)ij i jf x q i j n x x ∂==∂∂，于是1112121222212()n n n n nn q q q q q q f x Q q q q ⎛⎫⎪ ⎪∇== ⎪⎪⎝⎭．例 4 设()()t f x td ϕ=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求(),()t t ϕϕ'''．解由多元复合函数微分法知 2()(),()()T T t f x td d t d f x td d ϕϕ'''=∇+=∇+．定理4 设:,n n f R R x R →∈，且()f x 在点x 的某邻域内具有二阶连续偏导数，则()f x 在点x 处有Taylor 展式21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．证明设()(),[0,1]t f x t x t ϕ=+∆∈，则(0)(),(1)()f x f x x ϕϕ==+∆．按一元函数Taylor 公式()t ϕ在0t =处展开，有21()(0)(0)(),(0)2t t t t ϕϕϕϕθθ'''=++<<．从例4得知2(0)(),()()()T T f x x x f x x x ϕϕθθ'''=∇∆=∆∇+∆∆．令1t =，有21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．根据定理1和定理4，我们有如下两个公式()()()()()T f x f x f x x x o x x =+∇-+-，221()()()()()()()()2T T f x f x f x x x x x f x x x o x x =+∇-+-∇-+-．§1. 3 最优化的基本术语定义设:n f R R →为目标函数，n S R ⊆为可行域，x S ∈．（1）若x S ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的全局（或整体）极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的全局（或整体）最优解，并称()f x为其最优值．（2）若,x S x x ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格全局（或整体）极小点．（3）若x ∃的δ邻域(){}(0)n N x x R x x δδδ=∈-<>使得()x N x S δ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的局部极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的局部最优解．（4）若x ∃的δ邻域()(0)N x δδ>使得(),x N x S x x δ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格局部极小点．第二章最优性条件§2.1 无约束最优化问题的最优性条件定理 1 设:n f R R →在点x 处可微，若x 是问题min ()f x 的局部极小点，则()0f x ∇=．定义设:()n f S R R ⊆→在int x S ∈处可微，若()0f x ∇=，则称x 为()f x 的平稳点．定理2 设:n f R R →在点x 处具有二阶连续偏导数，若x 是问题min ()f x 的局部极小点，则()0f x ∇=，且2()f x ∇半正定．定理3 设:n f R R →在点x 处具有二阶连续偏导数，若()0f x ∇=，且2()f x ∇正定，则x 是问题min ()f x 的严格局部极小点．注：定理2不是充分条件，定理3不是必要条件．例1 对于无约束最优化问题2312min ()f x x x =-，其中212(,)T x x x R =∈，显然 2212()(2,3),T f x x x x R ∇=-∀∈，令()0f x ∇=，得()f x 的平稳点(0,0)T x =，而且2222020(),()0600f x f x x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．易见2()f x ∇为半正定矩阵．但是，在x 的任意δ邻域x x δ-<，总可以取到(0,)2T x δ=，使()()f x f x <，即x 不是局部极小点．例2 对于无约束最优化问题42241122min ()2f x x x x x =++，其中212(,)T x x x R =∈，易知3223112122()(44,44)Tf x x x x x x x ∇=++，从而得平稳点(0,0)T x =，并且 22221212221212001248(),()008412x x x x f x f x x x x x ⎛⎫+⎛⎫∇=∇=⎪ ⎪+⎝⎭⎝⎭．显然2()f x ∇不是正定矩阵．但是，22212()()f x x x =+在x 处取最小值，即x 为严格局部极小点．例3 求解下面无约束最优化问题332122111min ()33f x x x x x =+--，其中212(,)T x x x R =∈，解因为21212222201(),()0222x x f x f x x x x ⎛⎫-⎛⎫∇=∇= ⎪ ⎪--⎝⎭⎝⎭，所以令()0f x ∇=，有2122210,20.x x x ⎧-=⎪⎨-=⎪⎩解此方程组得到()f x 的平稳点(1)(2)(3)(4)1111,,,0202x x x x --⎛⎫⎛⎫⎛⎫⎛⎫==== ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭．从而2(1)2(2)2020(),()0202f x f x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭，2(3)2(4)2020(),()0202f x f x --⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．由于2(1)()f x ∇和2(4)()f x ∇是不定的，因此(1)x 和(4)x 不是极值点．2(3)()f x ∇是负定的，故(3)x 不是极值点，实际上它是极大点．2(2)()f x ∇是正定的，从而(2)x 是严格局部极小点．定理4 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微，若()0f x ∇=，则x 为min ()f x 的全局极小点．推论5 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微．则x 为min ()f x 的全局极小点的充分必要条件是()0f x ∇=．例 4 试证正定二次函数1()2TT f x x Qx b x c =++有唯一的严格全局极小点1x Q b -=-，其中Q 为n 阶正定矩阵．证明因为Q 为正定矩阵，且(),n f x Qx b x R ∇=+∀∈，所以得()f x 的唯一平稳点1x Q b -=-．又由于()f x 是严格凸函数，因此由定理4知，x 是()f x 的严格全局极小点．§2.2 等式约束最优化问题的最优性条件定理1 设:n f R R →在点x 处可微，:(1,2,,)n j h R R j l →=在点x 处具有一阶连续偏导数，向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的局部极小点，则,1,2,,j v R j l ∃∈=，使得1()()0lj j j f x v h x =∇-∇=∑．称(,)()()T L x v f x v h x =-为Lagrange 函数，其中12()((),(),,())T l h x h x h x h x =．称12(,,,)T l v v v v =为Lagrange 乘子向量．易见(,)x v L L x v L ∇⎛⎫∇= ⎪∇⎝⎭，这里1(,)()(),(,)()lx j j v j L x v f x v h x L x v h x =∇=∇-∇∇=-∑．定理 2 设:n f R R →和:(1,2,,)n j h R R j l →=在点n x R ∈处具有二阶连续偏导数，若l v R ∃∈，使得(,)0x L x v ∇=，并且，,0n z R z ∀∈≠，只要()0,1,2,,T j z h x j l ∇==，便有2(,)0T xx z L x v z ∇>，则x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的严格局部极小点．例1 试用最优性条件求解 221212min ();..()80.f x x x s t h x x x ⎧=+⎨=-=⎩解 Lagrange 函数为221212(,)(8)L x v x x v x x =+--，则1221122(,)2(8)x vx L x v x vx x x -⎛⎫⎪∇=- ⎪ ⎪--⎝⎭，从而得(,)L x v 的平稳点(8,8,2)T 和(8,8,2)T --，对应有(8,8),2T x v ==和(8,8),2T x v =--=．由于221222(,),()222xx x v L x v h x x v--⎛⎫⎛⎫⎛⎫∇==∇= ⎪⎪ ⎪--⎝⎭⎝⎭⎝⎭．因此1212(){(,)|(,)()0}T M x z z z z h x =∇=121221{(,)|0}T z z z x z x =+= 1212{(,)|}T z z z z ==-．并且(),0z M x z ∀∈≠，有222211221(,)24280T xx z L x v z z z z z z ∇=-+=>．利用定理2，所得的两个可行点(8,8)T x =和(8,8)T x =--都是问题的严格局部极小点．§2.3 不等式约束最优化问题的最优性条件定义设,,,0n n S R x clS d R d ⊆∈∈≠，若0δ∃>，使得，,(0,)x d S λλδ+∈∀∈，则称d 为集合S 在点x 处的可行方向．这里{|,(),0}n clS x x R SN x δδ=∈≠∅∀>．令 {|0,0,,(0,)}D d d x d S δλλδ=≠∃>+∈∀∈使，0{|()0}T F d f x d =∇<．定理 1 设n S R ⊆是非空集合，:,,()f S R x S f x →∈在点x 处可微．若x 是问题min ()x Sf x ∈的局部极小点，则 0F D =∅．对于min ();..()0,1,2,,,i f x s t g x i m ⎧⎨≥=⎩ （1）其中:,:(1,2,,)n n i f R R g R R i m →→=．令(){|()0,1,2,,}i I x i g x i m ===，其中x 是上述问题（1）的可行点．定理 2 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，如果x 是问题（1）的局部极小点，则 00F G =∅，其中0{|()0,()}T i G d g x d i I x =∇>∈．定理 3 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，若x 是问题（1）的局部极小点，则存在不全为0的非负数0,(())i u u i I x ∈，使0()()()0iii I x u f x u g x ∈∇-∇=∑．（x 称为Fritz John 点）如果()(())i g x i I x ∉在点x 处也可微，则存在不全为0的非负数01,,,m u u u ，使01()()0,()0,1,2,,.mi i i i iu f x u g x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为Fritz John 点）例1 设1311222min ();..()(1)0,()0.f x x s t g x x x g x x =-⎧⎪=--≥⎨⎪=≥⎩试判断(1,0)T x =是否为Fritz John 点．解因为12100(),(),()011f x g x g x -⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，所以为使Fritz John 条件01210000110u u u -⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．取0120,0u u u α===>即可，因此x 是Fritz John 点．定理 4 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，并且()(())i g x i I x ∇∈线性无关．若x 是问题（1）的局部极小点，则存在0(())i u i I x ≥∈，使得()()()0iii I x f x u g x ∈∇-∇=∑．（x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在0(1,2,,)i u i m ≥=，使得1()()0,()0,1,2,,.mi i i i if x ug x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为K-T 点）例2 求最优化问题21211222min ()(1);..()20,()0f x x x s t g x x x g x x ⎧=-+⎪=--+≥⎨⎪=≥⎩的K-T 点．解因为1122(1)10(),(),()111x f x g x g x --⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，所以K-T 条件为111211222122(1)0,10,(2)0,0,0,0.x u u u u x x u x u u -+=⎧⎪+-=⎪⎪--+=⎨⎪=⎪⎪≥≥⎩ 若20u =，则11u =-，这与10u ≥矛盾．故20u >，从而20x =；若120x -+=，则12u =-，这与10u ≥矛盾．故10u =，从而211,1u x ==；由于120,0u u ≥≥，且(1,0)T x =为问题的可行点，因此x 是K-T 点．定理5 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．§2.4 一般约束最优化问题的最优性条件考虑等式和不等式约束最优化问题min ();..()0,1,2,,,()0,1,2,,,i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩（1）其中:,:(1,2,,),:(1,2,,)n n n i j f R R g R R i m h R R j l →→=→=．并把问题（1）的可行域记为S ．,(){|()0,1,2,,}i x S I x i g x i m ∀∈==．定理 1 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，并且向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题（1）的局部极小点，则 00F G H =∅，这里0{|()0}T F d f x d =∇<，0{|()0,()}T i G d g x d i I x =∇>∈，0{|()0,1,2,,}T j H d h x d j l =∇==．定理 2 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续．若x 为问题（1）的局部极小点，则存在不全为0的数0,(())i u u i I x ∈和(1,2,,)j v j l =，且0,0(())i u u i I x ≥∈，使0()1()()()0liijji I x j u f x u g x v h x ∈=∇-∇-∇=∑∑．（x 称为Fritz John 点）若()(())i g x i I x ∉在点x 处也可微，则存在不全为0的数0,(1,2,,)i u u i m =和(1,2,,)j v j l =，且0,0(1,2,,)i u u i m ≥=，使011()()()0,()0,1,2,,.m li i j j i j i iu f x u g x v h x u g x i m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为Fritz John 点）例1 设2212311222212min ();..()0,()0,()(1)0.f x x x s t g x x x g x x h x x x ⎧=+⎪=-≥⎪⎨=≥⎪⎪=--+=⎩试判断(1,0)T x =是否为Fritz John 点．解 (){2}I x =，且2200(),(),()011f x g x h x ⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，因此为使Fritz John 条件022*******u u v ⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．所以取020,1,1u u v ===-，即知x 是Fritz John 点．定理 3 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，且向量组()(()),()(1,2,,)i j g x i I x h x j l ∇∈∇=线性无关．若x 是问题（1）的局部极小点，则存在数0(())i u i I x ≥∈和(1,2,,)j v j l =，使()1()()()0liijji I x j f x u g x v h x ∈=∇-∇-∇=∑∑．（x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在数0(1,2,,)i u i m ≥=和(1,2,,)j v j l =，使11()()()0,()0,1,2,,.m li i j j i j i if x ug x vh x u g xi m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为K-T 点）令 1212()((),(),,()),()((),(),,())T T m l g x g x g x g x h x h x h x h x ==，1212(,,,),(,,,)T T m l u u u u v v v v ==，称u 与v 为广义Lagrange 乘子向量或K-T 乘子向量．()()()0,()0,0.T T Tf xg x uh x v u g x u ⎧∇-∇-∇=⎪=⎨⎪≥⎩令(,,)()()()T T L x u v f x u g x v h x =--为广义Lagrange 函数．称(,,)L x u v 为广义Lagrange 函数．则K-T 条件为(,,)0,()0,0.x TL x u v u g x u ∇=⎧⎪=⎨⎪≥⎩定理 4 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，()(1,2,,)j h x j l =是线性函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．例2 求解最优化问题221221212min ()(3)(1);..()0,()230.f x x x s t g x x x h x x x ⎧=-+-⎪=-+≥⎨⎪=+-≥⎩ 解广义Lagrange 函数为222121212(,,)()()()(3)(1)()(23)L x u v f x ug x vh x x x u x x v x x =--=-+---+-+-．因为111(,,)2(3)22L x u v x ux v x ∂=-+-∂，22(,,)2(1)L x u v x u v x ∂=---∂．所以K-T 条件及约束条件为112212212122(3)220,2(1)0,()0,0,230,0.x ux v x u v u x x x x x x u -+-=⎧⎪---=⎪⎪-+=⎪⎨-+≥⎪⎪+-=⎪≥⎪⎩ 下面分两种情况讨论．（1）设0u =，则有12122(3)20,2(1)0,230.x v x v x x --=⎧⎪--=⎨⎪+-=⎩ 由此可解得12718,,555x x v ===-，但71(,)55T x =不是可行点，因而不是K-T 点．（2）设0u >，则有112212122(3)220,2(1)0,0,230.x ux v x u v x x x x -+-=⎧⎪---=⎪⎨-+=⎪⎪+-=⎩ 由此可得211230x x --+=，解得11x =或13x =-。

最优化理论课程教学大纲

《最优化理论》课程教学大纲一、课程基本信息
二、课程目标及对毕业要求指标点的支撑
三、教学内容及进度安排
四、课程考核
五、教材及参考资料
教材：《最优化理论与算法（第2版）》,陈宝林著，清华大学出版社，2005年，ISBN：97873021137680
参考书：
1、《最优化方法》，孙文瑜、徐成贤、朱德通主编，高等教育出版社，2004年第一版,ISBN：9787040143751o
2、《最优化理论与方法》，袁亚湘，孙文瑜著，科技出版社，2010年（第二版），ISBN：9787030054135o
3、《最优化计算方法》，黄正海，苗新河著，科技出版社，2015年（第二版），ISBN：9787030433053o
六、教学条件
本课程属于基础理论与应用型课程，对实验条件要求不是很高。

学校实验大楼拥有的计算机软硬件资源，高性能计算机，投影仪等设备，基本能够完成所需的理论计算任务、数值模拟试验以及程序测试等。

需要使用多媒体教室授课，授课电脑安装了WindoWS7、
OffiCe2010、1ingo11Python>Mat1ab2015>Mathematica11>MathTyPe6.9以上版本的正版软件。

附录：各类考核评分标准表。

最优化方法第一章最优化问题与凸分析基础

性质： 1) 凸集的交集是凸集；（并集一般不是） 2) 凸集的内点集是凸集； 3) 凸集的闭包是凸集。
4.2 凸函数
定义: 设集合 S Rn 为凸集，函数 f :SR，若 x(1), x(2) S, ( 0 , 1 ) ，均有
f( x(1)＋(1- ) x(2) ) ≤f(x(1))+(1- )f(x(2)) ，则称 f(x) 为凸集 S 上的凸函数。
hi x 0 等式约束
称满足所有约束条件的向量 x为可行解，或可行点，全体
可行点的集合称为可行集，记为D 。
D {x | hi x 0, i 1, 2, m, g j x 0,
j 1, 2, p, x Rn } 若 hi ( x), g j ( x) 是连续函数，则D 是闭集。
2.3 Hesse矩阵
Hesse 矩阵：多元函数 f (x) 关于 x 的二阶偏导
数矩阵
2
f
X
x12
2
f
X
f
X
2 f X
x1 x2
2
f
X
x1xn
2 f X
x2x1
2 f X
x22
2 f X
x2 xn
2
f
X
xnx1
2
f
X
xnx2
2
f
X
xn2
例：求目标函数 f (x) x12 x22 x32 2x1x2 2x2x3 3x3 的梯度和Hesse矩阵。
若进一步有上面不等式以严格不等式成立，则称
f(x) 为凸集 S 上的严格凸函数。当- f(x) 为凸函数（严格凸函数）时，则称 f(x) 为
凹函数（严格凹函数）。
严格凸函数

第1章高等数学规划预备知识

第1章预备知识§1.1 基本概念与术语1.1.1 数学规划问题举例例1 食谱（配食）问题● 假设市场上有n 种不同的食物，第j 种食物每个单位的销售价为),,2,1(n j c j =。

● 人体在正常生命活动过程中需要m 种基本的营养成分。

为了保证人体的健康，一个人每天至少需要摄入第i 种营养成分),,2,1(m i b i =个单位。

● 第j 种食物的每个单位包含第i 种营养成分ij a 个单位。

食谱（配食）问题就是要求在满足人体基本营养需求的前提下，寻找最经济的配食方案（食谱）。

建立食谱的数学模型引入决策变量i x ：食谱中第i 种食物的单位数量i ni i x c ∑=1mins.t. m i b x a i j nj ij ,,2,1,1=≥∑= n j x j ,,2,1 ,0 =≥例2 选址与运输问题● 假设某大型建筑公司有m 个项目在不同的地点同时开工建设.记工地的位置分别为m i b a P i i i ,,2,1),,( ==. ● 第i 个工地对某种建筑材料的日用量是已知的（比如水泥的日用量（单位：t ）为i D ）． ● 该公司准备分别在),(111y x T =和),(222y x T =两个地点建造临时料场，并且保证临时料场对材料的日储量（单位：t ）分别为1M 和2M ．如何为该公司确定临时料场的位置，并且制订每天的材料供应计划，使建筑材料的总体运输负担最小？建立选址与运输问题的数学模型引入决策变量：位置变量),(k k y x ,从临时料场向各工地运送的材料数量),,2,1 ;2,1(m i k z ki ==.∑∑-+-==21122)()(min k mi i k i k ki b y a x zs.t. 2,1 ,1=≤∑=k M z k mi kim i D z i k ki ,,2,1 ,21==∑=m i k y x z k k ki ,,2,1,2,1 , R ),( ,02 ==∈≥例3 生产计划问题● 某企业向客户提供一种机器，第1季度末需要交货1c 台，第2季度末需要交货2c 台，第3季度末需要交货3c 台．● 该企业最大生产能力是每季度生产b 台.● 若用x 表示该企业在某季度生产的机器台数，则生产费用（单位：元）可以用函数αx a x a x f 21)(+=来描述.● 企业需为每台机器在每个季度多支付p 元的存储费． ● 假设在第一个季度开始时无存货，不允许缺货.如何制订生产计划，确定在每个季度应该生产多少台机器，才能既履行交货合同，又使企业总体费用最少？建立生产计划的数学模型决策变量：用)3,2,1(=i x i 表示企业在第i 个季度生产的机器数量．合同规定的总数量：321321c c c x x x ++=++每个季度生产数量要求：每个季度生产数量j x 不大于最大生产能力b ，不少于该季度末的交货量j c 与该季度初的库存量j I 之差.第j 个季度初库存量：3,2,1 ,)(=∑-=<j c x I ji i i j （1I =0）变量隐含要求：)3,2,1(0=≥j x j ，并且取整数．企业总费用：所有季度生产与存储费用之和∑+∑===3231)()(i i i i pI x f x F)2()))3(()(min 213121c c p x a x p i a x F i i i +-∑+-+==αs.t. ∑=∑==3131j j j j c x11c x ≥2121c c x x +≥+3,2,1,,0=∈≤≤j Z x b x j j (Z 表示所有整数的集合)1.1.2 数学规划问题的模型与分类● 形成一个最优化问题的数学模型⏹ 首先需要辨识目标，确定优化标准，即待研究系统的性能定量描述，如成本、数量、利润、时间、能量等；⏹ 其次用合适的决策变量描述系统的特征量，并将目标表示成决策变量的函数（目标函数，objective function )；⏹ 此外需确定变量所受的范围限制，由若干个函数的等式或者不等式来定义（约束函数，constraint functions )．● 最优化问题指在决策变量所受限制范围内，对相关的目标函数进行极小化或者极大化.)(min nRx f x ∈ s.t. I i x g i ∈≥ ,0)(E j x h j ∈= ,0)(满足约束条件的点称为可行点（feasible point ) ，所有可行点的集合称为可行域（feasible region ) ，记为S .- 当nS R =，无约束优化问题;否则,约束优化问题．- i g f ,和i h 都是线性函数，为线性规划（linear programming ，LP );否则为非线性规划（nonlinear programming, NLP ）.- 所有变量取整数，称为整数规划（integer programming );允许一部分变量取整数，另一部分变量取实数，为混合整数规划（mixed integer programming, MIP ）.- 从一个连通无限集合（可行域）中寻找最优解, 称为连续优化(continuous optimization )问题；从一个有限的集合或者离散的集合中寻找最优解，称为组合优化（combinatorial optimization)，或者离散优化（discrete optimization ）．- 存在多个目标，即目标函数)(x f 取一个向量值函数，称多目标规划（multi-objective programming)，或多目标优化．- 最优化问题中出现的参数是完全确定的，称为确定型优化（deterministic optimization ）问题;否则称为非确定型优化（uncertain optimization) 问题，包括了随机规划（stochastic programming ）、模糊规划（fuzzy programming ) 等特殊情形．1.1.3 最优解的概念定义: 设)(x f 为目标函数，S 为可行域，S x ∈，若对每个S x ∈，成立)()(x f x f ≥，则称x 为)(x f 在S 上的全局极小点。

数学知识点归纳线性规划与最优化问题

数学知识点归纳线性规划与最优化问题数学知识点归纳：线性规划与最优化问题数学作为一门学科，其中有很多重要的知识点需要我们去学习和掌握。

线性规划和最优化问题就是其中的两个重要知识点。

本文将对线性规划和最优化问题进行详细归纳和讲解。

一、线性规划线性规划是一种数学优化方法，其目标是在一组线性约束条件下，寻找一个线性目标函数的最大值或最小值。

线性规划广泛应用于工程、经济、管理等领域。

下面我们将逐步介绍线性规划的基本概念、模型和解法。

1. 问题的建模在线性规划中，我们需要确定目标函数、约束条件和决策变量。

目标函数是我们希望最大化或最小化的线性指标，约束条件限制了决策变量的取值范围。

通过确定这些要素，我们可以建立一个数学模型，描述出线性规划问题。

2. 单变量线性规划在单变量线性规划中，我们只有一个决策变量。

通过绘制目标函数和约束条件的图像，我们可以找到使目标函数取得最大值或最小值的决策变量。

3. 多变量线性规划在多变量线性规划中，我们有多个决策变量。

通过使用线性代数和数学优化方法，我们可以求解出目标函数的最优解。

4. 线性规划的解法求解线性规划问题的常用方法有单纯形法和内点法。

单纯形法是一种基于顶点的搜索方法，通过不断迭代改进目标函数的值，直到找到最优解。

内点法则是通过将问题转化为一系列约束条件更强的问题，逐步逼近最优解。

二、最优化问题最优化问题是数学分析中的一个重要问题领域，它涉及在一定约束条件下找出使目标函数取得最大值或最小值的问题。

最优化问题广泛应用于工程、经济和科学等领域。

下面我们将介绍最优化问题的基本概念和求解方法。

1. 单变量最优化问题在单变量最优化问题中，我们只有一个自变量。

通过求导、求极值点和判断二阶导数的符号，我们可以找到目标函数的最大值或最小值。

2. 多变量最优化问题在多变量最优化问题中，我们有多个自变量。

通过使用梯度下降法、牛顿法等数值优化方法，我们可以找到目标函数的最优解。

3. 最优化问题的约束条件最优化问题中的约束条件可以是等式约束或不等式约束。

第一章数值最优化方法建模与数学预备知识分解PPT课件

x4 a5
例3：两杆桁架的最优设计问题。由两根空心圆杆组成的对称两
杆桁架，其顶点承受负载为2p，两支座之间的水平距离为2L，圆
杆的壁厚为B，杆的比重为ρ，弹性横量为E，屈服强度为δ。求在
桁架不被破坏的情况下使桁架重量最轻的桁架高度h及圆杆平均
直径d。
B
2p
p1
p
2
h
h
d
2p
2L
受力分析图
圆杆截面图
问题追求的目标是圆柱体表面积最小。即
min 2 r h 2 r2
则得原问题的数学模型：
min2rh 2r2
s.t.
r2h40 3
利用在微积分学中所学的Lagrange乘子法可求解本问题
L r.h .2 rh2 r2 r2h4
3
分别对r、h、λ求偏导数，并令其等于零，有:
L r
最优化技术工作被分成两个方面，一是由实际生产或科
技问题形成最优化的数学模型，二是对所形成的数学问题进
行数学加工和求解。
对于第二方面的工作，目前已有一些较系统成熟的资料，但对于第一方面工作即如何由实际问题抽象出数学模型，目前很少有系统的资料，而这一工作在应用最优化技术解决实际问题时是十分关键的基础，没有这一工作，最优化技术将成为无水之源，难以健康发展。
因此，我们在学习本课程时要尽可能了解如何由实际问题形成最优化的数学模型。
为了便于大家今后在处理实际问题时建立最优化数学模型，下面我们先把有关数学模型的一些事项作一些说明。
所谓数学模型就是对现实事物或问题的数学抽象或描述。建立数学模型时要尽可能简单，而且要能完整地描述所研究的系统，但要注意到过于简单的数学模型所得到的结果可能不符合实际情况，而过于详细复杂的模型又给分析计算带来困难。因此，具体建立怎样的数学模型需要丰富的经验和熟练的技巧。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

第一章最优化问题与数学预备知识1. 最优化问题的一般形式给定目标函数，满足不等式约束及等式约束，记为：)(min x f X Ω∈，其中[]Tn x x x x ,...,,21=)(,...2,10)(,...,2,10)(..n l l j x h mi x s t s j i <===≥满足所有约束的向量X 称为容许解或容许点，容许点集合称为容许集。

从最优化问题的一般形式可以看出，最优化要解决的问题就是在容许集中找一点*x ，使目标函数)(x f ，在该点取极小。

这样*x 称为问题的最优点，而相应的目标函数值)(*x f 称为最优值。

2.最优化问题分类最优化问题可分为静态问题和动态问题两大类，本书只讨论静态问题。

静态最优化问题又可分为无约束问题和约束问题两类。

例：求Rosenbrock 函数大极小点，即{}212212)1()(100min x x x -+-。

这是一个无约束二维问题。

例：求优化问题{}3214min x x x ++ 422..321=+-x x x t s0,0,0321≥≥≥x x x 的最优解。

这是一个约束最优化问题。

无约束问题又可分为一维问题及n 维问题，求解一维问题的方法称为一维搜索或直线搜索，在最优化方法中起着十分重要的作用，故单独列出。

约束问题又分为线性规划和非线性规划。

3.二次函数1)二次函数的一般形∑∑∑===++==n i nj ni i i j i ij n c x b x x q x x x f x f 1112121),...,,()(它的矩阵形式是c x b Qx x x f T T ++=21)(其中⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡= (2)12222111211nn n n n n q q q q q qq q q Q ,⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n b b b b (21)这里Q 是对称矩阵。

我们称特殊的二次函数Qx x x f T 21)(=为二次型。

（无一次项和常数项）2)正定矩阵设Q 是n n ⨯阶对称矩阵。

若n R x ∈∀且0≠x 时都有0>Qx x T ，则称矩阵Q 是正定的；若n R x ∈∀都有0≥Qx x T ，则称矩阵Q 是半正定的；若n R x ∈∀且0≠x 时都有0<Qx x T ，则称矩阵Q 是负定的。

若n R x ∈∀都有0≤Qx x T ，则称矩阵Q 是半负定的。

一个对称矩阵是不是正定的，可用sylvester 定理判定，该定理内容是。

一个n n ⨯阶对称矩阵Q 是正定矩阵的充分必要条件是，矩阵Q 的各阶主子式都是正的。

3)二次函数的最优解析解如矩阵Q 是正定矩阵c x b Qx x x f T T ++=21)(，)(x f 的等值面是同心椭球面族。

其中心是b Q x 1*--=，还可证明b Q x 1*--=恰是二次目标函数的唯一极小点。

综上所述，对于二次目标函数有有效的求极小点的算法。

该算法也可用于一般目标函数小范围内的最优解搜寻，即当搜索区域位于最优点附近时，该方法是一种有效算法。

最优化理论中判定一个算法的好坏标准之一，就是把该算法用于Q 为正定的二次目标函数，如果能迅速地找到极小点，那就是好的算法；否则就是不好的或不太好的算法。

特别地，当把一个算法应用于Q 为正定的二次目标函数时，如果在有限步内就能求出极小点来，那么这种算法称为二次收敛算法，或具有二次收敛性。

4.梯度与Hessian 矩阵 1)多元函数的可微性与梯度定义1:对于函数)(x f ，如果存在n 维向量l ，对于任意n 维向量p ,有：0)()(lim 000=--+→pp l x f p x f T p ，则称)(x f 在0x 处可微。

显而易见，如)(x f 在0x 处可微，则有：)()()(00p O p l x f p x f T +=-+实际上l 就是)(x f 的偏导数向量Tn x x f x x f x x f l ⎥⎦⎤⎢⎣⎡∂∂∂∂∂∂=)(...)(,)(02010 证明如下：令[]n l l l l ...,,21=；取i i e p p =，其中i p 是无穷小变量，i e 是第i 个坐标轴上的单位向量，即：Tii e ⎥⎦⎤⎢⎣⎡=0...,0,1,0...,0i i i i x i i i p i i p x x f l x x f x x f p x f e p x f p x f e p x f i i ∂∂==∇-∇+=-+=-+→∇→→)()()()()()()(0000000000lim lim lim定义2: 以)(x f 的n 个偏导数为分量的向量称为)(x f 在x 处的梯度，记为Tn x x f x x f x x f x f ⎥⎦⎤⎢⎣⎡∂∂∂∂∂∂=∇)(...,,)(,)()(21因此)()()()(000p O p x f x f p x f T +∇+=+，这个公式与一元函数的Taylor 展开式是相对应的。

2)方向导数定义: 设f 是定义在n R 中区域上的实值函数，f 在点0x 处可微，p 是固定不变的常量，e 是方向p 上的单位向量，则称极限tx f te x f p x f t )()(lim )(0000-+=∂∂+→为函数)(x f 在点0x 处沿p 方向的方向导数。

若0)(0<∂∂px f ，则)(x f 从0x 出发在其附近沿p 方向是下降的。

若0)(0>∂∂px f ，则)(x f 从0x 出发在其附近沿p 方向是上升。

事实上，若0)(0<∂∂px f ，则当0>t 且充分小时，必有0)()(00<-+t x f te x f ，即)()(0x f x f <，即)(x f 是下降的。

同理可说明，若0)(0>∂∂px f ，)(x f 是上升的。

定理：设f 是定义在n R 中区域上的实值函数，f 在点0x 处可微，则e xf px f T )()(00∇=∂∂，其中e 是p 方向的单位向量。

证明：因为)()()()(000p O p x f x f p x f T +∇=-+e xf tt o e x f t t x f te x f p x f T T t t )()()(lim )()(lim )(0000000∇=+∇=-+=∂∂+→+→推论：若0)(0<∇p x f T ，则p 方向是函数)(x f 在点0x 处的下降方向；若0)(0>∇p x f T ，则p 方向是函数)(x f 在点0x 处的上升方向；方向导数的正负决定了函数的升降，其绝对值的大小决定函数值升降的快慢。

绝对值越大，升降的速度就越快。

3)最速下降方向βcos )()()(000x f e x f px f T ∇=∇=∂∂ 其中β是梯度与p 方向的夹角。

因此，函数负梯度方向就是函数的最速下降方向。

4)梯度的性质①函数在某点的梯度若不为零，则必与过该点的等值面垂直。

②梯度方向是函数具有最大变化率的方向。

③若C x f =)(，则0)(=∇x f ，即0=∇C ④b x b T =∇)( ⑤x x x T 2)(=∇ ⑥Qx Qx x T 2)(=∇ 5) Hessian 矩阵(1)向量值函数的导数设g 是定义在n R 中区域上的向量值函数,如果)(x g 的所有分量)(),...(),(21x g x g x g m 在0x 点都可微，那么向量值函数)(x g 在点0x 处称为可微。

若)(x g 在点0x 处可微，则对于任意的n 维向量p 都有0)()()(lim 0000=∇--+→pp x g x g p x g T i i i p因为向量的极限是通过它所有分量的极限来定义的，所以上式等价于0)()()(lim0000=∇--+→ppx g x g p x g p其中)(0x g ∇称为函数)(x g 在点0x 处的导数。

也称函数)(x g 在点0x 处的Jacobi 矩阵。

⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡∇∇∇=∇n m m m n n m x x g x x g x x g x x g x x g xx g x x g x x g x x g g g g x g )(...)()(............)(...)()()(...)()(...)(020100220210012011012102 设n m =，并且)()(x f x g ∇=，其中)(x f 是n 元函数，假定它具有二阶连续偏导数。

则：⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂∂=∇∇=∇22221222222212121222122)(...)()(............)(...)()()(...)()())(()(n nnn n x x f x x x f x x x f x x x f x x f xx x f x x x f x x x f x x f x f x f在微积分中已经证明过，当)(x f 的所有二阶偏导数连续时，有ij j i x x x f x x x f ∂∂∂=∂∂∂)()(22，在这种情况下，Hessen 矩阵是对称的。

(2)几个特殊向量的导数①O c =∇,其中c 是分量全为常数的n 维向量，O 是n n ⨯阶零矩阵。

②I x =∇， ③Q Qx =∇)(3))()(0tp x f t +=ϕ的一二阶导数设[])0()0(2)0(10...,,nx x x x = )...,,()()0(2)0(21)0(1n n tp x tp x tp x f t +++=ϕp tp x f p x tp x f t T i ni i)()()(010'+∇=∂+∂=∑=ϕ p tp x f p p p x x tp x f p x tp x f dt d t T ni n i nj i j i j i i )()()()(02111020''+∇=∂∂+∂=⎥⎦⎤⎢⎣⎡∂+∂=∑∑∑===ϕ 5.多元函数的Taylor 展开式定理: 设f 是定义在n R 中区域上的实值函数，具有二阶连续偏导数，则：p x f p p x f x f p x f T T )(21)()()(2∇+∇+=+ 其中p x x θ+=，而10<<θ 证明：设)()(tp x f t +=ϕ，于是)()1(),()0(p x f x f +==ϕϕ按一元函数Taylor 展开定理把)(t ϕ在0=t 点展开，得到2''')(21)0()0()(t t t t θϕϕϕϕ++=，其中10<<θ。