非线性规划-KT条件

第三讲非线性规划§4约束极值问题(1)问题min(),{|()0,1,}jf XR X g X j l⎧⎨=≥=⎩<1>思路:有约束→无约束; 非线性→线性; 复杂→简;一、最优性条件1. 可行下降方向(有用约束,可行方向,下降方向) (1) 有用(效)约束设<1>式的(),()jf Xg X有一阶连续偏导设(0)X是一个可行解, 下一步考察时，要讨论约束.分析: 应有(0)(0)(0)()0()0()0j j j g X g X g X ⎧>⎪≥→⎨=⎪⎩ 若(0)()0j g X>,则在(0)()U X内,有()0j g X >, 此时各个方向均可选. 若(0)()0j g X =,则(0)X∈()0j g X =形成的边界, 影响下一步选向.1x 2x {|()0}R X g X =≥()f X ()0j g X =X故称()0j g X =是(0)X 点的有效约束. (2) 可行方向(对可行域来说) 设(0)X 为可行点, P 为某方向, 若存在00λ>, 使得(0)0,[0,]XP R λλλ+∈∈则称P 是(0)X 点的一个可行方向. (a) 可行方向P 与有效约束(0)()0j g X=的梯度(0)()j g X ∇关系是:(0)()0T j g X P ∇≥.记有效约束下标集(0){|()0,1}j J j g X j l ==≤≤ 若P 为(0)X 的可行方向, 则 存在00λ>, 使得当0[0,]λλ∈,有(0)(0)()()0,j j g X P g X j J λ+≥=∈从而(0)(0)0d ()()0,d j T j g X P g X P j J λλλ=+=∇≥∈见下图.(b)反之, 若(0)()0Tj g XP ∇>, 则P 必为可行方向.(0)(0)(0)()()()()T j j j g X P g X g X P o λλλ+=+∇+<1>对有效约束(0)()0j g X=,只要λ充分小,得(0)1()0g X =(0)2()0g X =(0)2()g X ∇(0)1()g X ∇P(0)X •(0)()0j g X P λ+≥, 所以P 是可行方向;<2>对无效约束(0)()0j g X >,同样只要λ充分小, 就有(0)()0j g X P λ+≥,故P 也是可行方向; 事实上, 对无效(0)()0j g X>,P ∀都是可行方向.(3) 下降方向(对目标函数来说) 设(0)XR ∈, 对某P 方向, 若在00[0,],0λλλ''∈>内, 有(0)(0)()()f X P f X λ+<则称P 是一个下降方向. 下降方向判定: 若(0)()0Tf XP ∇<,则P 是(0)X 的一个下降方向.因为(0)()()f X f X P λ=+(0)(0)()()()T f X f X P o λλ=+∇+,只要λ充分小, 都有(0)()()f X f X <.(4) 可行下降方向 若(0)XR ∈的某方向P 是可行方向+下降方向,则称P 是(0)X的可行下降方向.即 存在00λ>,当0[0,]λλ∈时,有(0)()0j g X P λ+≥且(0)(0)()()f X P f X λ+<,是继续寻优方向.讨论: (0)X 非极小值点⇔存在可行下降方向P ; (0)X极小值点⇔无可行下降方向P ;(可行但不下降,或下降不可行)定理(局部极(最)小必要条件)设X *是min (),{()0}i f X X g X ∈≥局部极小点,(),(),j f X g X j J ∈(有效约束下标集)在X *处可微, (),j g X j J ∉在X *处连续,则在X *处无可行下降方向P ,即不存在P , 使**()0,,()0,T j Tg X P j J f X P ⎧∇>∈⎨∇<⎩(**) 证 否则由(**)及前面的分析, 可找出可行下降点 →X *非局部极小值点→矛盾.如图 所示问题:min (),{|()0,1,}j f X R X g X j l ⎧⎨=≥=⎩<1>2. 库恩—塔克条件(局部最小的必要条件) 是非线性规划中最重要成果之一 (1) Gordan 引理(不加证明) 设12,,...,l A A A 是l 个n 维向量, 则1x 2x ()f X ∇()f X 1()g X *∇*P ∃/,使0,1,2,...,Tj A P j l <=⇔ 0j μ∃≥,不全为零, 使10lj j j A μ==∑.(不指向同侧的向量, 正组合为零)(如l =3,n =2)若同侧, 则有P (图a), 否则无P (图b),但可正组为0.3A 1A 2A P H ()a 3A 1A 2A P H ()b(2) Fritz John 定理设X *是<1>极小值点, ()f X 和()j g X 有一阶连续偏导数, 则存在不全为零的01,,...,l μμμ, 使⎧⎪⎨⎪⎩01()()0()0,1,2,...,0,1,2,...,l j j j j j j f X g X g X j l j lμμμμ**=*∇-∇===≥=∑ 证明 因X *是问题<1>的解, 故由定理4, 不存在可行下降方向P, 使()0()0,T T j f X P g X P j J **⎧∇<⎪⎨-∇<∈⎪⎩由Gordan 引理,存在不全为零非负数0,,j j J μμ∈使0()()0j j j Jf Xg X μμ**∈∇-∇=∑对无效约束j J ∉, 令0j μ=, 则()0j j g X μ*∇=从而有(对所有l )01()()0lj j j f X g X μμ**=∇-∇=∑ 且有 ()0,0,1,2,...,j j j g X j l μμ*=≥=, 证毕. 注1: 类似于条件极值的必要条件.注2 若00μ=,则有效约束的()j g X *∇正线性相关→同侧→有可行下降方向→X *非极值点.故一般设()j g X *∇线性无关→00μ>. 以上条件称为 Fritz John 条件, *X 称为Fritz John 点.(3) 必要条件 (库恩-塔克条件)设X *是<1>极小值点, ()f X 和()j g X 有一阶连续偏导,且有效约束梯度线性无关,则1,...,l μμ**∃, 使⎧⎪⎨⎪⎩1()()0()0,1,2,...,0,1,2,...,l j j j j j j f X g X g X j l j l μμμ***=***∇-∇===≥=∑<2> 证明 由Fritz John 引理, ()j g X *∇j J ∈线性无关得00μ>, 作00/0j μμμ*=>, 即得<2>.式<2>=库恩-塔克条件. 相应点=库恩-塔克点. 简称K-T 条件, K-T 点.对一般非线性规划min (),()0,1,()0,1,i j f X h X i m g X j l⎧⎪==⇒⎨⎪≥=⎩min (),()0,()0,1,()0,1,i i j f X h X h X i m g X j l ⎧≥⎪⎨-≥=⎪≥=⎩<3> 它的K-T 条件如下设X *是<3>极小值点, 相应函数有一阶连续偏导,且有效约束的()i h X *∇和(),j g X j J *∇∈线性无关,则12(,,...,)T m Γγγγ****∃=和1(,...,)T l M μμ***=, 使11()()()0()0,1,2,...,0,1,2,...,m l i i j j i j j j j f X h X g X g X j l j lγμμμ*****==***∇-∇-∇===≥=∑∑<4> 其中12,,...,m γγγ***,1,...,l μμ**称为广义Lagrange 乘子. 注1 对凸规划, K-T 条件也是充分的.设k X 为某可行解,若k X 是极小点,且1()0k g X =,和2()0k g X =, 则()()k f X ∇必与, 1()k g X ∇和2()k g X ∇同侧, 否则有可行下降方向.由1()k g X ∇和2()k g X ∇线性无关1122()()()k k f X g X g X μμ*∇=∇+∇ 即 1x 2x ()f X -∇()f X 1()0k g X =2()0k g X =()g X ∇()g X ∇1122()()()0k k f X g X g X μμ*∇-∇-∇=例10 用库恩-塔克条件解非线性规划 2max ()(4)16f x x x ⎧=-⎨≤≤⎩. 1()g X ∇()k X ()()k f X -∇86()1()0k g X =()2()0k g X =2()g X ∇R164解 变为 212min ()(4)()10()60f x x g x x g x x ⎧=--⎪=-≥⎨⎪=-≥⎩, 12()2(4),()1,()1f x x g x g x ∇=--∇=∇=-, 引入广义拉格朗日乘子12,μμ**, 则有所以1212122(4)0(1)0(6)0,0x x x μμμμμμ*********⎧---+=⎪-=⎪⎨-=⎪⎪≥⎩, 具体分析如下.若120,0,μμ**>>引出矛盾, 无解;若120,0μμ**>=:1x *=,点; ()9f x *=(1μ*=6) 若120,0μμ**==:4x *=,()0f x *=;若120,0μμ**=>:6x *=,()4f x *=(2μ*=4)所以最大值点1x *=, 最大值()9f x *=. 注: 2()(4)f x x =--非凸函数, 在[1,6]上有两个局部最小值点.还有一个”驻点”164附加例题(略)用K-T 条件解非线性规划2min ()(3)05f x x x ⎧=-⎨≤≤⎩. 解 212min ()(3),()0,()50f x x g x x g x x ⎧=-⎪=≥⎨⎪=-≥⎩,(是凸规划) 12()2(3),()1,()1f x x g x g x ∇=-∇=∇=-,所以1212122(3)00(5)0,0x x x μμμμμμ*********⎧--+=⎪=⎪⎨-=⎪⎪≥⎩, 具体分析如下. 若120,0,μμ**≠≠引出矛盾, 无解;若120,0,μμ**≠=解得10,6x μ**==-,非K-T 点; 若120,0,μμ**=≠解得15,4x μ**==-,非K-T 点; 若120,0,μμ**==解得3x *=,()0f x *=全局最小.习题4.1 已知非线性规划131212max ()(1)0,0f X x x x x x =⎧⎪--≥⎨⎪≥⎩的极大点为(1,0), 试(1) 转化目标函数后, 写出其K-T 条件;(2) 求出K-T 点..4.2 试用K-T 条件求解问题2min ()(4)16f X x x =-≤≤.。