非线性最优化

定理5 设S为n维欧氏空间 En 上的开凸集, f(X)在S上二次可微,若任意x∈S,Hesse矩阵正定,则f是S 上的严格凸函数.
例如 分析f(x1,x2)= 2x12 +x22 -2 x1x2+x1+1的凸性. 解: H=A为正定阵，所以f为严格凸函数.
f(x)1 2(x1,x2)4 222x x1 2x11
一维搜索在搜索方向上所得最优点处的 梯度和该搜索方向正交.
定理8 设目标函数f(X)∈C(1)，X(k+1)按下 述规则产生
λk : Minf(X(k)+λP(k)) X(k+1)= X(k)+λkP(k)
则有 ▽f(X(k+1))TP(k)=0. 证 设φ(λ)=f(X(k)+λP(k)),则由
注2.gj(X)≤0→-gj(X) ≥ 0 ; 注3.hi(X)=0→hi(X) ≥ 0 , -hi(X) ≥ 0 .
1.2 极值问题
设f(X)为定义在n维欧氏空间 En 的某一区
域S上的n元实函数，其中X=(x1 ,x2 … xn)T . 局部极小点(值)：对于 X* ∈S，如果存在
某ε>0,使所有与X* 的距离小于ε的X∈S,均满足不等式f(X)≥f(X* ),则称X* 为f(X)在S上的局部极小点, f(X* )为局部极小值。
用反证法证明定理6： 设X* ∈S是一个局部极小点,则存在ε>0,使得对 任意X∈S∩Nε(X* ),恒有 f(X)≥f(X* ). 假设X*非全局最小,则存在X’∈S,使得f(X*)>f(X’). 由S的凸性,对任意λ∈[0,1],λX’+(1- λ)X*∈S, 由X*≠X’,取λ∈(0,1).因为λ<<1时,可使
严格局部极小点(值)：对于所有X≠X* 且 与X*的距离小于ε的X∈S,f(X)>f(X* ),则称 X* 为f(X)在S上的严格局部极小点， f(X* )为
严格局部极小值。 全局极小点(值)：对于所有的X ∈S，都
有f(X)≥f(X* ),则称X* 为f(X)在S上的全局 极小点，f(X* )为全局极小值。
f(λy+(1- λ)X*)≥f(X* )
(1)
由于f为凸函数,有 λf(y)+(1-λ)f(X* )≥f(λy+(1- λ)X*) (2)
由(1)、(2)，得到 f(y)≥f(X* ). 所以X*为全局最小点. 记a:= minf=f(X*),则S上的极小点的集合
Sa={X|X∈R,f(X)≤a}.由性质3知, Sa是凸集.
非线性最优化
第一节 基本概念 1.1 非线性问题的提出
例1 某公司经营两种设备，第一种设备售价30元，第二种设备售价450元。根据统计，售出一件第一 种设备所需要的营业时间平均是0.5小时，第二种设备是(2+0.25 x2 )小时,其中x2是第二种设备的售出数量。 已知该公司在这段时间内的总营业时间为800小时，试决定使其营业额最大的营业计划. 分析：设该公司经营第一种设备x1件,第二种设备 x2 件，其营业额为f(X)，依题意列出问题的数学模型：
凸函数的性质
性质1 设f(X)为定义在凸集S上的凸函数, 则对任意实数b≥ 0,函数bf(X)也是定义在S上的凸函数. 性质2 设f1(X)和 f2(X)为定义在凸集S上的两个凸函数,则其和f(X)= f1(X)+f2(X)仍为定义在S上
的凸函数. 性质3 设f(X)为定义在凸集S上的凸函数,则对任一实数b,集合
1.4 凸规划
非线规划的数学模型
Minf(X)
(1.1)
hi(X)=0 i=1,2, … ,m
(1.2)
gj(X) ≥ 0 j=1,2, … ,l
(1.3)
满足约束条件(1.2)和(1.3)的点称为可行点
(可行解)，所有可行点的集合称为可行域.
若某个可行解使目标函数(1.1)最小，就称
它为最优解.
若这算法是有效的,那么它所产生的解的序列将收敛于该问题的最优解.
若由某算法所产生的解的序列{X（k）}使 目标函数值f(X（k）)逐步减小,就称这算法为 下降算法.
假定已迭代到点X(k),若从X(k)出发沿任
何方向移动都不能使目标函数下降,则X(k)是 局部极小点,迭代停止.若从X(k)出发至少存 在一个方向可使目标函数值有所下降,则可 选能使目标函数值下降的某方向P(k)，沿这 方向迈进适当的一步,得到下一个迭代点 X(k+1),并使 f(X(k+1))<f(X(k)). 这相当于在射线X= X(k)+λP(k)上选定新点
1.3 凸函数和凹函数 凸函数:设f(X)是定义在n维欧氏空间En 中某个
凸集S上的函数, 若对任何实数a(0<a <1)以及S中的 任意两点X(1)和X(2),恒有
f(aX(1)+(1-a) X(2)) ≤ af(X(1))+(1-a)f(X(2)) (1.5) 则称f(X)为定义在S上的凸函数.
在下降迭代步骤中,关键是选取搜索方向P(k) 和确定步长λk .
确定步长λk的常用方法： (1) 令λk等于某一常数. (2) 只要能使目标函数值下降,可选取任意λk. (3) 沿射线X= X(k)+λP(k)求目标函数f(X)的极小:
λk : φ(λ)=Minf(X(k)+λP(k)) 称这一过程为(最优)一维搜索或线搜索,以此 确定的步长为最佳步长.
或
其中 为函数f(X)在点X* 处的梯度。
定理2 (充分条件)设S是n维欧氏空间En 上的某一开集，f(X)在S上具有二阶连续偏导数，X*∈S，若
▽f(X*) =0,且对任何非零向量Z∈En有
ZTH(X*)Z>0 （1.4）
则X*为f(X)的严格局部极小点.此处H(X*)为f(X)在点X*处的海赛(Hesse)矩阵.
▽f(X*)T(X-X*)≥0 则X*是f(X)在S上的最小点(全局极小点).
证 由定理3,对任意X∈S有 f(X)≥f(X*)+▽f(X*)T(X-X*)≥f(X*),证毕. 注1:若▽f(X*) =0,则▽f(X*)T(X-X*)≥0. 注2:最小点未必唯一,但凸集上严格凸函 数的最小点唯一. 注3:对凹函数也有上述类似的结果.
1.5 下降迭代算法 迭代法基本思想:
为了求函数f(X)的最优解,首先给定一个
初始估计X(0),然后按某种算法找出比X(0)更好
的解X(1)(对极小化问题,f(X(1))<f(X(0));对极大化问题,f(X(1))> f(X(0))),再按此种规则找出比X(1)更好的解 X(2),….如此即可得到一个解的序列{X(k)}.若这个解序列有极限X*，即limk→∞‖X(k)-X*‖=0,则称它收敛于X*.
严格凸函数:若对每一个a(0<a<1)以及S中的 任意两点X(1)和X(2), X(1)≠ X(2) ，恒有
f(aX(1)+(1-a) X(2)) < af(X(1))+(1-a)f(X(2)) (1.6) 则称f(X)为定义在S上的严格凸函数.
将(1.5)和(1.6)中的不等号反向,即可得到凹函数 和严格凹函数的定义.
考虑非线性规划
Minx∈S f(X) S={X|gj(X)≥0,j=1,2…,l} 假定其中f(X)为凸函数,gj(X)(j=1,2…,l)为凹 函数.这样的非线性规划称为凸规划. 凸规划具有如下性质: 1) 凸规划的可行域为凸集; 2) 凸规划的局部最优解为全局最优解; 3) 凸规划的最优解集为凸集; 4) f(X)为严格凸函数时,凸规划的最优解唯一.
则称{x(k)}收敛的阶为α,或{x(k)} α阶收敛. 当α=2时，称为二阶收敛,也称{x(k)}具有
二阶敛速；当1<α<2时，称为超线性收敛； 当α=1, 0<β<1时,称为线性收敛或一阶收敛.
常用的收敛的准则有以下几种: (1). 根据相继两次迭代的绝对误差
‖X(k+1)-X(k)‖<ε |f(X(k+1))-f(X(k))|< ε (2).根据相继两次迭代的相对误差
例5. 求解非线性规划
x 2 g2(x)0
g1(x)0
A
min f (x) x12 x22 4x1 4 O s.t. g1(x) x1 x2 2 0
2
4
x1
g2(x) x12 x2 1 0
x1 0, x2 0
最A ( 优 0 .5,1 .3 8) 点 4 ,m f i3 .n 8
凸函数的极值
定理6 若f(X)为定义在凸集S上的凸函数,
则它的任一极小点就是它在S上的最小点(全
局极小点); 而且,它的极小点形成一个凸集.
证 设X* ∈S是一个局部极小点,则存在
ε>0,使得对任意X∈Nε(X* ),恒有f(X)≥f(X* ). 令y是S中任一点，则对充分小的λ∈(0,1)，
有 λy+(1- λ)X*∈Nε(X* ), 从而
注2:最小点未必唯一,但凸集上严格凸函 数的最小点唯一.
事实上,设有两个最小点X≠Y,令 Z=λX+(1- λ)Y, λ∈(0,1),则 f(Z)<λf(X)+(1-λ)f(Y)
≤ λf(X)+(1- λ)f(X)=f(X),矛盾. 例4 求函数f(x1,x2,x3)
= x1+2x3 + x2x3- x12 -x22 – x32 的极值.
λX’+(1- λ)X* ∈S∩Nε(X* ). 又由f凸,有
f(λX’+(1- λ)X*) ≤λf(X’)+(1-λ)f(X* )<λf(X* )+(1-λ)f(X*)
=f(X*) 此与X*局部极小矛盾.
所以X*为全局最小点.