增广Lagrange方法

p ∑ j =1 p ∑ j =1
1 (Carrol 障 碍函 数), gj (x) ln(−gj (x)) (对 数障碍函数).
增广Lagrange函数方法
最优化方法 7
障碍函数问题是一本质无约束问题
引 理 1 如 果f, G是 连续函数 ,则水平集合 {x ∈ int Φ : Fρ (x) ≤ α}
增广Lagrange函数方法
最优化方法 5
惩罚函数形式
常用的惩罚函数具有下述形式 fρ (x) : 1 = f (x) + ρ∥ΠK◦ (G(x))∥2 2 q p ∑ 1 ∑ 1 = f (x) + ρ gi (x)2 + ρ [gi (x)]2 +, 2 i=1 2 i=q+1
其 中K◦ 表 示K的极锥(有时也用K∗ 表示极锥),[·]+ = max{0, ·}. 函 数 fρ 具 有 性 质 f (x), x ∈ Φ, lim fρ (x) = ρ→∞ +∞, 否则, 其 中Φ := {x ∈ ℜn : G(x) ∈ K} 是可行集 .
∗ 而 后 者 极小 点存在,因此S ∗ ̸= ∅. 同 样可以证得不 偿失Sρ ̸= ∅. 很 容 易得到
val (Pρ ) ≤ val (PE ).
∗ ∗ x∗ ⇒ f (x∗ ρ ∈ Sρ = ρ ≤ f (S ), ∗ Sρ ⊂ lev≤α0 f. ∗ 我 们 用 反正 法证明(4). 假设存在ε > 0, ρi → ∞, x∗ i ∈ Sρ i 满 ∗ ∗ ∗ ¯. 我 们 要 证 } ⊂ lev f , { x ∈ / B ( S , ε ) . 由 于 { x 足 x∗ ≤ α 0 i i }有 聚 点 x i
增广Lagrange函数方法
最优化方法 15
局部极小点的收敛性
定 理 2 设x∗ 是PE 问题的局部极小点 ,x∗ 处LICQ成 立且 二 阶 充 分 2 L(x∗ , λ∗ )d⟩ > 0. 则 存 条件成, 即∀d ∈ Ker J G(x∗ ), d ̸= 0, ⟨d, Jxx ¯ > 0, 满足对每一 ρ ≥ ρ ¯, fρ 有唯一 的 临 界 在x∗ 的一个邻域V 及 ρ 点x∗ (ρ). 这一点是fρ 的一非退化的局部极小点且是fρ 在V 内的极 小点; 当 ρ → ∞时, x∗ (ρ) → x∗ .
是正定的,它满足
α ′ 2 ρ ′′ 2 ⟨d, (A + ρ(I − P ))d⟩ ≥ ∥d ∥ + ∥d ∥ , ∀d ∈ ℜn , 2 2
其中d′ = P d, d′′ = (I − P )d分别是 d到L及其正交补空间的投影. 进一步 , ρ∗ 可以选取只依赖于α与矩阵A的范 数∥A∥ = max∥d∥≤1 ∥Ad∥ 的上界β .
y ∈ℜ
min {ϕ(y ) ≡ f (X (y )) : yi ≡ gi (X (y )) = 0, i = 1, . . . , p} n
的 局 部 极小 问题. 首先我们证明y ∗ = Y (x∗ ) = 0是P′ E 的一非退化 p ∑ 解. 令L(y, λ) = ϕ(y ) + λi yi 是P′ E 的 Lagrange函 数 , L(x, λ) = f (x) + ⟨λ, G(x)⟩是PE 的Lagrange函 数. L(y, λ) = L(X (y ), λ), Jy L(y ∗ , λ∗ ) = Jx L(X (y ∗ ), λ∗ )J X (y ∗ ) = 0,
i=1
增广Lagrange函数方法
最优化方法 17
¯ 即y ∗ 满 足P′ E 的 一 阶 必 要 条 件 . 进 一 步 ,由 于 如 果 令 G(y ) = G(X (y )), ¯ (y )d = Jx G(X (y ))J X (y )d, Jy G ¯ = 0,其 中d ¯ = J X (0)d. ¯ (y ∗ )d = 0当 且仅当J G(X (y ∗ ))d 可 见,Jy G 注 意到J X (0)是 非奇异的,有 d非 零当且仅当J X (0)d是 非 零 的,从 而 ¯ (y ∗ ), d ̸= 0, 对 于d ∈ Ker Jy G
增广Lagrange函数方法
最优化方法 4
非线性规划问题
考虑如下的非线性规划问题 (NLP)
min f (x) s.t. G(x) ∈ K,
(1)
其 中f : ℜn → ℜ是光滑函数，G := (g1 , . . . , gp )T : ℜn → ℜp 是 光 滑 −q 映 射, K := {0q } × ℜp − .
这 证 得y ∗ = 0是P′ E 的一非退化解. 由 于P′ E 是 线 性 约 束 的 ,此 问 题 的 Lagrange 函 数 的 Hesse阵
增广Lagrange函数方法
最优化方法 18
′ 2 ∗ 即∇2 y ϕ(y ). 于 是 PE 的 二 阶 条 件 可 推 出 H := ∇y ϕ(y )在
增广Lagrange函数方法
最优化方明x ¯ ∈ Φ. 否 则G(¯ x) ̸= 0, 对充 分 大 的 i, |G(x∗ i )| ≥ β := 于是 fρi (x∗ i) 1 β ∗ 2 ∗ = ρi ∥G(xi )∥ + f (xi ) ≥ ρi + f (x∗ i ) −→ +∞, 2 2 1 ∥G(¯ x)∥ > 0, 2
L := {d : di = 0, i = 1, . . . , p} 上 是 正 定的. 选 取以y ∗ = 0为 中心的半径充分小的 含于W ′ 的 球W ,充分 小的正数α与充分大的正数β 满足 ⟨d, ∇2 ϕ(y )d⟩ ≥ α∥d∥2 , ∀y ∈ W, d ∈ L, ∥∇2 ϕ(y )∥ ≤ β, ∀y ∈ W. 注意到 ∇2 y ϕρ (y ) = ρ∑ 2 2 ∇y [ϕ(y ) + y ] 2 i=1 i
是闭集合,因而如果Φ是有界的,则它是紧致的.
由上述引理可知, min{Fρ (x) : x ∈ int Φ} 的 最 优 解在int Φ内达到,因 而其实是一本质无约束 最优 化 问 题.
增广Lagrange函数方法
最优化方法 8
等式约束问题的惩罚函数方法
记 等 式 约束 问题为PE , S ∗ = SOL PE 为PE 的 全局最优 解集 合, ∗ Sρ = SOL Pρ ,为 下述无约束问题的全局最优解集 合 (Pρ )
p
= ∇2 y ϕ(y ) + ρ[I − P ], 其 中P 是 到L的直交投影算子(矩 阵). 根据引 理2,存 在ρ∗ > 0满
增广Lagrange函数方法
最优化方法 19
足,对 于y ∈ W , ρ ≥ ρ∗ ,∇2 y ϕρ (y )是 正 定 的 ,且 满 足 ⟨d, ∇2 y ϕρ (y )d⟩ α ′ 2 ρ ′′ 2 ′ ≥ ∥d ∥ + ∥d ∥ , d = P d, d′′ = (I − P )d. 2 2 (4)
这 与val (Pρi ) ≤ val (PE ) < ∞矛 盾. 从而x ¯ ∈ Φ, 再 ∗ 由f (x∗ x) ≤ f (S ∗ ), 有x ¯ ∈ S∗. 由 i ) ≤ f (S ) 可 得 f (¯ ∗ ∗ / B(S ∗ , ε)的假设矛盾 . 于dist (x∗ i , S ) −→ 0,这 与 xi ∈
增广Lagrange函数方法
最优化方法 14
最 后 定 义ρ∗ = 4β 2 /α,如果ρ ≥ ρ∗ , 从而ρ − 2β 2 /α ≥ ρ/2,我 们 有 对 于ρ ≥ ρ∗ , α ′ 2 ρ ′′ 2 ⟨d, (A + ρ(I − P ))d⟩ ≥ ∥d ∥ + ∥d ∥ , ∀d ∈ ℜn . 2 2
因 此 只 要ρ ≥ ρ∗ ,函 数ϕρ 的Hesse阵 在W 上是 正定的 ,因 而 在W 上 是 凸的. 令ρ ≥ ρ∗ , 由(4)可以得到 α ρ ϕρ (y ) ≥ ϕρ (0)+⟨y, ∇y ϕ(0)⟩+ ∥y ′ ∥2 + ∥y ′′ ∥2 , y ′ = P y, y ′′ = (I −P )y. 4 4 (5) 首 先, ϕρ 在y ∗ = 0处 的梯度与ρ无关, 它 就是ϕ在 y ∗ = 0处 的 梯 度; 其 次,由 于y ∗ 是P′ E 的 非 退 化 解 ,这 一 梯 度 与 L直 交 . 结 果 ,(5)可 以 表 示 为 α ′ 2 ρ ′′ 2 ′′ ϕρ (y ) ≥ ϕρ (0) + ⟨y , g ⟩ + ∥y ∥ + ∥y ∥ , (6) 4 4 其 中g = ∇y ϕ(y ∗ ). 由这一关系 ,很容易证明 (∗∗)存 在ρ ¯ ≥ ρ∗ 满 足只要ρ ≥ ρ ¯, y 在W 这 一球的边界上,就
增广Lagrange函数方法
最优化方法 1
增广 Lagrange函 数 方 法
张立卫 大连理工大学数学科学学院
增广Lagrange函数方法
最优化方法 2
报告提纲
• 惩罚函数方法 • 经典障碍函数方法 • 增 广Lagrange函 数 方 法
增广Lagrange函数方法
最优化方法 3
1
惩罚函数方法
增广Lagrange函数方法
最优化方法 13
证明
令β ≥ ∥A∥, γ > 0,由 于|2uv | ≤ γ −1 u2 + γv 2 ,由Chauchy不 等 式,得 到 |2⟨d′ , Ad′′ ⟩| ≤ 2∥A∥∥d′ ∥∥d′′ ∥ ≤ 2β ∥d′ ∥∥d′′ ∥ ≤ 我们得到 ⟨d, (A + ρ(I − P ))d⟩ = ⟨d, Ad⟩ + ρ∥d′′ ∥2 = ⟨(d′ + d′′ ), A(d′ + d′′ )⟩ + ρ∥d′′ ∥2 = ⟨d′ , Ad′ ⟩ + 2⟨d′ , Ad′′ ⟩ + ⟨d′′ , Ad′′ ⟩ + ρ∥d′′ ∥2 β ′ 2 ′ 2 ≥ α∥d ∥ − ∥d ∥ − βγ ∥d′′ ∥2 + ρ∥d′′ ∥2 . γ 令γ = 2β/α, 有 α ′ 2 ( 2β 2 ) ′′ 2 ⟨d, (A + ρ(I − P ))d⟩ ≥ ∥d ∥ + ρ − ∥d ∥ ; 2 α β ′ 2 ∥d ∥ + βγ ∥d′′ ∥2 , γ