最优化方法(凸集与凸函数)

( x − x )T ( x − y ) ≥ 0 ， ∀x ∈ D
~ ~ ~ 则由范数的 假设存在 x ∈ D, x ≠ x ，使得 y − x = y − x = γ 则由范数的
三角不等式有 ~ x+x 1 1 ~) ≤ 1 y − x + 1 y − x = γ ~ y− = (y − x) + (y − x 2 2 2 2 2
α 1 x (1) + α 2 x ( 2 ) ――― α 1 x (1) + α 2 x ( 2 ) + α 3 x ( 3 )
α 1 x (1) + α 2 x ( 2 ) ――― α 1 x (1) + α 2 x ( 2 ) + α 3 x ( 3 )
4
是凸集， 设 D ⊂ R n 是凸集，则任意 m 个点 x ( i ) ∈ D( i = 1,2,⋯ , m ) 的凸组合仍 即有： 属于 D ， 即有：
( x − x )T ( x − y ) ≥ 0 ， ∀x ∈ D
下确界，能否取到？怎么取？ 下确界，能否取到？怎么取？ 连续函数在有界闭集上能够取到极值点， 连续函数在有界闭集上能够取到极值点，但是闭凸集一定是 有界闭集吗？？ 有界闭集吗？？
9
凸集当然不一定是有界集 比如区间 Ax = 0
如何构造闭凸集？ 如何构造闭凸集？ 的想。 。 请大家 使劲 的想。。。 。
有界集和无界集的交集是什么集？ 有界集和无界集的交集是什么集？
D y S
有没有看到闭凸集在哪里？ 有没有看到闭凸集在哪里？
10
是凸集， 设 D ⊂ R n 是凸集， y ∈ R n 但是 y ∉ D ，则 的距离最小， （1）存在唯一的点 x ∈ D ，使得集合 D 到点 y 的距离最小，即
x − y = inf { x − y , x ∈ D} （2） x ∈ D 是点 y 到集合 D 的最短距离点的充分必要条件为
( x − x )T ( x − y ) ≥ 0 ， ∀x ∈ D
α =1 ~ 当 α = 1 时， x = x
~ 又因为 y − x = y − x = γ 则有
~ x+x 所以矛盾 矛盾。 当 α = − 1 时， y = ∈ D ，因为 y ∉ D 所以矛盾。 2
13
是凸集， 设 D ⊂ R n 是凸集， y ∈ R n 但是 y ∉ D ，则 的距离最小， （1）存在唯一的点 x ∈ D ，使得集合 D 到点 y 的距离最小，即 x − y = inf { x − y , x ∈ D} （2） x ∈ D 是点 y 到集合 D 的最短距离点的充分必要条件为
k
证明完毕。 证明完毕。
6
凸集分离定义 凸集分离定义
咋样地？ （空间想象一下是 咋样地？）
为两个非空凸集 凸集， 设 D1 , D2 ⊂ R n 为两个非空凸集，若存在非零向量 a ∈ R n 和 实数 β 使得
D1 ⊂ H + = x ∈ R n | a T x ≥ β D2 ⊂ H − = x ∈ R n | a T x ≤ β 则称超平面 H = x ∈ Rn | aT x = β 分离了集合 D1 和 D2 。如果更有
x − y = inf { x − y , x ∈ D} （2） x ∈ D 是点 y 到集合 D 的最短距离点的充分必要条件为
( x − x )T ( x − y ) ≥=1 k +1
i =1
i
x ( i ) = ∑ α i x ( i ) + α k +1 x ( k +1)
i =1
k (i )
∑α
由于
k
i
x
αi x ( i ) + α k +1 x ( k +1) = (1 − α k +1 )∑ i =1 1 − α k + 1
αi =1 i =1 1 − α k + 1
i =1 i =1
m
m
原来凸集的性质告诉我们： 任意的两个点的凸组合都属于 D。 原来凸集的性质告诉我们： 任意的两个点的凸组合都属于 。 现在让我们证明 们证明， 现在让我们证明，任意的 m 个点的凸组合都属于 D。 。 咋办？？ 咋办？？
两个―――多个 两个―――多个 ――― 两个―――三个―――四个―――多个 两个―――三个―――四个―――多个 ―――三个―――四个―――
( x − x )T ( x − y ) ≥ 0 ， ∀x ∈ D
先想想思路。 。 先想想思路。。
8
凸集， 设 D ⊂ R n 是闭凸集， y ∈ R n 但是 y ∉ D ，则 的距离最小， （1）存在唯一的点 x ∈ D ，使得集合 D 到点 y 的距离最小，即 x − y = inf { x − y , x ∈ D} （2） x ∈ D 是点 y 到集合 D 的最短距离点的充分必要条件为
{ {
} }
{
}
+ D1 ⊂ H 0 = x ∈ R n | a T x > β
− D2 ⊂ H 0
{ = {x ∈ R
n
| aT
} x < β}
+ − 则称超平面 H 严格分离 D1 和 D2 ，其中 H 0 和 H 0 分别表示
H + 和 H − 的内部
7
点到凸集的投影
是凸集， 设 D ⊂ R n 是凸集， y ∈ R n 但是 y ∉ D ，则 的距离最小， （1）存在唯一的点 x ∈ D ，使得集合 D 到点 y 的距离最小，即 x − y = inf { x − y , x ∈ D} （2） x ∈ D 是点 y 到集合 D 的最短距离点的充分必要条件为
k
1 − α k + 1 = ∑ α i ，即 ∑
i =1
再由凸集的定义， 再由凸集的定义，有
(1 − α k +1 )∑
由归纳假设有： 由归纳假设有：
αi ∑ 1 − α x (i ) ∈ D i =1 k +1
k
αi x ( i ) + α k +1 x ( k +1) ∈ D i =1 1 − α k +1
f ( x) = x2 例子： 例子：
2
凸集的补充内容
是凸集， 设 D ⊂ R n 是凸集， 则任意 m 个点 x ( i ) ∈ D( i = 1,2,⋯ , m ) 的凸 即有： 组合仍属于 D ，即有：
α i x (i ) ∈ D ∑
i =1
m
其中 α i ≥ 0 ， i = 1,2,⋯ , m ， ∑ α i = 1
∑α
i =1
m
i
x
(i )
∈D， 其中 α i ≥ 0 ，i = 1,2,⋯ , m ，∑ α i = 1
i =1
m
证明：归纳法。 证明：归纳法。 1． m = 2 显然成立 结论成立， 2． 假设 m = k 结论成立，我们证明结论在 m = k + 1 时结论 也成立 以下仅仅列出主要步骤，省去很多说明文字， 以下仅仅列出主要步骤，省去很多说明文字，请大家补充完 整。 k + 1 k
i =1
m
先想想思路。 。 先想想思路。。
3
是凸集， 设 D ⊂ R n 是凸集，则任意 m 个点 x ( i ) ∈ D( i = 1,2,⋯ , m ) 的凸组合仍 即有： 属于 D ， 即有：
α i x (i ) ∈ D ， 其中 α i ≥ 0 ，i = 1,2,⋯ , m ，∑ α i = 1 ∑
( x − x )T ( x − y ) ≥ 0 ， ∀x ∈ D
证明中要用到一个技巧
借助与一个凸组合 λ x + (1 − λ ) x
D
夹角小于 90 度
λx + (1 − λ ) x
x
x
y
16
是凸集， 设 D ⊂ R n 是凸集， y ∈ R n 但是 y ∉ D ，则 的距离最小， （1）存在唯一的点 x ∈ D ，使得集合 D 到点 y 的距离最小，即
∑α
i =1
m
i
x
(i )
∈D， 其中 α i ≥ 0 ，i = 1,2,⋯ , m ，∑ α i = 1
i =1
m
如果能出现 如果能出现 (1 − α 3 ) 怎么才能出现呢？？ 怎么才能出现呢？？
＋ α 3 x ( 3)
就好了
α1 α2 (1) (2) (1 − α 3 ) x + x + α 3 x (3) (1 − α ) (1 − α 3 ) 3
( x − x )T ( x − y ) ≥ 0 ， ∀x ∈ D
夹角小于 90 度
D
x
y
x
15
是凸集， 设 D ⊂ R n 是凸集， y ∈ R n 但是 y ∉ D ，则 的距离最小， （1）存在唯一的点 x ∈ D ，使得集合 D 到点 y 的距离最小，即 x − y = inf { x − y , x ∈ D} （2） x ∈ D 是点 y 到集合 D 的最短距离点的充分必要条件为
~ x+x 凸集， 由于 D 是凸集，故有 ∈ D ，又因为 γ 是集合 D 到 y 的 2
最短距离，上式应有等号成立，因此，存在实数 最短距离，上式应有等号成立，因此，存在实数 α 距离 应有等号成立 ~ y − x = α(y − x)
12
是凸集， 设 D ⊂ R n 是凸集， y ∈ R n 但是 y ∉ D ，则 的距离最小， （1）存在唯一的点 x ∈ D ，使得集合 D 到点 y 的距离最小，即 x − y = inf { x − y , x ∈ D} （2） x ∈ D 是点 y 到集合 D 的最短距离点的充分必要条件为