向量和子空间投影定理(

第
二
章
基本概念 和 基本理论
整理发布
2.0、预备知识
1、向量和子空间投影定理
(1) n维欧氏空间：R n T 点（向量）：x R , x = (x1 ,x2 ,…,xn) 分量 xi R (实数集) n 方向（自由向量）：d R , d 0 T d =(d1 ,d2 ,…,dn) 表示从0指向d 的方向 实用中，常用 x + d 表示从x 点出发沿d 方向 移动d 长度得到的点 d x+(1/2)d x 0

j =1, 那么称j 1 j x 为x , x , … , x 的 j =1 =
(j) (1) (2) (m)
m
m
凸组合。
• 比较: z = j j x =1
m
(j)
jR — 构成线性组合 —— 线性子空间 j≥0 , j >0 — 构成半正组合 —— 凸锥 j≥0 , j =0 — 构成凸组合 —— 凸集
多胞形
单纯形
单纯形
2.2 凸集、凸函数和凸规划(续)
2、凸集的性质： 1) 凸集的交集是凸集；（并？） 2) 凸集的内点集是凸集；（逆命题是否成立？） 3) 凸集的闭包是凸集。 （逆命题是否成立？） 4) 分离与支撑： 凸集边界上任意点存在支撑超平面 两个互相不交的凸集之间存在分离超平面
一、凸集
支撑

“若 xTy ≤ , yRn 且 y ≤ 0，则 x ≥ 0， ≥ 0 .” “若 xTy ≥ , yRn 且 y ≥ 0，则 x ≥ 0， ≤ 0 .” n “若 xTy ≥ , yR 且 y ≤ 0，则 x ≤ 0， ≤ 0 .” “若 xTy ≥ , y L Rn ， 则 x L， ≤ 0 .”

严格l .opt .
严格g .opt .
l .opt .
2.1 数学规划模型的一般形式（续）
函数形式: f(x), gi(x) , hj(x) : RnR min f(x) (fgh) s.t. gi(x) ≤ 0 , i = 1,2,…,m hj(x) = 0 , j = 1,2,…,l 矩阵形式: min f(x) ，f(x) : RnR (fgh) s.t. g(x) ≤ 0 , g(x) : RnRm h(x) = 0 , h(x) : RnRl
n
2.0、预备知识（续）
2、多元函数及其导数
(2) 梯度（一阶偏导数向量）： T n f (x)＝( f / x1 , f / x2 , … , f / xn ) R . 线性函数：f (x) = cTx + b , f (x) = c 二次函数：f (x) = (1/2) xTQx + cTx + b f (x) = Qx + c m 向量值线性函数：F(x) = Ax + d R F / x = AT
,d
(2)
,…,d
(m) m
R, d
(j)
n
(k)
0
记 L( d
(1)
,d
(2)
,…,d
(m)
)={ x = =1 j d j
jR }
为由向量d , d , … , d 生成的子空间，简记为L。 n 正交子空间：设 L 为R 的子空间，其正交子空间为 n L ＝{ x R xTy=0 , y L } n n 子空间投影定理：设 L 为R 的子空间。那么 x R ， 唯一 x L , y L , 使 z=x+y , 且 x 为问题 min ‖z - u‖ s.t. u L 的唯一解，最优值为‖y‖。 n 特别， L ＝R 时，正交子空间 L ＝{ 0 }（零空间）
(1)
(2)
(m)
2.0、预备知识（续）
规定：x , y R ，x ≤ y xi ≤ yi ，i 类 似规定 x ≥ y，x = y，x < y , x > y . 一个有用的定理 n n 设 xR ，R，L为R 的线性子空间， Ty ≤ , yRn 且 y ≥ 0， (1)若 x 则 x ≤ 0， ≥ 0 . Ty ≤ , y L R n ， (2)若 x n 则 x L ， ≥ 0 .(特别, L＝R 时,x =0) 定理的其他形式：

当 f(x), gi(x) , hj(x)均为线性函数时，称线性 规划；若其中有非线性函数时，称非线性规划。
一、凸集 1、凸集的概念： n 定义：设集合 S R ，若x(1), x(2)S, [0,1]， 必有 x(1)＋(1- ) x(2) S ，则称 S 为凸集。 规定：单点集 {x} 为凸集，空集为凸集。 注: x(1)＋(1- ) x(2) = x(2)＋(x(1)- x(2)) 是连接 x(1)与x(2)的线段 。
2.0、预备知识（续）
2、多元函数及其导数
(3) Hesse 阵（二阶偏导数矩阵）： f (x)=
2
2f /x1 2 2f /x1 x2
… 2f /x1 xn
2f /x2 x1 … 2f /xn x1 2f /x22
… 2f /x2 xn
… 2f /xn x2 … … … 2f /xn2
y n n 点列的收敛：设点列｛x(k)｝ R , x R 点列｛x(k)｝收敛到 x ，记 lim x(k) = x k lim‖x(k)- x‖ = 0 lim xi(k) = xi ,i k k
2.0、预备知识（续）
1、向量和子空间投影定理
(3) 子空间：设 d
(1)
min f(x) --------目标函数 (fS s.t. xS --------约束集合，可行集 ) 其中，S Rn，f :S R，xS称（f S )的可行解
最优解: x*S，满足f (x*)≤ f (x), xS。则称 x*为(f S)的全局最优解(最优解), 记 g.opt.(global optimum),简记 opt. 最优值: x*为(f S)的最优解, 则称 f * = f (x*) 为 (f S)的最优值(最优目标函数值)
n
2.0、预备知识（续）
1、向量和子空间投影定理
(2) 向量运算：x , y R
n
x,y
的内积：xTy
= i =1 xiyi = x1y1+ x2y2+ …+ xnyn
(1/2)
n
x , y 的距离： ‖x-y ‖= [(x-y)T(x-y)] (1/2) x 的长度： ‖x‖= [ xTx ] 三角不等式： ‖x + y ‖≤‖x‖＋‖y‖ x x+y
2
线性函数：f (x) = +b, f (x) = 0 TQx + cTx + b, 2f (x)=Q 二次函数：f (x) = (1/2) x c Tx
2.0、预备知识（续）
2、多元函数及其导数
(4)n元函数的Taylor展开式及中值公式：
n
设 f (x): R R ，二阶可导。在x* 的邻域内

f (x) = f (x*)+ ［f (x*+(x-x*))]T(x-x*)
Lagrange余项：对x, , 记xx*+ (x-x*)
T T 2
f (x) = f (x*)+ f (x)(x-x*) + (1/2)(x-x*) f (x )(x-x*)
2.1 数学规划模型的一般形式

一阶Taylor展开式：
f (x) = f (x*)+ f T(x*)(x-x*) + o‖x-x*‖

二阶Taylor展开式： 一阶中值公式：对x, , 使
f (x) = f (x*)+ f T(x)(x-x*) + (1/2)(x-x*)T 2f (x*)(x-x*) + o‖x-x*‖2
严格凹函数 严格凸函数 凸函数
2.2 凸集、凸函数和凸规划(续)
二、凸函数 1、凸函数及水平集：

1)
2)
定理： f(x) 为凸集 S 上的凸函数 S 上任 意有限点的凸组合的函数值不大于各点函 数值的凸组合。 思考：设f1, f2是凸函数， 设1, 2 > 0, 1f1+2f2 , 1f1 - 2f2是否凸函 数？ f(x)= max{ f1(x) , f2 (x) } , g(x)= min{ f1(x) , f2 (x) }是否凸函数？

2.1 数学规划模型的一般形式（续）
局部最优解: x*S， x* 的邻域 N(x*) ，使满足 f (x*)≤ f (x), x S N(x*) 。则称 x*为(f S)的局 部最优解,记 l .opt.(local optimum) 在上述定义中，当x x* 时有严格不等式成立，则 分别称 x* 为(f S)的严格全局最优解和严格局部最 优解。

1) 2)
注：
水平集的概念相当于在地形图中，海拔高度不高于某一 数值的区域。 上述定理的逆不真。 考虑分段函数f(x)=1(x≥0)或0(x<0)，函数非凸，但 任意水平集是凸集。
2.2 凸集、凸函数和凸规划(续)
二、凸函数
2、凸函数的性质：
n
ቤተ መጻሕፍቲ ባይዱ
1)
方向导数：设 S R 为非空凸集，函数 f :SR ， 再设 x* S, d 为方向，使当 > 0 充分小时有 x*+d S, 如果 lim [ f(x*+ d )-f(x*) ] / 存在（包括 ）
2.2 凸集、凸函数和凸规划(续)
二、凸函数 1、凸函数及水平集 n 定义: 设集合 S R 为凸集，函数 f :SR 若 x(1), x(2) S, ( 0 , 1 ) ，均有 f(x(1)＋(1- ) x(2) ) ≤f(x(1))+(1- )f(x(2)) ， 则称 f(x) 为凸集 S 上的凸函数。 若进一步有上面不等式以严格不等式成立，则 称 f(x) 为凸集 S 上的严格凸函数。 当- f(x) 为凸函数（严格凸函数）时，则称 f(x) 为 凹函数（严格凹函数）。