帅天平北京邮电大学数学系12可行方向法
合集下载
日本京都计算机学院北京邮电大学世纪学院专业
日本京都计算机学院北京邮电大学世纪学院专业2011-06-21日本京都计算机学院北京邮电大学世纪学院专业日本京都计算机学院北京邮电大学世纪学院专业设：电子科学与技术专业(普通理工类)机械工程与自动化专业(普通理工类)物流工程专业(普通理工类)系主任：时良平教授北京邮电大学博士生导师副主任：李冠群教授主任助理：赵积春副教授电子与自动化系拥有一支雄厚的专职和专任教师队伍，依托北京邮电大学丰富的教师资源，具有高级和中级职称的教师占教师总数的75%以上，具有丰富的教学实践经验。
目前在校学生有1100余名。
本系已建成机械基础实验室、机械制造实验室、机械创新实验室、单片机与控制实验室、PLC与局域网实验室、测控与电工实验室、嵌入式与可编程片上系统实验室、物流实验室、软件实验室。
此外，北京邮区中心局、中国邮政速递物流公司、北京普源精仪科技公司、北京华晟高科科技公司等高新企业为电子与自动化系提供长期的实习实训基地。
2010年，本系正积极筹建机器人实验室，为设立新的专业方向开拓新的实习、实训基地，为提高学生的实际动手能力和培养应用型人才的基本素质奠定坚实的基础。
本系在教学和科研活动中取得了很好的成绩。
在机械工程与自动化、电子科学与技术两个专业的首届毕业生中有6%的学生考取了北京邮电大学、北京科技大学、桂林电子科技大学的硕士研究生；在2009年全国大学生电子科技创新大赛获得了两项三等奖；在2007年的全国大学生英语竞赛中获得了三等奖；在2007年的北京市高等数学竞赛中获得了三等奖；在2007年的第十届中国北京国际科技产业博览会中展出的自主研发的迷宫机器人及寻线机器人，获得了一致好评；为了提高同学的学习兴趣，本系三个专业成立科技创新小组，对机器人技术、电子技术、物流等多项课题进行开发。
本系注重对教学活动的严格管理，要求每位教师认真备课，精心讲授好每一堂课，关心每一位学生，做到教书育人。
本系密切关注学校与国外高校的合作，为学生在工业自动化控制、机电设备一体化等领域内继续深造和学习提供了良好的出国学习机会和条件。
北邮最优化课件0最优化理论与算法引言-PPT精品文档32页
最优化理论
13
2 运输问题
设某种物资有m个产地A1,A2,…Am,各产地的产量是 a1,a2,…,am;有 n个销地B1,B2,…,Bn.各销地的销量是 b1,b2,…,bn.假定从产地Ai(i=1,2,…,m)到销地 Bj(j=1,2,…,n)运输单位物品的运价是cij问怎样调运 这些物品才能使总运费最小？
最优化理论
23
6.结构设计问题
p1
p
2
h
2p
2L
B
d
受力分析图
圆杆截面图
2p
h
2L
桁杆示意图
最优化理论
24
6.结构设计问题
解：桁杆的截面积为 ： SdB
桁杆的总重量为： W2dBL2h2
负载2p在每个杆上的分力为：p1copsp
L2h2 h
于是杆截面的应力为：
1
p1 s
最优化理论
19
4选址问题（3）
m ax
ci jy ij f jx j
iI jJ
j J
s.t.
y ij 1
j J
i I;
y ij x j,
i I, j J;
x j {0,1},
j J;
yij {0,1},
i I, j J.
最优化理论
20
5负载平衡(1)
实例: 网络G(V,E) 及一组m 个数的集合{s,d>0}，表示 连接源点 s与汇点d 之间的流量
解: {s,d>0}的一组路由, 即G(V,E) 中m 条s 与 d间的路, 表示连接s与d 的负载流量的路径。
目标:极小化网络负载
用 Fisjd 表示 s到 d由 的流经 (vi,vj过 )的边 流量
组合3容斥原理鸽巢原理 共89页
3.1 容斥原理
对于求两个有限集合A和B的并的元素数目，我们有
定理1
ABABAB (1)
即具有性质A或B的元素的个数等于具有性质A的 元素个数和具有性质B的元素个数减去同时具有 性质A和B的元素个数。
3.1 容斥原理
U
A∩B
A
B
3.1 容斥原理
证 若A∩B=，则 | A∪B |= |A| + |B|, 否则 |A||A(B B)||(A B) (A B)|
类似有
A1 A3 22!
A 1 A40,A 1 A 50,
A2 A30,A2 A4A2 A520! A3 A419!,A3 A520!A4 A519!
3.1 容斥原理
例2 一个学校只有三门课程：数学、物理、化 学。已知修这三门课的学生分别有170、130、 120人；同时修数学、物理的学生45人；同时修 数学、化学的20人；同时修物理化学的22人。 同时修三门的3人。假设每个学生至少修一门课， 问这学校共有多少学生？
解：令A为修数学的学生集合； B 为修物理的学生集合； C 为修化学的学生集合；
则
U 26!
出现dog字样的排列，相当于把dog作为一个单元 参加排列，故 A1 24 !
3.1 容斥原理
类似有： A 2A 32 4 !,A 4A 52 2 !
由于god,dog不可能在一个排列中同时出现，故：
A1 A2 0;
由于gum,dog可以在dogum中同时出现，故有：
定理2 ABCABCAB -ACBCABC (2 )
3.1 容斥原理
A∩B
A
A∩C
C
A∩B ∩C
U B
B∩C
3.1 容斥原理
运筹学12 可行方向法
(12.1.24)
问题(12.1.15)于是化为： min f ( x ( k ) d k ) s.t. 0 max
(12.1.25)
于是，给定问题(12.1.1)和一个可行点，可以通过求解问题 (12.1.10)得到下降可行方向，通过求解问题(12.1.25)确定沿 此方向进行一维搜索的步长.
怎样确定一维搜索的步长？ (k ) 设x 是(12.1.1)的可行解，不妨看作第k次迭代的出发点.
d ( k )为x ( k )处一个下降可行方向。后继点x ( k 1)由下列迭代 公式给出： x ( k 1) x ( k ) k d ( k )
TP SHUAI
(12.1.14)
12
1. Zoutendijk可行方向法
由于d ( k )为可行方向，A1d ( k ) 0，A1x( k )＝b1 , 0 A1 x ( k ) A1d ( k ) b1 自然成立。
约束(12.1.19)化为
A2 x( k ) A2d ( k ) b2
(12.1.20)
TP SHUAI
15
1. Zoutendijk可行方向法
TP SHUAI 10
1. Zoutendijk可行方向法
令v=p-q, p,q. (12.1.11)写成
w T T T ( A1 , E , E ) p f ( x) q ( w, p, q)T 0 (12.1.12)
根据Farkars定理，上述方程有解的充要条件是
Ed 0 1 d j 1, j 1,..., n 得到最优解d ( k ) .
TP SHUAI 20
1. Zoutendijk可行方向法
北邮最优化课件1预备知识
2012-8-25 TP SHUAI 最优化理论TP SHUAI 4
1.线性空间
例子
1, R 是 实 数 域 R 上 的 一 线 性 空 间 .
n
2, R [ x ] n 是 系 数 在 实 数 域 R 上 次 数 小 于 n 的 全 体 多 项 式 组 成 的 集 合 , 则 R [ x ]n 关 于 多 项 式 的 加 法 以 及 数 与 多 项 式 的 乘 法 构 成 一 线 性 空 间.
1 2 k i i 1 k
i 0, i 1, 2, .., k .则 v ,v ,...,v 称 为 线 性 无 关 的 向 量 组 , 否 则 称 为
1 2 k
线 性 相 关 的 向 量 组.
2012-8-25
TP SHUAI 最优化理论TP SHUAI
6
1.线性空间
D f 1 .6 给 定 S ( ) V ( F ), 所 有 由 S 中 任 意 有 限 个 元 素 在 域 F 上 的 线 性 组 合 构 成 的 集 合 , 称 为 S 的 线 性 扩 张 , 记 为 L ( S ), 即 k i i L ( S ) i v | i F , v S , i 1, .., k , k i 1
R满 足 ：
(1) 正 定 性 ： x R , x 0, x 0 x 0; ( 2 )三 角 不 等 式 ： x , y R , x y x y ;
n
(3 ) 齐 次 性 ： x R , R， x =
n
x .
则 称为R 上的范数
(3) 集 合 S R 是 闭 集 无 穷 序 列 { x } S , 若 x x ,
1.线性空间
例子
1, R 是 实 数 域 R 上 的 一 线 性 空 间 .
n
2, R [ x ] n 是 系 数 在 实 数 域 R 上 次 数 小 于 n 的 全 体 多 项 式 组 成 的 集 合 , 则 R [ x ]n 关 于 多 项 式 的 加 法 以 及 数 与 多 项 式 的 乘 法 构 成 一 线 性 空 间.
1 2 k i i 1 k
i 0, i 1, 2, .., k .则 v ,v ,...,v 称 为 线 性 无 关 的 向 量 组 , 否 则 称 为
1 2 k
线 性 相 关 的 向 量 组.
2012-8-25
TP SHUAI 最优化理论TP SHUAI
6
1.线性空间
D f 1 .6 给 定 S ( ) V ( F ), 所 有 由 S 中 任 意 有 限 个 元 素 在 域 F 上 的 线 性 组 合 构 成 的 集 合 , 称 为 S 的 线 性 扩 张 , 记 为 L ( S ), 即 k i i L ( S ) i v | i F , v S , i 1, .., k , k i 1
R满 足 ：
(1) 正 定 性 ： x R , x 0, x 0 x 0; ( 2 )三 角 不 等 式 ： x , y R , x y x y ;
n
(3 ) 齐 次 性 ： x R , R， x =
n
x .
则 称为R 上的范数
(3) 集 合 S R 是 闭 集 无 穷 序 列 { x } S , 若 x x ,
最优化算法、智能优化算法及其应用
如此往复……
北京邮电大学数学系
7
搜索方向设计总体思路：
算法搜索前半程大致沿最速下降方向搜索， 算法搜索后半程大致沿牛顿方向搜索，即大致 在两个搜索方向之间摇摆；
最优化算法参考书 陈宝林，《最优化理论与算法》，清华大学出版社
北京邮电大学数学系
8
贪心思想与模拟退火策略
第二步：在当前解确定一个搜索方向和步长， 移动到新的解
2
一、搜索算法一般框架
一元问题是个实数
第一步：产生初始解 x0 多元问题是个向量
第二步：在当前解确定一个搜索方向和步长，
移动到新的解 xk1 xk k dk
新解与老解的取舍规则
第三步：算法终止条件，否则循环。
dk 方向：最速下降、牛顿方向
k 步长：一维搜索或线搜索
3
一维搜索的数学模型
这种算法以其实现容易、精度高、收敛快等优点引起了学术界 的重视,并且在解决实际问题中展示了其优越性。
设想这样一个场景：一群鸟在随机搜索食物。在这个区域里 只有一块食物，所有的鸟都不知道食物在那里，但它们依据 本能的认知知道当前的位置距离食物还有多远，那么找食物 的最优策略是什么呢？
最简单有效的就是搜寻目前距离食物最近的鸟的周围区域， PSO从这种模型中得到启示并用于解决优化问题。
惯性权重( inertia weight)；
c1 c2 速常数(acceleration constants)；
rand1, rand2 在[0, 1]范围内变化的随机函数。
北京邮电大学数学系
20
vk1 id
vikd
c1rand1()
pid
xikd
c2rand2 () pgd xikd
北邮最优化课件 8算法
义为
映射在下图中说明
2013-8-6
最优任何初始点x12, 由映射A产生的任何序列都收敛于点 x*=2，对初始点x1<2, 由映射A产生的任何序列都收敛于点 x^=1. 此例表明算法在区间(-,2)上 收敛于集中点，而在[2，) 上却不收敛于中点， 从而算法不是闭的
2013-8-6
最优化理论
21
Ch8 算法-收敛定理
• 8.2.2实用收敛准则
•正如在收敛定理中所指出，若我们达到解集中的一个 点时，就终止算法。然而，在大多数情形下，收敛于中 的点仅仅出现在极限意义上，因此我们必须依靠终止迭 代过程的某些实际规则，下面给出一些常用的终止规则。 这里0和正整数N是预先给定的。 1) ||xk+Nxk||< 如果应用映射A的N次后移动的距离小于时，算法终止
2),
xk 1 - xk or xk 1 - xk xk
2013-8-6
最优化理论
22
Ch8 算法-收敛定理
3), 当函数值(或下降函数值)的下降量充分小时停止计算, 即 f ( xk 1 ) - f ( xk ) 或 f ( xk 1 ) - f ( xk ) f ( xk ) f ( xk )
时, 通常取 f ( x) 或f ( x)作为下降函数
2013-8-6 最优化理论 9
Ch8 算法－概念
• 8.1.4 闭映射
Df 8.1.3 设X 和Y 分别是空间R p 和R q中的非空闭集。 A : X Y 为点到集映射，若 x(k ) X , x(k ) x y ( k ) A( x ( k ) ), y ( k ) y 蕴含y A( x), 则称映射A在x X 处是闭的。 如果映射A在集合Z X上每一点是闭的，则称映射A 在集合Z上是闭的
映射在下图中说明
2013-8-6
最优任何初始点x12, 由映射A产生的任何序列都收敛于点 x*=2，对初始点x1<2, 由映射A产生的任何序列都收敛于点 x^=1. 此例表明算法在区间(-,2)上 收敛于集中点，而在[2，) 上却不收敛于中点， 从而算法不是闭的
2013-8-6
最优化理论
21
Ch8 算法-收敛定理
• 8.2.2实用收敛准则
•正如在收敛定理中所指出，若我们达到解集中的一个 点时，就终止算法。然而，在大多数情形下，收敛于中 的点仅仅出现在极限意义上，因此我们必须依靠终止迭 代过程的某些实际规则，下面给出一些常用的终止规则。 这里0和正整数N是预先给定的。 1) ||xk+Nxk||< 如果应用映射A的N次后移动的距离小于时，算法终止
2),
xk 1 - xk or xk 1 - xk xk
2013-8-6
最优化理论
22
Ch8 算法-收敛定理
3), 当函数值(或下降函数值)的下降量充分小时停止计算, 即 f ( xk 1 ) - f ( xk ) 或 f ( xk 1 ) - f ( xk ) f ( xk ) f ( xk )
时, 通常取 f ( x) 或f ( x)作为下降函数
2013-8-6 最优化理论 9
Ch8 算法－概念
• 8.1.4 闭映射
Df 8.1.3 设X 和Y 分别是空间R p 和R q中的非空闭集。 A : X Y 为点到集映射，若 x(k ) X , x(k ) x y ( k ) A( x ( k ) ), y ( k ) y 蕴含y A( x), 则称映射A在x X 处是闭的。 如果映射A在集合Z X上每一点是闭的，则称映射A 在集合Z上是闭的
离散数学北邮内部资料
景晓军
34
等值演算（判断命题公式类型法Ⅱ）
(置换定理)：设Φ(A)是含命题公式A的命题公式，Φ(B) 是命题公式B置换了Φ(A)中A之后得到的命题公式。如 果AB，则Φ(A)Φ(B)。
例如：P∧7(q∧r)P∧(7qV7r)
景晓军
27
等值演算
设A,B是两个命题,若等价式A↔B是重言式, 则A与B是等值的,记为A<=>B。 注意和“<=>”、“=”的关系。 A↔B是重言式（说明只出现A与B 的值 同时为真或同时为假的两种情况），所 以肯定A <=> B 。 注意和“<=>”、“↔”的关系。如A <=> B 则A↔B必是重言式。若A↔B，未必A <=> B 因为A↔B有4种情况.
不是所有的“和”、“与”都可用“∧”表示。
李文和李武是兄弟： p
景晓军
15
析取联结词
设p，q为两个命题,复合命题“p或q” 称 作p与q的析取式，记作p ∨ q ， ∨为 析取联结词。 p ∨ q为真当且仅当p与 q中至少一个为真。 析取联结词是逻辑“或”的意思。
王燕学过英语(p)或法语(q) p∨q
景晓军
简单命题与复合命题
简单命题：命题不能分成更简单的句子的命题，又称为 命题常项。 2是素数. 雪是黑色的. 2+3=5. 明年十月一日是晴天. 复合命题：由简单命题用联结词联结而成的命题。 3不是偶数; 2是素数和偶数; 林芳学过英语或日语; 如果角A和角B是对顶角，则角A等于角B．
景晓军
10
景晓军
24
真值表
含n(n>1)个命题变项的命题公式,共有2n组赋值,将命题 公式A在所有的赋值之下取值的情况列成表,称为A的真 值表. 如计算 p ∧ (q ∨ ┐r ) 的真值表
北邮最优化课件11 无约束最优化的直接方法
.3 )
再从y(2)出发,沿e2进行探测.方法同上,得到的点记为 y(3) .按此方式作下去直至沿n个方向探测完毕,得到 点y(n+1).
若f (y
( n 1)
) f (x x
(1)
), 则 y y
( n 1)
作 为 新 的 基 点 .记 做 (1 .4 )
x
(k )
,p
(2)
,..., p
(n)
如下
p
( j)
( j) d n (i) id i j
当 j=0 当 j 0
TP SHUAI
(2 .6 )
20
2. Rosenbrock算法
将其正交化
( j) p p
( j)
, p q
( j) (i)
2 2 2
取初点x
(1)
( 2, 0 ) , 坐 标 方 向
T
e1 (1, 0 ) , e 2 (0,1) .
T T
1 2
, 1,
1 2
, 0 .2
计算结果如下
TP SHUAI
12
1. 模式搜索法
x
(k )
j
y
( j)
f (y
( j)
)
y
( j)
+ e j
T (k )
开始， ，
目标函数f 沿每个方向迭代地极小化，导出点x 特别，x
(k 1 )
(k 1 )
x
(k )
d
i i= 1
n
i
, 其 中 j是 沿 方 向 d j移 动 的 距 离 。
再从y(2)出发,沿e2进行探测.方法同上,得到的点记为 y(3) .按此方式作下去直至沿n个方向探测完毕,得到 点y(n+1).
若f (y
( n 1)
) f (x x
(1)
), 则 y y
( n 1)
作 为 新 的 基 点 .记 做 (1 .4 )
x
(k )
,p
(2)
,..., p
(n)
如下
p
( j)
( j) d n (i) id i j
当 j=0 当 j 0
TP SHUAI
(2 .6 )
20
2. Rosenbrock算法
将其正交化
( j) p p
( j)
, p q
( j) (i)
2 2 2
取初点x
(1)
( 2, 0 ) , 坐 标 方 向
T
e1 (1, 0 ) , e 2 (0,1) .
T T
1 2
, 1,
1 2
, 0 .2
计算结果如下
TP SHUAI
12
1. 模式搜索法
x
(k )
j
y
( j)
f (y
( j)
)
y
( j)
+ e j
T (k )
开始， ，
目标函数f 沿每个方向迭代地极小化，导出点x 特别，x
(k 1 )
(k 1 )
x
(k )
d
i i= 1
n
i
, 其 中 j是 沿 方 向 d j移 动 的 距 离 。
组合1排列组合
组合数学
帅天平
北京邮电大学数学系
Email: tpshuai@
第一章 排列组合
1.1 加法法则与乘法法则 1.2一一对应 1.3排列与组合 1.4圆周排列 1.5排列的生成算法 1.6允许重复的组合与不相邻的组合 1.7组合意义的解释 1.8应用举例
1.1
加法法则与乘法法则1
[ 加法法则 ]
1.1
加法法则与乘法法则7
2)“含0”和“含1”不可直接套用。0019含1但不含0。 在组合的习题中有许多类似的隐含的规定，要 特别留神。 不含0的1位数有9个，2位数有9 2个，3位数 有93 个，4位数有9 4个 不含0小于10000的正整数有
9+92 +9 3 +9 4 =(95 －1)/(9－1)=7380个
根据乘法法则得图案数为
20 ×6840=136800
1.3 排列与组合3
定义2 从 n 个不同元素中取 r 个不重复的元素
组成一个子集，而不考虑其元素的顺序，称为 从n个中取r个的无重组合。 组合的全体组成的集合用C(n,r)表示，组合的 个数用C(n,r)表示。 C(n,r)=0,若n < r n 有的书上也用 表示. r
1.2 一一对应2
• 例7 在100名选手之间进行淘汰赛(即一场的比
赛结果，失败者退出比赛),最后产生一名冠军， 问要举行几场比赛？ 解 一种常见的思路是按轮计场，费事。 另一种思路是淘汰的选手与比赛(按场计)集一一 对应。99场比赛。
1.2 一一对应3
• 例 8 CnH2n+2是碳氢化合物,随着n的不同有下 列不同的枝链：
H | H—C—H | H—C—H | H H | H—C—H | H—C—H | H—C—H | H
帅天平
北京邮电大学数学系
Email: tpshuai@
第一章 排列组合
1.1 加法法则与乘法法则 1.2一一对应 1.3排列与组合 1.4圆周排列 1.5排列的生成算法 1.6允许重复的组合与不相邻的组合 1.7组合意义的解释 1.8应用举例
1.1
加法法则与乘法法则1
[ 加法法则 ]
1.1
加法法则与乘法法则7
2)“含0”和“含1”不可直接套用。0019含1但不含0。 在组合的习题中有许多类似的隐含的规定，要 特别留神。 不含0的1位数有9个，2位数有9 2个，3位数 有93 个，4位数有9 4个 不含0小于10000的正整数有
9+92 +9 3 +9 4 =(95 －1)/(9－1)=7380个
根据乘法法则得图案数为
20 ×6840=136800
1.3 排列与组合3
定义2 从 n 个不同元素中取 r 个不重复的元素
组成一个子集，而不考虑其元素的顺序，称为 从n个中取r个的无重组合。 组合的全体组成的集合用C(n,r)表示，组合的 个数用C(n,r)表示。 C(n,r)=0,若n < r n 有的书上也用 表示. r
1.2 一一对应2
• 例7 在100名选手之间进行淘汰赛(即一场的比
赛结果，失败者退出比赛),最后产生一名冠军， 问要举行几场比赛？ 解 一种常见的思路是按轮计场，费事。 另一种思路是淘汰的选手与比赛(按场计)集一一 对应。99场比赛。
1.2 一一对应3
• 例 8 CnH2n+2是碳氢化合物,随着n的不同有下 列不同的枝链：
H | H—C—H | H—C—H | H H | H—C—H | H—C—H | H—C—H | H
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
A1x(k) A1d (k) b1 自然成立。
约束(12.1.19)化为
A2x(k) A2d (k) b2 (12.1.20)
1. Zoutendijk可行方向法
这样,问题(12.1.15)化简为
min f (x(k) d (k ) )
s.t. A2x(k ) A2d (k ) b2 0
(12.1.14)
1. Zoutendijk可行方向法
怎样确定k ?k的取值原则有两点： 第一，保持迭代点x(k) kd (k)的可行性；
第二，使目标函数值尽可能减小。
根据上述原则,可以通过求解下列一维搜索问题来确
定步长：
min f (x(k) d k )
s.t. A(x(k) d k ) b
设非零向量d是 xˆ 处的可行方向，于是存在0,使
得对每个，有 xˆ d为可行点，即
A(xˆ d ) b
(12.1.2)
E(xˆ d ) e
由于
(12.1.3)
A( 因此
xˆ
d
)
A1 A2
(
xˆ
d
)
b1 A1d A2xˆ A2d
b1 A1d A2xˆ A2d
根据(12.1.21)的约束条件，易求出的上限,令
(12.1.21 ）
根据假设(12.1.5)及A1xˆ b1,得
A1(xˆ d ) b1 (12.1.7)
1. Zoutendijk可行方向法
(12.1.6)和(12.1.7)即
A(xˆ d ) b (12.1.8)
又由Ed 0及Exˆ e可知
E(xˆ d ) e (12.1.9)
由上可知,xˆ d是可行点.因此d是xˆ处的可行方向.
1. Zoutendijk可行方向法
怎样选择下降可行方向？
Th12.1.1设xˆ是问题(12.1.1)的可行解，在点xˆ处有
A1xˆ b1, A2xˆ b2,其中
A
A1 A2
,
b
b1 b2
则非零向量d为xˆ处的可行方向的充要条件是
A1d 0, Ed 0.
证明：必要性
1. Zoutendijk可行方向法
E(x(k) d k ) e
(12.1.15)
0
1. Zoutendijk可行方向法
问题(12.1.15)可作进一步简化。 由于d (k)是可行方向,必有
Ed (k ) 0
Ex(k ) e 因此,(12.1.15)中第2个约束是多余的
在点x(k)处,根据约束是否起作用，记A ( A1, A2 )T ,
显然d=0是可行解。由此可知,目标函数的最优 值必小于等于0。若最优值小于0，则可得下降 可行方向d,否则我们可证x是KKT点.
1. Zoutendijk可行方向法
Th12.1.2考虑问题(12.1.1),设x是可行解，在点x处有
A1x b1, A2x b2,其中
A
A1 A2
,
b
b1 b2
p
f
(
x)
q
(w, p, q)T 0
(12.1.12)
根据Farkars定理，上述方程有解的充要条件是
(A1,E, E)T d 0,f (x)T d 0
无解
(12.1.13)
1. Zoutendijk可行方向法
即
f (x)T d 0, A1d 0, Ed 0无解
所以x为KKT点的充要条件是问题(12.1.10)的目标 函数最优值为0。
于是,如果非零向量d同时满足 f (xˆ)T d 0, A1d 0, Ed 0
则d是在xˆ处的下降可行方向。
1. Zoutendijk可行方向法
Zoutendijk法把确定搜索方向归结为求解LP: min f (x)T d
s.t. A1d 0, Ed 0,
(12.1.10)
d j 1, j 1,...,n
根据上述定理，求解问题(12.1.10)的结果或者是 得到下降可行方向，或者得到KKT点。
怎样确定一维搜索的步长？
设x( k )是(12.1.1)的可行解，不妨看作第k次迭代的出发点.
d (k)为x(k)处一个下降可行方向。后继点x(k1)由下列迭代
公式给出：
x(k1) x(k ) k d (k )
Ch12 可行方向法
求解无约束问题下降算法的过程是
在当前点x(k)处，寻找目标函数f 的下降方向d (k)，然后从x(k)
出发，沿d (k)进行一维搜索,产生步长k ,进而得到
x(k 1) x(k ) k d (k )
解约束问题的可行方向法与求解无约束问题的下降算法类 似：可行方向法从问题的可行点出发，在该点的可行方 向中，寻找使目标函数下降的方向，然后沿该方向进行 线性搜索，得到一个新的可行点。
则x为KKT点的充要条件是问题(12.1.10)的目标函数
最优值为0.
证明:根据定义, x为KKT点的充要条件是,w和v,
使得 f (x) A1T w ETv 0
(12.1.11)
1. Zoutendijk可行方向法
令v=p-q, p,q. (12.1.11)写成
w
(
A1T
,
ET
,
ET
)
b1 b2
(12.1.4)
1. Zoutendijk可行方向法
注意到>0,故有 A1d 0 又由(12.1.3)得 Ed=0 下证充分性。设
A1d 0, Ed 0 (12.1.5)
由于A2xˆ b2,则存在正数 ,使得对 [0, ),成立
A2 (xˆ d ) b2
(12.1.6)
Ch12 可行方向法
1 Zoutendijk可行方向法 2 Rosen梯度投影法 3 Frank-Wolfe法 4 既约梯度法
1. Zoutendijk可行方向法
2.1 线性约束情形
考虑NLP问题 min f (x)
s.t Ax b (12.1.1) Ex e
其中f (x)可微，A为m n矩阵, E为l n矩阵， x Rn,b和c分别为m和l维列向量.
b (b1,b2 )T
A1x(k ) b1
(12.1.16)
A2 x(k ) b2
(12.1.17)
1. Zoutendijk可行方向法
于是,(12.1.15)中第1个约束可写成：
A1x(k A2 x(k
) )
A1d (k ) A2d (k )
b1
b2
(12.1.19)
由于d (k)为可行方向，A1d (k) 0，A1x(k)＝b1, 0