约束优化_二次规划与SQP PPT
合集下载
二次规划 ppt课件
定 理 9-4 设 G 是 半 正 定 （ 正 定 ） 矩 阵 ， 则 x* 是 约 束 问 题 (9-58) 的 全 局 最 优 解 ， * 是 相 应 的 乘 子 向 量 的 充 分 必 要 条 件 是 ： x* 、 * 是 线 性 方 程 组
G AT
的解．
A x r 0 b
定 理 9-4 表 明 ， 求 解 等 式 约 束 的 二 次 规 划 问 题 ， 可 转 化 为 求 解 线 性 方 程 组 的 问 题 ， 但 是 问 题 的 维 数 也 由 n 变 成 了 n+m， 维 数 的 增 大 会 增 加 求解线性方程组的难度，一种克服上述缺点的方法是变量消去法．消去 法包括直接消去法和广义消去法．
9.6 二次规划
二次规划是特殊的非线性规划，它形式简单，既可以 使用求解非线性规划的一般方法求解，又有特定的解法； 此外，二次规划在实际中有着广泛的应用，例如著名的支 持向量机，在本质上就是一个二次规划问题．本节着重介 绍凸二次规划问题的一些性质和求解方法．
9.6.1 二次规划的基本概念与基本性质
1 min f ( x) xT Gx r T x, x R n 2 s.t. hi ( x) AiT x bi 0, i {1,2, , m} I ( x* )
的全局极小点．
(9-57)
证 若 x* 是 凸 二 次 规 划 (9-55) 的 全 局 极 小 点 ， 则 x* 是 问 题 (9-55) 的 K - T 点，也是问题 (9-57) 的 K - T 点，由定理 9-2 可知， x* 是问题 (9-57) 的全局极小点．
i m 1
A
* i
m l
T i
现代设计方法-优化设计5-约束优化课件PPT
end
20
21
22
4. 可行方向法
可行方向法是用梯度去求解约束非线性最优化问题的一种有 代表性的直接解法，是求解大型约束优化问题的主要方法之 一。其收敛速度快，效果好，但程序比较复杂，计算困难且 工作量大。
数学基础：梯度法、方向导数、K-T条件 线性规划，约束一维搜索
适用条件：目标函数和约束函数一阶连续可微, 只有不等式约束。
约束梯度法 31
序列线性规划法
（4）可行方向法的迭代步骤
1）给定初始内点X(0)，收敛精度ε和约束允差δ，置
k=0；
2）确定点X(k)的起作用约束集合
Ik X (k) , u gu X (k) ,u 1,2,, m
➢ 当Ik为空集（表示约束都不起作用），且点X(k)在可
行域内时，如果 f X，(k)则令
现代设计方法
优化设计部分
黄正东，吴义忠
二0一三年二月
1
本章主要内容
➢ 优化设计概述 ➢ 优化设计的数学基础 ➢ 一维探索优化方法 ➢ 无约束优化方法 ➢ 约束问题优化方法 ➢ 优化设计若干问题
2
约束问题优化方法
➢ 优化设计概述 ➢ 优化设计的数学基础 ➢ 一维探索优化方法 ➢ 无约束优化方法 ➢ 约束问题优化方法 ➢ 优化设计若干问题
11
初始复合形法生成
1.随机测试找到一个可行点
2.随机生成其它点
3.计算可行点的中心点
4.中心点不可行时,不计最远点 重新计算中心
5.将不可行点向中心拉靠
6.初始复合1形2
(2) 算法 (反射、扩张、收缩、压缩）
Step 1： 反射
（1） 计算 （2） 计算
f ( X h ) max{ f ( X j ), j 1,2,..., k}
20
21
22
4. 可行方向法
可行方向法是用梯度去求解约束非线性最优化问题的一种有 代表性的直接解法，是求解大型约束优化问题的主要方法之 一。其收敛速度快，效果好，但程序比较复杂，计算困难且 工作量大。
数学基础：梯度法、方向导数、K-T条件 线性规划，约束一维搜索
适用条件：目标函数和约束函数一阶连续可微, 只有不等式约束。
约束梯度法 31
序列线性规划法
（4）可行方向法的迭代步骤
1）给定初始内点X(0)，收敛精度ε和约束允差δ，置
k=0；
2）确定点X(k)的起作用约束集合
Ik X (k) , u gu X (k) ,u 1,2,, m
➢ 当Ik为空集（表示约束都不起作用），且点X(k)在可
行域内时，如果 f X，(k)则令
现代设计方法
优化设计部分
黄正东，吴义忠
二0一三年二月
1
本章主要内容
➢ 优化设计概述 ➢ 优化设计的数学基础 ➢ 一维探索优化方法 ➢ 无约束优化方法 ➢ 约束问题优化方法 ➢ 优化设计若干问题
2
约束问题优化方法
➢ 优化设计概述 ➢ 优化设计的数学基础 ➢ 一维探索优化方法 ➢ 无约束优化方法 ➢ 约束问题优化方法 ➢ 优化设计若干问题
11
初始复合形法生成
1.随机测试找到一个可行点
2.随机生成其它点
3.计算可行点的中心点
4.中心点不可行时,不计最远点 重新计算中心
5.将不可行点向中心拉靠
6.初始复合1形2
(2) 算法 (反射、扩张、收缩、压缩）
Step 1： 反射
（1） 计算 （2） 计算
f ( X h ) max{ f ( X j ), j 1,2,..., k}
《约束优化问题》课件
借鉴物理退火过程的随机搜索 算法，通过概率接受劣解探索
最优解。
03
CHAPTER
常见约束优化问题
线性规划问题
总结词
线性规划问题是最常见的约束优化问题之一，它通过线性不等式或等式约束来 限制决策变量的取值范围，使得目标函数达到最优解。
详细描述
线性规划问题通常用于资源分配、生产计划、运输和分配等问题，其目标函数 和约束条件都是线性函数。求解线性规划问题的方法包括单纯形法、对偶理论 和分解算法等。
约束优化问题的可解释性与鲁棒性研究
总结词
为了更好地应用约束优化问题，需要研究其可解释性 和鲁棒性，以提高模型的可靠性和稳定性。
详细描述
在许多领域中，模型的解释性和鲁棒性是非常重要的 。为了更好地应用约束优化问题，需要研究其可解释 性和鲁棒性，例如通过建立模型的可解释性框架、设 计鲁棒性强的算法等，以提高模型的可靠性和稳定性 。
拉格朗日乘数法
总结词
一种求解约束优化问题的数学方法
详细描述
通过引入拉格朗日乘数，将约束优化问题转化为无约束优化问题，然后利用无约束优化 方法求解。在每一步迭代中，根据当前点的拉格朗日函数值更新拉格朗日乘数和迭代点
，直到满足收敛条件。
拉格朗日乘数法
要点一
适用范围
适用于具有线性约束的优化问题。
要点二
执行。
时间限制
生产计划需要在规定的时间内完 成，因此时间限制也是一个重要 的约束条件。通过约束优化问题 ，可以找到在满足时间限制下的
最优生产计划。
质量限制
在生产过程中，质量是一个重要 的考量因素。通过约束优化问题 ，可以在保证质量的前提下，实
现生产计划的最优配置。
物流配送优化
时间限制
最优解。
03
CHAPTER
常见约束优化问题
线性规划问题
总结词
线性规划问题是最常见的约束优化问题之一，它通过线性不等式或等式约束来 限制决策变量的取值范围，使得目标函数达到最优解。
详细描述
线性规划问题通常用于资源分配、生产计划、运输和分配等问题，其目标函数 和约束条件都是线性函数。求解线性规划问题的方法包括单纯形法、对偶理论 和分解算法等。
约束优化问题的可解释性与鲁棒性研究
总结词
为了更好地应用约束优化问题，需要研究其可解释性 和鲁棒性，以提高模型的可靠性和稳定性。
详细描述
在许多领域中，模型的解释性和鲁棒性是非常重要的 。为了更好地应用约束优化问题，需要研究其可解释 性和鲁棒性，例如通过建立模型的可解释性框架、设 计鲁棒性强的算法等，以提高模型的可靠性和稳定性 。
拉格朗日乘数法
总结词
一种求解约束优化问题的数学方法
详细描述
通过引入拉格朗日乘数，将约束优化问题转化为无约束优化问题，然后利用无约束优化 方法求解。在每一步迭代中，根据当前点的拉格朗日函数值更新拉格朗日乘数和迭代点
，直到满足收敛条件。
拉格朗日乘数法
要点一
适用范围
适用于具有线性约束的优化问题。
要点二
执行。
时间限制
生产计划需要在规定的时间内完 成，因此时间限制也是一个重要 的约束条件。通过约束优化问题 ，可以找到在满足时间限制下的
最优生产计划。
质量限制
在生产过程中，质量是一个重要 的考量因素。通过约束优化问题 ，可以在保证质量的前提下，实
现生产计划的最优配置。
物流配送优化
时间限制
现代设计方法-优化设计5-约束优化课件
x2
xc x
xr
x2 x xc xr
xh
xh
x1
学习交流PPT
x1 9
无约束单纯形法----（4）压缩
f(xr) 最少比第二最大值大.
4.如果f(xc)f(xh’),xc ->xh（上图） 否则（反射点和收缩点函数值都比较大），以xl 为中心压缩整个单纯形（极小值点在压缩的单纯 性内）：
xi=xi+0.5(xl-xi), i=0,1,2,…,n
n
x= 1 n
x i ---除最高点外的所有点的形心
i 0 ,i h
xr=x+a(x-xh)
x2
x
xr
---反射点，a反射系数，一般取 a=1.
xh
x1
学习交流PPT
6
无约束单纯形法 ---（2）扩张
f(xr)比所有单纯形点上值小
分三种情况产生新点: 1。如果f(xl)>f(xr), 进一步扩展
x2
x2
xh
x学习h 交流PPT
xl
10
2. 复合形法
(1) 算法思想
对于n维变量空间,单纯形是n+1个顶点. 复合形法是多个单纯形合并成的超多面体,顶点数n+1.
复合形法与单纯形极为相似,其不同之处: 1.复合形法不限制顶点个数为n+1,复合形法顶点个数是k,
2nkn+1.
2.复合形法需要检查顶点的可行性, 即是否满足约束.
➢ 单纯形与复合形法 ➢ 随机方向法 ➢ 可行方向法 ➢ SQP方法 ➢ 惩罚函数法
学习交流PPT
3
约束问题优化方法
➢ 直接法
➢复合形法 ➢随机方向法 ➢可行方向法 ➢序列二次规划
约束优化二次规划与SQP
等式约束二次规划－基本消元法(续)
找 A 的可逆子矩阵 A1，进行消元
如果 正定，解方程组
可得惟一解
等式约束二次规划－广义消元法
令 Y 和 Z 分别是 n×m 与 n×(n-m)矩阵，满足
考察方程组ATx=b: Yb是特解；通解x=Yb+ s， 其中s 是齐次线性方程组ATs=0的解
任一可行解均可表示为: x=Yb+Zy
• 近似二阶导数
⊙ 用近似矩阵B(k)代替W(k) ⊙ 用近似矩阵代替既约海森矩阵Z(k)TW(k) Z(k)
• 子问题的求解
积极集法－算法的原理(续)
◎ x(k)是当前等式约束问题的解，即s(k) =0： 设当前等式约束问题的Lagrange乘子是
⊙ 乘子中与不等式约束对应的分量非负： x(k)是原问题的KKT点，进而是全局解
⊙ 否则，存在
通常取指标 q 满足：
积极集法－算例
积极集法－算例(续)
作业中用同样的初始点和不同的初始工作集进行迭代求解
凸二次规划
技术注记：此处用线性约束规范代替LICQ! 故二次规划的任 一解x*均满足KKT条件
最优积极集！
积极集法－算法的动机(motivation)
如果提前知道 ，求解
对最优积极集进行猜测，并不断修正，直到得到正确的！ 考虑第 k 次迭代： x(k)是可行点， Wk 是工作集(由等式约束和部分或全部 积极不等式约束组成)
基本/局部逐步二次规划法(续)
假设
是等式约束问题的满足二阶充分条件的极
小点，即
这里 Z 是A*Ts=0的基础解系组成的矩阵.
则s*=0 (x*)是下列问题的惟一最优解
基本/局部逐步二次规划法(续)
《约束优化方法》课件
牛顿法
01 总结词
基本原理、优缺点
02
基本原理
牛顿法基于泰勒级数展开，通 过迭代更新参数，构造出目标 函数的二次近似模型，并利用 该模型求解最优解。在约束优 化问题中，牛顿法通常用于处 理等式约束或非线性不等式约 束。
03
优点
04
收敛速度快，通常只需要较少的 迭代次数就能找到最优解。
缺点
对初值选择敏感，如果初值选择 不当，可能无法收敛到最优解； 同时计算量较大，需要存储和计 算Hessian矩阵。
物流配送问题旨在在满足客户需求和运输能力等约束 条件下，合理安排货物的配送路线和运输方式，以最 小化运输成本或最大化运输效率。
详细描述
物流配送问题需要考虑客户分布、运输网络、运输能 力、时间限制等多个约束条件，通过优化配送路线和 运输方式，提高物流效率和客户满意度。
2023
REPORTING
THANKS
非线性规划的解法包括梯度法、牛顿 法、共轭梯度法等，这些方法可以用 于解决函数优化、机器学习、控制系 统等领域的问题。
整数规划
整数规划是约束优化方法中的一种特殊类型，它要求所有决策变量均为整数。
整数规划的解法包括分支定界法、割平面法等，这些方法可以用于解决车辆路径问题、背包问题、布局问题等具有整数约束 的问题。
REPORTING
线性规划
线性规划是最早的约束优化方法之一 ，它通过寻找一组变量的最优解来满 足一系列线性不等式约束和等式约束 ，并最大化或最小化某个线性目标函 数。
线性规划的解法包括单纯形法、分解 法、网络流算法等，这些方法可以用 于解决生产计划、资源分配、运输问 题等实际应用。
非线性规划
非线性规划是约束优化方法的一个重 要分支，它研究的是目标函数和约束 条件均为非线性的优化问题。
约束优化算法PPT课件
令
，上述方程组即
给定初始点
，利用上面两式进行迭代
解等式约束问题的－ Lagrange-Newton法
定理 假设 x*是等式约束问题的满足二阶充分条件的局
部极小点, 且rank (A*)=m， 是惟一的Lagrange乘子.
则当
充分接近
时，Lagrange-Newton
法有定义，且由该方法产生的序列
二次
特点：在 x1=1 处不可微；进行整理，得
结论：对任一
罚函数的解与原问题的相同
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
精确罚函数法(续)
⊙ 先验确定惩罚参数很难；通常是计算一系列子问题， 并在计算过程中调整该参数
⊙ 与逐步二次规划法有密切联系；SQP的线搜索实现中 通常以 惩罚函数作为评价函数
则s*=0 (x*)是下列问题的惟一最优解
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
基本/局部逐步二次规划法(续)
算法9.2 基本SQP法
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
基本/局部逐步二次规划法(续)
例
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
基本/局部逐步二次规划法(续)
优化理论
数学与系统科学学院
二次惩罚函数法(续)
条件数
第6讲 约束优化问题的算法
优化理论
数学与系统科学学院
精确罚函数法 SQP中常用*****
一定条件下，
存在
，当
特点：不需要
时，求解 ；是非光滑的！
避免了无约束优化问题的病态性！
例
即可
第四章约束问题的最优化方法PPT课件
s.t. gu(x) 0,u1,2,...,p
2、等式约束优化问题（EP型）
minF(x)
xD Rn
s.t. hv(x) 0,v 1,2,...,q
3、一般约束优化问题（GP型）
min F(x)
x D Rn
s.t. gu( x) 0, u 1,2,..., p
1
hv ( x) 0, v 1,2,...,q
惩罚项：当迭代点在非可行域或不满足不等式约束条件时，在迭 代过程之中迫使迭代点逼近约束边界或等式约束曲面。
加权因子（即惩罚因子）： r1 , r2
无约束优化问题：m.in (x,r1,r2)
Φ函数的极小点序列 x (k)* ( r1 (k) , r2 (k) ) k= 0,1,2…
其收敛必须满足：
4. 求解过程分析：
18
§4.3 外点惩罚函数法 (衰减函数法）
一. 基本思想：
外点法将新目标函数
Φ( x , r ) 构筑在可行域 D 外，
随着惩罚因子 r(k) 的不断递增，
生成一系列新目标函数
Φ(xk ,r(k))，在可行域外逐步
迭代，产生的极值点 xk*(r(k))
4
序列从可行域外部趋向原目标
②
(x(k1) *((rx((kk 1 1)))*() r (k(1)x)k* )(r(k)))2
若均满足，停止迭代，有约束优化问题的最优点为 x* = xk*；
若有一个准则不满足，则令 x ( 0 ) x k * ( r ( k ) ) r ( k , 1 ) c r ( k ) , k k 1
5
m
p
新目标函数： (x,r1,r2)f(x)r1 u1G [gu(x) ]r2 v1H[hv(x)]
约束优化.ppt
由于复合形的形状不必保持规则图形，对目标 函数及约束函数的性状又无特殊要求，因此该法的 适应性较强，在机械优化设计中得到广泛应用。
初始复台形的形成
复合形法是在可行域内直接搜索最优点，因此， 要求初始复合形在可行域内生成，即复合形的k个定 点必须是可行点。
生成初始复合形法的算法原理
1)由设计者决定k个可行点，构成初始复合形。当设 计变量较多或约束函数复杂时，由设计者决定k个可 行点常常很困难。只有在设计变量少，约束函数简单 的情况下，这种方法才被采用。
事实上，只要可行域为凸集，其中心点必为可 行点，用上述方法可以成功地在可行域内构成初始 复合形。如果可行域为非凸集，中心点不一定在可 行域之内，则上述方法可能失败。此时可以通过改 变设计变量的下限和上限值，重新产生各项点。经 过多次试算，有可能在可行域内生成初始复合形。 3)由计算机自动生成初始复合形的全部顶点。其方 法是首先随机产生一个可行点，然后按第二种方法 产生其余的(k—1)个可行点。这种方法对设计者来 说最为简单，但因初始复合形在可行域内的位置不 能控制，可能会给以后的计算带来困难。
约束优化方法
工程问题中绝大部分问题是约束问题。只要由
约束条件决定的可行域是凸集，同时目标函数也是 凸函数，否则将由于选择的初始点不同，而搜索到 不同的局部最有点上。
约束优化的模型，通常如下：
min f x f x1, x2 ,, xn s.t. g j x g j x1, x2 ,, xn 0 ( j 1,2,, m)
在可行域内生成初始复合形后，将采用不同的搜 索方法来改变其形状，约束最优点趋近。改变复合 形形状的搜索方法主要有以下几种： 1．反射 反射是改变复合形形状的一种主要策略，计算步骤：
1)计算复合形各顶点的目标函数值，并比较其大小， 求出最好点、坏点。计算除去最坏点外的(k—1)个顶点 的中心xc
初始复台形的形成
复合形法是在可行域内直接搜索最优点，因此， 要求初始复合形在可行域内生成，即复合形的k个定 点必须是可行点。
生成初始复合形法的算法原理
1)由设计者决定k个可行点，构成初始复合形。当设 计变量较多或约束函数复杂时，由设计者决定k个可 行点常常很困难。只有在设计变量少，约束函数简单 的情况下，这种方法才被采用。
事实上，只要可行域为凸集，其中心点必为可 行点，用上述方法可以成功地在可行域内构成初始 复合形。如果可行域为非凸集，中心点不一定在可 行域之内，则上述方法可能失败。此时可以通过改 变设计变量的下限和上限值，重新产生各项点。经 过多次试算，有可能在可行域内生成初始复合形。 3)由计算机自动生成初始复合形的全部顶点。其方 法是首先随机产生一个可行点，然后按第二种方法 产生其余的(k—1)个可行点。这种方法对设计者来 说最为简单，但因初始复合形在可行域内的位置不 能控制，可能会给以后的计算带来困难。
约束优化方法
工程问题中绝大部分问题是约束问题。只要由
约束条件决定的可行域是凸集，同时目标函数也是 凸函数，否则将由于选择的初始点不同，而搜索到 不同的局部最有点上。
约束优化的模型，通常如下：
min f x f x1, x2 ,, xn s.t. g j x g j x1, x2 ,, xn 0 ( j 1,2,, m)
在可行域内生成初始复合形后，将采用不同的搜 索方法来改变其形状，约束最优点趋近。改变复合 形形状的搜索方法主要有以下几种： 1．反射 反射是改变复合形形状的一种主要策略，计算步骤：
1)计算复合形各顶点的目标函数值，并比较其大小， 求出最好点、坏点。计算除去最坏点外的(k—1)个顶点 的中心xc
第5讲约束优化课件
16维非线性规划模型61约束非线性规划的基本原理与解法有非线性函数带约束的非线性规划nonlinearprogramming只有等式约束为参数拉格朗日乘子法构造拉格朗日函数转化为无约束优化问题利用无约束优化最优解的必要条件求解不等式约束611可行方向与下降方向一起作用约束与不起作用约束x的不起作用约束10x的起作用约束在x处的微小变动都可能导致约束条件被破坏x的不起作用约束在x处的微小变动不会破坏约束条件设x为可行解位于约束边界x的不起作用约束11不起作用约束当足够小可保证约束条件满当足够小可保证约束条件满足任意方向d都是可行方向若xd既是可行方向又是下降方向则x继续沿方向d移动时目标函数f将减少则x不是最优解若x为最优解则一定不存在可行且下降方向13612最优解的必要条件x为最优解不存在同时满足12的d库恩塔克kuhntucker条件kt条件线性无关则存在若x为最优解最优解一定是kt点互补性条件1473验证p是kt点而q不是是起作用约束g是起作用约束g16代入式子q点不是kt点17则存在线性无关是最优解且18613二次规划qp及其解法cxhxmin当h为对称阵称二次规划quadraticprogramming当h正定时称凸二次规划凸二次规划性质
线性规划模型
5
2）改建两个新料场，需要确定新料场位置(xj,yj)和 运量cij ，在其它条件不变下使总吨公里数最小。
26
min
cij [(x j ai )2 ( y j bi )2 ]1/ 2
j 1 i1
2
s.t.
cij di , i 1,...,6,
j 1
6 g1(P) 2
1 g2 (P) 1
15
代入式子 f (x) 1g1(x) 2g2 (x) 0
线性规划模型
5
2）改建两个新料场，需要确定新料场位置(xj,yj)和 运量cij ，在其它条件不变下使总吨公里数最小。
26
min
cij [(x j ai )2 ( y j bi )2 ]1/ 2
j 1 i1
2
s.t.
cij di , i 1,...,6,
j 1
6 g1(P) 2
1 g2 (P) 1
15
代入式子 f (x) 1g1(x) 2g2 (x) 0
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
其中 G 是 n 阶对称方阵，ai , d是 n 维常向量
G 半正定
凸二次规划
解的情况：无可行解、无界、有解
有解时：
⊙ G半正定：KKT点即为全局极小点
⊙ G 正 定 ：有惟一的极小点
⊙ G 不 定：局部解有可能不是全局解，此时找全
局解是NP-难问题
有价证券的组合优化
投资集合{1, …, n}，可能收益为ri ⊙ 问题：对收益与风险的折衷进行建模
线性无关，且存在指标
使得
. 考虑
问题
设该问题的解为 s’ . 则 s’ 是第 j 个约束的可行方向，即
. 此外，如果 s’ 满足二阶充分条件，则
.
定理10.2.2 假设 s(k) 是关于增量的等式约束二次规划子问题 的最优解，且满足该问题的二阶充分条件，则 p(k) =s(k) 是 原目标函数的下降方向. 线搜索法、每个迭代点都可行
逐步二次规划法
Successive Quadratic Programming Method
假设和记号
在设计和分析算法时，通常假设 f(x) , ci(x) 是连续 可微(二阶连续可微)的，且导数是李普希兹连续的！
等式约束问题－Lagrange-Newton法
KKT条件： 其中
等式约束问题－Lagrange-Newton法
大规模凸二次规划！
积极集法
积极集法－问题
其中 G 是 n 阶对称方阵，ai , d是 n 维常向量 解的情况：无可行解、无界、有解
G 半正定
凸二次规划
技术注记：此处用线性约束规范代替LICQ! 故二次规划的任 一解x*均满足KKT条件
最优积极集！
积极集法－算法的动机(motivation)
如果提前知道 ，求解
对最优积极集进行猜测，并不断修正，直到得到正确的！ 考虑第 k 次迭代： x(k)是可行点， Wk 是工作集(由等式约束和部分或全部 积极不等式约束组成)
其中
积极集法－算法的原理
◎ x(k)不是当前等式约束问题的解，即s(k) ≠0: ⊙ x(k) +s(k)满足其它约束： ，工作集保持不变 ⊙ x(k) +s(k)不满足某些约束，找阻滞约束和步长：
实用二次规划算法综述
⊙ 经典积极集法(classical active-set methods)
求解凸和非凸二次规划问题－－中小规模(几百个变量！)
⊙ 梯度投影法(gradient-projection methods)
界约束QP(BoxQP)!
⊙ 内点法(interior-point methods)
◇ 假定I 设 是随机变量
◇ 假定II 所有资金均投资，不允许卖空 ⊙ 投资组合：设对第 i 项投资的资金投放比例为 xi
有价证券的组合优化(续)
⊙ 证卷组合： 证卷组合的利润： 证卷组合的期望收益和方差：
G 是半正定矩阵！ ⊙ 证卷组合优化(portfolio optimization)：
有价证券的组合优化(续)
Markowitz引入风险容许参数(risk tole
⊙ 参数
，设定值依赖于投资者的个人偏好
保守型投资者：大的参数取值 冒险性投资者：小的参数取值
等式约束二次规划 积极集法 逐步二次规划法
等式约束二次规划
等式约束二次规划
其中
KKT条件： 其中
设
是近似解，则其牛顿校正
满足
等式约束问题－Lagrange-Newton法(续)
令
，上述方程组即
给定初始点
，利用上面两式进行迭代
解等式约束问题的－ Lagrange-Newton法
定理 假设 x*是等式约束问题的满足二阶充分条件的局
部极小点, 且rank (A*)=m ， 是惟一的Lagrange乘子.
考察方程组ATx=b: Yb是特解；通解x=Yb+ s， 其中s 是齐次线性方程组ATs=0的解
任一可行解均可表示为: x=Yb+Zy
如果ZTGZ正定，则原问题有惟一解，解方程组
等式约束二次规划－广义消元法(续)
构造 Y 和 Z的正交分解法 对矩阵 A 进行QR分解，即
等式约束二次规划－广义消元法(续)
则当
充分接近
时，Lagrange-Newton
法有定义，且由该方法产生的序列
二次
收敛到
.
基本/局部逐步二次规划法
考虑二次规划问题
的解和对应的Lagrange乘子，其中 二次规划的 KKT条件
假定:
线性无关
核心思想：消元法(基本、广义)
其中
，A1可逆
等式约束二次规划－基本消元法
消去 x3 代入 q(x)
等式约束二次规划－基本消元法(续)
找 A 的可逆子矩阵 A1，进行消元
如果 正定，解方程组
可得惟一解
等式约束二次规划－广义消元法
令 Y 和 Z 分别是 n×m 与 n×(n-m)矩阵，满足
⊙ 否则，存在
通常取指标 q 满足：
积极集法－算例
积极集法－算例(续)
作业中用同样的初始点和不同的初始工作集进行迭代求解
积极集法－算法
算法10.2.1 求解凸二次规划的积极集法
积极集法－理论分析
定理10.2.1 设 x(k) 是等式约束二次规划子问题的最优解，
是对应的乘子. 假设约束的梯度向量
积极集法－进一步说明
⊙ 存在许多技术确定初始点－－比如人工变量法！ ⊙ 在恰当的假定下可证明－－算法有限步找到解！ ⊙ 可以推广来求解非凸二次规划 ⊙ 初试点相同，但初始工作集不同，则后面的迭代不同；
即使初始工作集相同，后面的迭代也可能不同 ⊙ 选取初试工作集的额外要求：所选约束的梯度线性无关 ⊙ 迭代次数有可能超过不等式约束的个数
称取到最小值的指标 p对应的约束为阻滞(blocking)约束
无阻滞约束时，工作 集不变；否则给工作 集添加一个阻滞约束
积极集法－算法的原理(续)
◎ x(k)是当前等式约束问题的解，即s(k) =0： 设当前等式约束问题的Lagrange乘子是
⊙ 乘子中与不等式约束对应的分量非负： x(k)是原问题的KKT点，进而是全局解
约束优化问题
可行域：
常用方法
特殊问题
一般问题
可行方向法－线性约束问题 逐步二次规划法
次梯度优化－对偶问题
惩罚函数法
内点法(原对偶内点法)－凸规划
第10章：约束优化：二次规划与逐步二次规划法
Constrained Optimization: Quadratic Programming and SQP