最优化方法 第六章 二次规划
最优化方法 第六章 二次规划
min 1 xTGx d T x
2
(3)
s.t. aiT x bi , i E I x
的局部极小点.
反之，如果 x是(1)的可行点，且是问题(3)的 K-T 点，而且
相应的 Lagrange 乘子满足
i 0, i I x
(4)
则 x也是原问题(1)的 K-T 点.
ABT xB ANT xN b 相关的量 x, g, A 与 G 作如下分块：
xxB xNAAB ANGGBB GNB
GBN GNN
g
gB gN
其中xB Rm, xN Rnm , 其余类似．
该分块使得 AB 为 mm阶非奇异方阵，因此 AB1 存在，此时由上面方程可得：
xB ABT 1 b ANT xN
s.t
x1 2x2 x3 4 0
x1 x2 x3 2 0
解：
2
G 2
2
b
4 2
1 1 A 2 1
1 1
rA 2
2 0
0
2
0 1 1 x1 0
0
2
1
x2
0
0
1
0 2
2 1
1 0
1
0
x3
1
0 4
1 1 1 0 0 2 2
x*T , *T 2 , 10 , 6 , 8 , 4
其中
x*
2
7 7 , 10 , 6
T
7 ,
7
7
7 7 7
* 8 , 4 为最优乘子.
7 7
练习
(1)用Lagrange方法求解：
min f x 2x12 x22 x1x2 x1 x2
最优化设计 课后习题答案
最优化方法-习题解答张彦斌计算机学院2014年10月20日Contents1第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、412第二章线搜索算法-P27习题2、4、643第三章最速下降法和牛顿法P41习题1，2，374第四章共轭梯度法P51习题1，3，6(1)105第五章拟牛顿法P73-2126第六章信赖域方法P86-8147第七章非线性最小二乘问题P98-1，2，6188第八章最优性条件P112-1，2,5,6239第九章罚函数法P132，1-(1)、2-(1)、3-(3),62610第十一章二次规划习题11P178-1（1），5291第一章最优化理论基础-P13习题1(1)、2(3)(4)、3、4 1.验证下列各集合是凸集:(1)S={(x1,x2)|2x1+x2≥1,x1−2x2≥1};需要验证：根据凸集的定义，对任意的x(x1,x2),y(y1,y2)∈S及任意的实数λ∈[0,1],都有λx+(1−λ)y∈S.即,(λx1+(1−λ)y1,λx2+(1−λ)y2)∈S证：由x(x1,x2),y(y1,y2)∈S得到，{2x1+x2≥1,x1−2x2≥12y1+y2≥1,y1−2y2≥1(1)1把(1)中的两个式子对应的左右两部分分别乘以λ和1−λ,然后再相加，即得λ(2x1+x2)+(1−λ)(2y1+y2)≥1,λ(x1−2x2)+(1−λ)(y1−2y2)≥1(2)合并同类项，2(λx1+(1−λ)y1)+(λx2+(1−λ)y2)≥1,(λx1+(1−λ)y1)−2(λx2+(1−λ)y2)≥1(3)证毕.2.判断下列函数为凸（凹）函数或严格凸（凹）函数：(3)f(x)=x21−2x1x2+x22+2x1+3x2首先二阶导数连续可微，根据定理1.5，f在凸集上是（I）凸函数的充分必要条件是∇2f(x)对一切x为半正定；（II）严格凸函数的充分条件是∇2f(x)对一切x为正定。
求解二次规划问题的拉格朗日及有效集方法
求解二次规划问题的拉格朗日及有效集方法——最优化方法课程实验报告学院：数学与统计学院班级：硕2041班姓名：王彭学号：3112054028指导教师：阮小娥同组人：钱东东求解二次规划问题的拉格朗日及有效集方法求解二次规划问题的拉格朗日及有效集方法摘要二次规划师非线性优化中的一种特殊情形，它的目标函数是二次实函数，约束函数都是线性函数。
由于二次规划比较简单，便于求解（仅次于线性规划），并且一些非线性优化问题可以转化为求解一些列的二次规划问题，因此二次规划的求解方法较早引起人们的重视，称为求解非线性优化的一个重要途径。
二次规划的算法较多，本文仅介绍求解等式约束凸二尺规划的拉格朗日方法以及求解一般约束凸二次规划的有效集方法。
关键字：二次规划，拉格朗日方法，有效集方法。
- 1 -《最优化方法》课程实验报告- 2 - 【目录】摘要........................................................................................................................... - 1 -1 等式约束凸二次规划的解法............................................................................... - 3 -1.1 问题描述.................................................................................................... - 3 -1.2 拉格朗日方法求解等式约束二次规划问题............................................ - 3 -1.2.1 拉格朗日方法的推导...................................................................... - 3 -1.2.2 拉格朗日方法的应用...................................................................... - 4 -2 一般凸二次规划问题的解法............................................................................... - 5 -2.1 问题描述.................................................................................................... - 5 -2.2 有效集法求解一般凸二次规划问题........................................................ - 6 -2.2.1 有效集方法的理论推导.................................................................. - 6 -2.2.2 有效集方法的算法步骤.................................................................. - 9 -2.2.3 有效集方法的应用........................................................................ - 10 -3 总结与体会......................................................................................................... - 11 -4 附录..................................................................................................................... - 11 -4.1 拉格朗日方法的matlab程序................................................................. - 11 -4.2 有效集方法的Matlab程序 .................................................................... - 11 -求解二次规划问题的拉格朗日及有效集方法- 3 -1 等式约束凸二次规划的解法1.1 问题描述我们考虑如下的二次规划问题⎪⎩⎪⎨⎧=+b Ax t s x c Hx x T T ..,21min (1.1) 其中n n R H ⨯∈对称正定，n m R A ⨯∈行满秩，n R x c,∈，m R b ∈。
最优化二次规划
关于(1问 .4 1)的 题 KK 系 T统解,的 有存 下在 面 :性 的
定理11.1.1设矩阵A行满秩,若二阶充分条件成 ,则立 线性方程(组 .)的系数矩阵
QA
AT
非奇异,因此线性方程(组.)有惟一解 .
证明：为证明系 非数 奇,矩 异 只阵 需证明齐次线 组性
QA
AT
dv
仅有零. 解
如果 iAk,aiTxk1bi,则 Ak1Ak {i}
为计算可 dk,我 行们 方修 向 (1改 .11如 0 问 ) 下 题
令 d x-x k,即 x x k d代入 (1.1 1问 得 0)题 到 ,
minf(x)1 2dTQ df(xk)Td s.t.aiTd0,iAk
(11.11)
设 (1.11)1的解 dk,容 为易,x看 k是出 问 (1.11 题 )0的解等 于 dk 0是问 (1.1 题 1)1的.解 因此1定 1.等 2理 .1价于下 面的定理：
由于 x*是 KK点 T,故存在 *,乘 使子 得
Q*xqAT*
所以 f(x ) f(x * )* T A d
因此, x*是全局最优.解
注 意D ： ,当 但 二 阶 条 件 ZTQ 不 不 Z成 正立 ,定 则或 时
问(题 .)无解或有 . 无界解 (1) 若ZTQZ不定 ,即有负特,存 征在 u值 0,使得
唯一解.
利用H 投 es影 矩 sia,阵 定 n 1理 .1 1.1可以等价 : 描述
定1理 .1.2设矩 A行 阵满 ,若 秩 二次规 (1.1 4划 )的问 投 影 Hes矩 siaZ 阵 T nQ正 Z ,定 则线性(1方 .1 5)有 程惟 组.一
众所,周 由知 于二次规数 划是 的线 约 ,故 性 束 AC的 函 Q 成,立 从而二次规必 划定 的 K是 最 K点 T.优 反解 ,之 在 一定条 , K 件 K点 下 T也必定是: 其最优解
最优化二次规划
实验结果分析
迭代次数与计算时间
收敛性
记录并分析不同算法在求解各个问题实例 时的迭代次数和计算时间，评估算法的收 敛速度和计算效率。
观察并记录算法的收敛情况，包括是否收 敛、收敛速度如何等，以评估算法的稳定 性和可靠性。
1 2 3
图像处理
在图像处理中，利用二次规划方法进行图像去噪 、增强和分割等操作，提高图像质量。
机器学习
在支持向量机（SVM）、逻辑回归等机器学习算 法中，运用二次规划求解最优分类超平面或回归 模型参数。
运筹学
在物流、供应链管理等运筹学问题中，通过二次 规划求解最优的运输路径、库存策略等方案。
05 二次规划的数值实验与案例分析
模型建立与求解
模型建立
根据实际问题背景，建立相应的二次规划数学模型，包括确定目标函数、约束条件以及决 策变量等。
求解方法
二次规划问题的求解方法主要包括解析法、数值法和智能优化算法等。其中解析法适用于 小规模问题，数值法如内点法、有效集法等适用于中等规模问题，智能优化算法如遗传算 法、粒子群算法等适用于大规模复杂问题。
06 二次规划的发展趋势与挑战
CHAPTER
研究现状与发展趋势
理论研究
随着计算机技术的发展，二次规划的理论研究不断深入，包括算法 的收敛性、稳定性、复杂性等方面的研究。
应用领域拓展
二次规划在金融、经济、工程、管理等领域的应用不断拓展，如投 资组合优化、生产计划安排、物流运输等问题中。
算法改进与优化
适用范围
适用于具有不等式约束的二次规划问题。
其他方法
第六章 最优化理论
1.
基本思想：
每次搜索只允许一个变量 变化，其余变量保持不变， 即沿坐标方向轮流进行搜 索的寻优方法。它把多变 量的优化问题轮流地转化 成单变量（其余变量视为 常量）的优化问题，因此 又称这种方法为变量轮换 法。此种方法只需目标函 数的数值信息而不需要目 标函数的导数。
计算步骤:
⑴任选初始点,确定搜索方向
如满足，迭代中止， 并输出最优解 否则，令k←k+1 返回步骤（2）
最优解
x* x k
F * F ( x*)
开 始 给定 x0 ,ε
0
坐 标 轮 换 法 的 流 程 图
i←i+1
K←1 i←1
沿ei方向一维搜索αi
xk xk k e i i 1 i i
x xik
f←f(x)
7.9883 x* x 5.9981
5 2
f * f ( x*) 7.95025
3. 方法评价：
• 方法简单，容易实现。 • 当维数增加时，效率明显下降。
收敛慢，以振荡方式逼近最优点。
•
受目标函数的性态影响很大。 如图 a) 所示，二次就收敛到极值点； 如图 b) 所示，多次迭代后逼近极值点；
f ( x ) f [ x ak f ( x )] min f [ x af ( x )]
k 1 k k k k a
设： ( ) f [ x af ( x )]
k k
根据一元函数极值的必要条件
( ) 0
可以得最佳步长
复合函数求导公式得
( ) f [ x k ak f ( x k )]
f ( x1 ) (2 4 0 ) 2 25(2 100 0 ) 2
第16讲 二次规划
其中 xB ∈ R m , xN ∈ R n−m .
AB 可逆， 对应 A 的分解为 A = 使得 AB 可逆，则等式约束可写 AN
成：
T T AB xB + AN xN = b ，
(3)
− 的存在， 由于 AB1的存在，故知 − T xB = AB 1 (b − AN xN ) .
模型的建立
设投资的期限是一年，可供选择的金融资产数为 。设此n中 设投资的期限是一年，可供选择的金融资产数为n。设此 中 金融资产的年收益为随机变量ξ = (ξ1 , ξ 2 ,⋯ , ξ n ) ' 。由于我们 金融资产的年收益为随机变量 主要关心投资的分配比例，不妨设投资总数为1个单位，用 个单位， 主要关心投资的分配比例，不妨设投资总数为 个单位 于第j中投资的资金比例为 于第 中投资的资金比例为 w j ( j = 1, 2, ⋯ , n ) ， 令
w= (w , w2,⋯, wn)' 1
称为投资组合向量，显然应有： 称为投资组合向量，显然应有：
n
∑
w
j = 1
j
= 1
也是一个随机变量， 投资一年的收益 w ' ξ 也是一个随机变量，期望收益为
E(w'ξ ) = E(ξ1)w1 + E(ξ2 )w2 +,⋯, +E(ξn )wn
马库维茨建议用随机变量 风险的度量， 风险的度量，即
ˆ ˆ ˆ 正定,则由(5) (5)式 可得唯一解: ∗ 如果 G 正定,则由(5)式,可得唯一解: xN = −G −1 g N .
代入(4)式可得对应的 ∗ 代入(4)式可得对应的 xB . (4)
从而问题的最有解： 从而问题的最有解：
《最优化方法》课程教学大纲
最优化方法》课程教学大纲课程编号：100004英文名称：Optimizatio n Methods一、课程说明1. 课程类别理工科学位基础课程2. 适应专业及课程性质理、工、经、管类各专业，必修文、法类各专业，选修3. 课程目的（1 ）使学生掌握最优化问题的建模、无约束最优化及约束最优化问题的理论和各种算法;（2）使学生了解二次规划与线性分式规划的一些特殊算法；（3）提高学生应用数学理论与方法分析、解决实际问题的能力以及计算机应用能力。
4. 学分与学时学分2,学时405. 建议先修课程微积分、线性代数、Matlab语言6. 推荐教材或参考书目推荐教材：（1）《非线性最优化》（第一版）.谢政、李建平、汤泽滢主编.国防科技大学出版社.2003年.孙（第一版）参考文瑜、徐成贤、朱德通主编.高等教育出版社.2004年（2）《最优化方法》书目：（第一版）.胡适耕、施保昌主编.华中理工大学出版社.2000年（1）《最优化原理》（2）《运筹学》》（修订版）.《运筹学》教材编写组主编.清华大学出版社.1990年7. 教学方法与手段（1）教学方法：启发式（2）教学手段：多媒体演示、演讲与板书相结合8. 考核及成绩评定考核方式：考试成绩评定：考试课（1）平时成绩占20%形式有：考勤、课堂测验、作业完成情况（2）考试成绩占80%形式有：笔试（开卷）。
9. 课外自学要求（1）课前预习；（2）课后复习；（3）多上机实现各种常用优化算法。
二、课程教学基本内容及要求第一章最优化问题与数学预备知识基本内容：（1 ）最优化的概念；（2）经典最优化中两种类型的问题--无约束极值问题、具有等式约束的极值问题的求解方法；（3）最优化问题的模型及分类；（4）向量函数微分学的有关知识；5）最优化的基本术语。
基本要求：（1）理解最优化的概念；（2）掌握经典最优化中两种类型的问题--无约束极值问题、具有等式约束的极值问题的求解方法；（3）了解最优化问题的模型及分类；（4）掌握向量函数微分学的有关知识；（5）了解最优化的基本术语。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一．不等式约束二次规划的有效集方法
1. 基本思想
对于存在不等式约束的二次规划，在每次的迭代中，以 已知的可行点为起点，把在该点起作用的约束作为等式约束， 将不起作用约束去掉，在此等式约束下极小化目标函数， 求 得新的比较好的可行点以后，重复以上做法.
通过解一系列等式约束的二次规划来实现不等式约束的 优化.
集合为w(x) E I x ，则 x也必是问题
min 1 xTGx d T x
2
(3)
s.t. aiT x bi , i E I x
的局部极小点.
反之，如果 x是(1)的可行点，且是问题(3)的 K-T 点，而且
相应的 Lagrange 乘子满足
i 0, i I x
(4)
则 x也是原问题(1)的 K-T 点.
称为有效集方法或者起作用集方法.
一般二次规划标准形式
min q(x) 1 xTGx d T x, 2
s.t. aiT x bi , i E,
(1)
aiT x bi , i I.
其中G是nn的对称矩阵.E,I 分别对应等式约束和
不等式约束指标集合.d, x,and ai,i E I 都是n维向量.
s.t
x1 2x2 x3 4 0
x1 x2 x3 2 0
解：
2
G 2
2
b
4 2
1 1 A 2 1
1 1
rA 2
2 0
0
2
0 1 1 x1 0
0
2
1
x2
0
0
1
0 2
2 1
1 0
1
0
x3
1
0 4
1 1 1 0 0 2 2
ABT xB ANT xN b 相关的量 x, g, A 与 G 作如下分块：
x
xB xN
A
AB AN
G
GBB GNB
GBN GNN
g
gB gN
其中xB Rm, xN Rnm , 其余类似．
该分块使得 AB 为 mm阶非奇异方阵，因此 AB1 存在，此时由上面方程可得：
xB ABT 1 b ANT xN
由上式可得Lagrange乘子：1* 2 , *2 1.
Lagrange方法
等式约束的二次规划问题的Lagrange函数为：
Lx, 1 xTGx gT x T AT x b 2
KT条件为：Lx, Gx g A 0
x
Lx, AT x b 0
矩阵形式为： G A x g AT 0 b
cˆ
1 2
bT
AB1GBB Aቤተ መጻሕፍቲ ባይዱT b
g
T B
ABT b
如果Gˆ 正定，则可求出无约束问题的最优解为
x*N Gˆ 1gˆ , 代入可确定对应的 xB* , 从而得到二次规划
最优解：
x*
xB* x*N
ABT
b
ABT ANT Gˆ 1gˆ Gˆ 1gˆ
相应的最优Lagrange乘 * 可由下式确定，
子
A* g Gx*
只需考虑该方程组的前m 行就可以给出*,
* AB1 gB GBBxB* GBN x*N
例1：用直接消去法求解：
min qx x12 x22 x32 1
s.t
x1 x2 x3 1 2
x2 x3 1
3
解：由(3)可得： x2 x3 1 4
将上式代入(2)可得： x1 2x3 5
求解比较困难．
6.2 等式约束二次规划
等式约束二次规划
min q x 1 xTGx gT x
2 s.t AT x b
其中b Rm , A Rnm .
以下假设 A 为列满秩的，即 rA m .
直接消去法
对等式约束中矩阵 A 进行分块，使得 AB 为 mm 阶非奇异方阵，此时等式约束可改写成：
将此代入qx, 则可将等式约束二次规划转化
为下列无约束优化问题：
min
xN Rnm
1 2
xTN Gˆ xN
gˆ T
xN
cˆ
其中 Gˆ GNN GNB ABT ANT AN AB1GBN AN AB1GBB ABT ANT
gˆ gN AN AB1gB GNB AN AB1GBB AB1b
第六章 二次规划 quadratic program
研究问题
min q x 1 xTGx gT x 1
2 s.t aiT x bi i E
aiT x bi i I
其中G 是 nn 对称阵． 注：(1) 若Hesse阵是半正定的，则称为凸二次 规划，此问题有时并不比求解线性规划困难． (2) 对非凸二次规划，可能有多个局部极小点，
上面两式就是在变量分解 xB x1, x2 , xN x3,
将(4)(5)代入(1)可得：
min
x3R
4 x32
x3 1 2 x32
6
由(6)可得：
x3
1 2
,
代入可得：x*
1,
3 2
,
1 2
T .
利用 A* g Gx* 可得：
2 1 3 1 1 1
101
1* *2
证明: 设 x* 是(1)的可行点， 且是(3)的KT点，
因此存在i* i I x* E 使得：
Gx* d
i*ai 0
iI x* E
*i aiT x* bi 0, *i 0 ,i I x*
6.1
系数矩阵称为KKT矩
阵．
定理1: 假设 A 为列满秩矩阵，rA m, 若投影
Hesse ZTGZ 正定，则等式二次规划问题的 阵KKT矩阵: G A
K AT 0
是非奇异的，从而存在唯一的KKT x*,*
满足方程组(6对.1).
例2：用Lagrange方法求解：
min qx x12 x22 x32
x*T , *T 2 , 10 , 6 , 8 , 4
其中
x*
2
7 7 , 10 , 6
T
7 ,
7
7
7 7 7
* 8 , 4 为最优乘子.
7 7
练习
(1)用Lagrange方法求解：
min f x 2x12 x22 x1x2 x1 x2
s.t x1 x2 1
6.3 凸二次规划的有效集方法
等式约束二次规划问题
标准形式
min q(x) 1 xTGx d T x, 2
(2)
s.t. AT x b,
其中 x Rn,b Rm, A Rnm,d Rn,G Rnn且G是对称的，
设rank( A) m.
求解方法： 直接消去法；
Lagrange 乘子法.
2．理论基础
设 x是二次规划问题(1)的局部极小点，并且在 x处的有效