凸二次规划的有效集方法
非光滑非凸约束问题的一种迫近束方法
辽宁师范大学硕士学位论文非光滑非凸约束问题的一种迫近束方法姓名：***申请学位级别：硕士专业：数学、运筹学与控制论指导教师：***2012-04辽宁师范大学硕士学位论文摘要对于非光滑最优化问题（ＮＳＯ），算法主要有次梯度法、切平面法、解析中心割平面法（ＡＣＣＰ）和束方法。
束方法和ＡＣＣＰ方法是割平面方法的稳定形式。
束方法被公认为是目前解决非光滑优化问题的最有效的方法之一。
全局Ｉ段敛的约束最优化算法传统上应用参数罚函数。
近些年，滤子算法被用来作为替换罚函数的方法，用滤子算法替换的一部分原因在于它能够避免先确定一个合适的罚函数参数，而确定罚函数参数这项工作通常是非常复杂的。
本文中，我们表明，在非光滑凸优化的参数化罚函数的使用中可以避免不使用比较复杂的滤子方法。
我们提出一个方法，这似乎是更直接，更容易实现的，在某种意义上说，它在精神和结构上都更接近于比较完善的无约束束方法。
本文主要分为三部分，第一部分是预备知识，在这一部分中先简单介绍与束方法有关的知识，包括凸规划的次梯度法和割平面方法，为介绍束方法作铺垫。
接下来概述了一般的束方法，为接下来几章的研究奠定基础。
第二部分首先概述了解决非光滑无约束优化问题的一种迫近束方法，接着又提出了解决非光滑凸约束优化问题的一种不可行束方法，然后将凸约束优化问题等价的转换为对改进函数的无约束优化问题的研究，随着新的下降迭代点的产生，我们需要重新定义改进函数。
迫近束方法保证了就算迭代过程中产生的下降迭代点以及初始点的选取都是不可行的，而由迭代所产生的序列仍会收敛到原问题的最优解。
最后一部分创新性的通过替换线性化误差将非光滑凸约束的不可行迫近束方法推广到非凸约束的情况，给出非光滑非凸函数迫近束方法的算法，并且证明了算法的收敛性。
关键词非光滑最优化；非凸函数；次梯度局部测度；束方法非光滑非凸约束优化问题的一种迫近束：疗法ＡｐｒｏｘｉｍａｌｂｕｎｄｌｅｍｅｔｈｏｄｆｏｒｎｏｎｓｍｏｏｔｈａｎｄｎｏｎｃｏｎｖｅｘｃｏｎｓｔｒａｉｎｅｄｏｐｔｉｍｉｚａｔｉｏｎＡｂｓｔｒａｃｔＮｏｎｓｍｏｏｔｈｏｐｔｉｍｉｚａｔｉｏｎ（ＮＳＯ）ｐｒｏｂｌｅｍｓａｒｅｉｎｇｅｎｅｚ’ａｌｄｉｆｆｉｃｕｌｔｔｏｓｏｌｖｅ，ｅｖｅｎｗｈｅｎｔｈｅｙａｒｅｕｎｃｏｎｓｔｒａｉｎｅｄ．ＡｍｏｎｇａｌｇｏｒｉｔｈｍｓｆｏｒＮＳＯ，ｗｅｍｅｎｔｉｏｎｔｈｅｓｕｂｇｒａｄｉｅｎｔ，ｃｕｔｔｉｎｇ—ｐｌａｎｅｓ，ａｎａｌｙｔｉｃｃｅｎｔｅｒｃｕｔｔｉｎｇ—ｐｌａｎｅｓ（ＡＣＣＰ）ａｎｄｂｕｎｄｌｅｍｅｔｈｏｄｓ．ＢｕｎｄｌｅａｎｄＡＣＣＰｍｅｔｈｏｄｓａｒｅｓｔａｂｉｌｉｚｅｄｖｅｒｓｉｏｎｓｏｆｔｈｅｃｕｒｔｉｎｇ—ｐｌａｎｅｓｍｅｔｈｏｄ，ａｎｄｔｈｅｙａｒｅｃｕｒｒｅｎｔｌｙｒｅｃｏｇｎｉｚｅｄａｓｔｈｅｍｏｓｔｒｅｌｉａｂｌｅＮＳＯａｌｇｏｒｉｔｈｍｓ．ＴｈｅＢｕｎｄｌｅｍｅｔｈｏｄｓａｒｅａｔｔｈｅｍｏｍｅｎｔｃｏｎｓｉｄｅｒｅｄａＳｏｎｅｏｆｔｈｅｍｏｓｔｅｆｆｉｃｉｅｎｔｍｅｔｈｏｄｓｆｏｒｓｏｌｖｉｎｇｎｏｎｓｍｏｏｔｈｏｐｔｉｍｉｚａｔｉｏｎｐｒｏｂｌｅｍｓ．Ｇｌｏｂａｌｃｏｎｖｅｒｇｅｎｃｅｉｎｃｏｎｓｔｒａｉｎｅｄｏｐｔｉｍｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍｓｈａｓｔｒａｄｉｔｉｏｎａｌｌｙｂｅｅｎｅｎｆｏｒｃｅｄｂｙｔｈｅｕｓｅｏｆｐａｒａｍｅｔｅｒｉｚｅｄｐｅｎａｌｔｙｆｕｎｃｔｉｏｎｓ．Ｒｅｃｅｎｔｌｙ，ｔｈｅｆｉ］ｔｅｒｓｔｒａｔｅｇｙｈａｓｂｅｅｎｉｎｔｒｏｄｕｃｅｄａｓａｎａｌｔｅｒｎａｔｉｖｅ．Ａｔ１ｅａｓｔｐａｒｔｏｆｔｈｅｍｅｔｉｗａｔｉｏｎｆｏｒｆｉｌｔｅｒｍｅｔｈｏｄｓｃｏｎｓｉｓｔｓｉｎａｖｏｉｄｉｎｇｔｈｅｎｅｅｄｆｏｒｅｓｔｉｍａｔｉｎｇａｓｕｉｔａｂｌｅｐｅｎａｌｔｙｐａｒａｍｅｔｅｒ，ｗｈｉｃｈｉＳｏｆｔｅｎａｄｅ１ｉｃａｔｅｔａｓｋ．ＩｎｔｈｉＳｐａｐｅｒ，ｗｅｄｅｍｏｎｓｔｒａｔｅｔｈａｔｔｈｅｕｓｅｏｆａｐａｒａｍｅｔｒｉｚｅｄｐｅｎａｌｔｙｆｕｎｃｔｉｏｎｉｎｎｏｎｓｍｏｏｔｈｃｏｎｖｅｘｏｐｔｉｍｉｚａｔｉｏｎｃａｎｂｅａｖｏｉｄｅｄｗｉｔｈｏｕｔｕｓｉｎｇｔｈｅｒｅｌａｔｉｖｅｌｙｃｏｍｐｌｅｘｆｉｉｔｅｒｍｅｔｈｏｄｓ．Ｗｅｐｒｏｐｏｓｅａｎａｐｐｒｏａｃｈｗｈｉｃｈａｎｄｅａｓｉｅｒｔｏｉｍｐｌｅｍｅｎｔ，ｉｎｔｈｅｓｅｎｓｅｔｈａｔｉｔｉＳｃｌｏｓｅｒａｐｐｅａｒｓｔｏｂｅｍｏｒｅｄｉｒｅｃｔｉｎｓｐｉｒｉｔａｎｄｓｔｒｕｃｔｕｒｅｔｏｂｅｔｈｅｗｅ］１一ｄｅｖｅｌｏｐｅｄｕｎｃｏｎｓｔｒａｉｎｅｄｂｕｎｄｌｅｍｅｔｈｏｄｓ．ＴｈｉｓａｒｔｉｃｌｅｉＳｄｉｖｉｄｅｄｉｎｔｏｔｈｒｅｅｐａｒｔｓ．Ｔｈｅｆｉｒｓｔｐａｒｔａｒｅｔｈｅｐｒｉｏｒｋｎｏｗｌｅｄｇｅ，ｉｎｔｈｉＳｓｅｃｔｉｏｎ，ｍａｉｎｌｙｔｏｂｒｉｅｆｔｈｅｒｅｌｅｖａｎｔｋｎｏｗｌｅｄｇｅｏｎｔｈｅｂｕｎｄｌｅｍｅｔｈｏｄ，ｉｎｃｌｕｄｅｔｈｅｓｕｇｒａｄｉｅｎｔｍｅｔｈｏｄａｎｄｃｕｔｔｉｎｇｐｌａｎｅｓｍｅｔｈｏｄ．Ｐａｙｅｔｈｅｗａｙｆｏｒｔｈｅｉｎｔｒｏｄｕｃｔｉｏｎｏｆｔｈｅｂｕｎｄｌｅｍｅｔｈｏｄ．Ｔｈｅｓｅｃｏｎｄｐａｒ’ｔｂｒｉｅｆａｐｒｏｘｉｍａｌｂｕｎｄｌｅｍｅｔｈｏｄｆｏｒｎｏｎｓｍｏｏｔｈｃｏｎｖｅｘｕｎｃｏｎｓｔｒａｉｎｅｄｏｐｔｉｍｉｚａｔｉｏｎ．ＡｎｉｎｆｅａｓｉｂｌｅｂｕｎｄｌｅｍｅｔｈｏｄｆｏｒｓｏｌｖｉｎｇｎｏｎｓｍｏｏｔｈｃｏｎｖｅｘｃｏｎｓｔｒａｉｎｅｄｏｐｔｉｒａｉｚａｔｉｏｎｐｒｏｂｌｅｍｉＳａｌＳＯｉｎｔｏｔｈｅｕｎｃｏｎｓｔｒａｉｎｅｄｐｒｅｓｅｎｔｅｄ．Ｉｎｔｈｅｆｏｌｌｏｗｉｎｇ，ｔｈｅｐｒｏｂｌｅｍｃｈａｎｇｅｓｍｉｎｉｍｉｚａｔｉｏｎｏｆｔｈｅｉｍｐｒｏｖｅｄｆｕｎｃｔｉｏｎ．ＢｕｔｗｉｔｈｔｈｅｇｅｎｅｒａｔｉｏｎｏｆｎｅｗｓｅｒｉＯＵＳｔｈｅｓｔｅｐｓ，ｔｈｅｉｍｐｒｏｖｅｄｆｕｎｃｔｉｏｎｍｕｓｔｂｅｄｅｆｉｎｅｄａｇａｉ：ｎ．Ｉｎｔｈｉｓｍｅｔｈｏｄ，ｅｖｅｎｓｅｒｉｏｕｓｐｏｉｎｔｓｇｅｎｅｒａｔｅｄｉｎｉｔｅｒａｔｉｏｎｐｒｏｃｅｓｓａｎｄｔｈｅｆｉｒｓｔｏｒｉｇｉｎａｌｐｏｉｎｔａｒｅｌａｓｔｐａｒｔｉｎｆｅａｓｉｂｌｅ，ｔｈｅｃｏｎｖｅｒｇｅｎｃｅｏｆｔｈｅａｌｇｏｒｉｔｈｍａｌｓｏ１’Ｓｅｎｓｕｒｅｄ．Ｔｈｅｇｅｎｅｒａｌｉｚｅｔｈｅｐｒｏｘｉｍａｌｂｕｎｄｌｅｍｅｔｈｏｄｏｆｎｏｎｅｏｎｖｅｘｃｏｎｓｔｒａｉｎｅｄｏｐｔｉｍｌｚａｔｌｏｎ，～一．—————————塑堕奎堂堡：主堂垡笙塞～ｋｅＹｗ。
非线性规划
（１）根据相继两次迭代 的绝对误差 ； （２）根据相继两次迭代 的相对误差 ； （３）根据 目标 函数梯度 的模足够小 。 满足上述条件之一时 ，则认 为 目标 函数 厂（ｚ ＋ ）值收敛 于函数 ｆ（ｘ） 的最小 值。这 样就求得 近似 的最优化解 ： 一ｊ ，，（ ）一厂（ ），迭 代 过 程 可 以 结 束 。 ２．二 次 规 划 与 内 点 算 法 约束非 线性规划 问题 ，无 非是在无约 束非线性 规划 问题 的基础上 加上 了一些限制 条件。而二次 规划是这 类问题 巾最简单 的一类 ，它 是 指 目标 甬数是二 次函数 、约束 函数是线性 函数 的一类规划问题 ，具有 广 泛 的应用背 景 ，二次背 包问题 、投资 组合等 问题 都能化 为二 次规划 问 题 ；在统 计学 中一个 典型 的应 用就是线性 回归 问题 ；此外 ，二 次规划 也 是流行 的序列二 次规划问题 的基本方法 。在过去 的几十年 里 ，二次 规 划 已经成 为运筹学 、经济数学 、管理科学 、系统分 析和组合优 化学科 的 基本方 法。 因此 ，对二次规 划的研究 引起 了专业 人员和学 者们 的广泛 注意 。二次规划相关 的概念和理论在文献『１１中都有详细 的介绍 。文献 ［２］指 出一般的二次规划属于 ＮＰ问题 ，文献 ［３】给 出了不定二 次规划的 个改 进算 法 ，文献『４１给 出 了一类 ０—１二 次规划 最优 解 的一个新 方法 求解二 次规 划常用的算法有 ：Ｌａｇｒａｎｇｅ方 法 、Ｌｅｍｅｋ方法 、有效 集方法 以 及求 出所有解 的整数标号 法 ，但是 这些算法都 不是多项 式算法 。于是 二次规划是否存在 多项式算法便成 了计 算 机科 学家和数学家 十分 感兴 趣 的 问 题 。 ｌ９７９年 ，苏联数学 家哈奇扬给 出 厂一个求 解线性规 划的多项 式算 法 — — 椭 球 算 法 ；１９８４年 ，印 度 数 学 家 Ｋａｒｍａｒｋａｒ给 出 了线 性 规 划 的 一 个新 的多项式 算法——梯度投影算 法 ，大大改进 ｌ『哈奇扬 的结 果 ，其理 论上 的 多项式 收敛性及 实际 计算 的有效性 ，引起 了人 们极 大的兴趣 。 这些 多项式算 法的一个共 同特点 就是不再从 可行域 的顶 点开始 迭代 ， 而是 选取可行 域 内部一 个适 当的点 ，沿某个下 降方 向开始迭代 到达最 优解 。把具 有这种特点的算法统称 为内点算法。 内点算法 的理论 比较 成熟 ，但是应用 起来还是有 难度 的 ，其原因就 是初始 内点 难以找 到 ， 此对 内点算法 的研究 始终 停留在理论上。 受 Ｋａｒｍａｒｋａｒ算法 的影响 ，内点算法成 为近十多年来优化 界研 究 的 热点 ，二次 规划的 内点算 法紧接着 也被提 了出来 。内点算法是 目前二 次规划 的主流算法 。内点算法大致 可分为三种类型 ：梯度 投影 算法 、仿 射 尺度算 法 和路 径跟 踪算法 。仿射 尺度 算法用 简单 的仿射 变换 替代 Ｋａｒｍａｒｋａｒ原来 的投影变换 ，从 而使人们直接解 标准形式 的线 性规划 问 题 。仿 射尺度算法 的另一特 点是结构简单 ，易于实现 ，计算 效果好 。但 是 ，该算法 的收敛性证 明却 十分 困难 ，到 目前 为止 ，原 始一对偶仿 射尺 度算法 的多项式收敛性还不能证 明。文 献［９］给 出了求解二 次规划的一 个原 始一对偶 内点算法 ，这是 目前 理论上最好 且最完 善的求解二 次规 划 的多项式 算法 ，由于该算法对 初始点的要求很严格 ，这就 给数值试验 带来更 大的困难。文献［１ ｏ］基 于牛顿方向 ，给 出了求解 凸二 次规划问题 的改进原始一 对偶可行 内点算法 。若获得算 法的初 始可行 �
凹二次规划问题的一个融合割平面方法的分支定界混合算法
分类号： ＡＭ Ｓ２ ０１ ９ １ （００ ４Ｎ ０
中图分类号： １． Ｏ２１ １
文献标识码 ： Ａ
１ 引 言
本文考虑如下形式的凹二次规划 问题 。
Ｉ ， ２ ｌ ＋ Ｔ ｐ Ｑ
其 中Ｑ ∈ Ｒｎ 是 实 的 对 称 半 负 定矩 阵 ，Ｐ ＝ （ｌＰ， ，ｎＴ ∈ Ｒ ，Ａ ∈ Ｒ ，ｂ ＝ Ｐ，２… Ｐ ） ｎ ｍ （１ｂ， ，ｎＴ∈Ｒ ｂ，２… ｂ） ，Ｄ ＝ ｘ∈Ｒ Ａ ６ 。假定Ｄ 是一个非空 的有界 凸多面体 。 ｎ： ｘ ’
这就 是说人们试 图割掉一部 分可行域 ，并且保证 该部分上 的 目标函数值不 会小于， ） （０ 。只要
可行域剩余部分不是空集，同样 的方法可 以应用于可行域剩余部分 。
下面 ，我们介绍Ｈ ａ ｇＴ ｙ １ ６ 年 提出的用于求解 凹规划 问题 的的割平面方法 。 ｏｎ ｕ 于 ９４
设Ｖ ［ 是Ｊ的一个顶 点 ，并且Ｋ ＝ Ｉ（；ｄ，２… ， ） ｆｖ ｌｄ， ｄ ）是一个 以Ｖ 为顶 点，有他 条边 的 凸多面
文章编号：０５３８（０８０—５９０ １０—０５２０）４０８—８
凹二 次规 划 问题 的一个 融合 割平面方 法 的 分支 定界混合算 法木
高岳林 ， 邓光智０
ｆ 北方民族大学信息与系统科学研究所，银川 ７０２ ；２ 宁夏大学数学与计算机学院，银川 ７０２） １ ． ５０ １ 一 ５０ １
收稿 日 ： ０６０－５ 作者简介：高岳林（９３ 月生） 期 ２ ０－７ ． ２ １６年８ ，男 ，博士，教授． 研究方向：最优 化理论方法及其应
用 ，智 能计算及其应用 ，金融数学与金融工程．
基金项 目： 宁夏 自然科学基金（ Ｚ ６６． Ｎ ０７）
【国家自然科学基金】_二次规划问题_基金支持热词逐年推荐_【万方软件创新助手】_20140802
约束最优控制 约束最优化问题 约束最优化 系统效率 精确罚函数 粒子群算法 粒子群优化算法 竞价策略 空间直线度 稳定点 稳定性分析 积极集 码分多址 相对熵方法 电力市场 特征空间 滤子方法 渐近稳定性 渐近收敛性 混沌时间序列 混合动力汽车 汽车产品 水资源 水循环 正定二次规划 正半定规划 模糊规则 模型预测控制 梯度投影法 样本选择 标准对偶变换 柔性并联机器人 机器学习 有限元 有效约束 最小区域 最小二乘支持向量机 最大利润项集 时滞离散线性系统 既约逐步二次规划 既约hessian方法 无级变速器 无穷时域 无监督聚类 无偏差指标 旋转算法,风险偏好系数 旋转算法 数字信息系统 敏度分析 效用 支持向量 推力器 控制分配 指数收敛
107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160
2008年 序号 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52
拥挤度 拉格朗日松弛 拆卸规划 投资组合 投影法 批量问题 形状优化 应力约束 序贯最小化 序列二次规划 广义预测控制 广义cad模型 市场细分 巡航 属性权重 定制模型 定价 子类凸包生长 多重核学习 多目标决策 多目标优化 多用户检测 多属性决策 多址干扰 多参数二次规划 多功能传感器 声辐射 增广数据 均值-方差投资组合 固体力学 回归 响应面方法 变质期 双边匹配 原对偶神经网络 原始对偶内点法 区间数 区间型理想点 区域剪枝准则 区域删减 动态规划 动力学 分解线性化 分类问题 分类 分段线性状态反馈控制 分段二次lyapunov函数 分枝定界方法 分枝定界 分支定界 分块 凸约束二次规划 凸松弛 凸包最近邻凸包分类
第2章 优化方法的数学基础
X ∈ D 对满足 ,
F ( X ) ( X X * ) ≥ 0
*
T
注意: 注意:
不论是无约束或有约束的优化问题,在实际应用中, 不论是无约束或有约束的优化问题,在实际应用中,要证明一个 优化问题是否为凸规划,一般比较困难, 优化问题是否为凸规划,一般比较困难,有时甚至比求解优化问题本 身还要麻烦.尤其对一些工程问题,由于其数学模型的性态都比较复 身还要麻烦.尤其对一些工程问题, 杂,更难实现.因此,在优化设计的求解中,就不必花精力进行求证, 更难实现.因此,在优化设计的求解中,就不必花精力进行求证, 而通常是从几个初始点出发,找出几个局部最优解, 而通常是从几个初始点出发,找出几个局部最优解,从中选择目标函 数值最好的解. 数值最好的解.
2 2
设: 则有
cos θ1 s≡ 为单位向量. 为单位向量. cos θ 2 F = F ( x0 )T s = F ( x0 ) cos(F , s ) x s 0
梯度方向是函数值变化最快的方向,而梯度的模 梯度方向是函数值变化最快的方向, 就是函数变化率的最大值 .
x2 x0
-f(x0) 最速下降方向 下降方向 变化率为零的方向 上升方向 f(x 0) 最速上升方向
凸规划的一些性质: 凸规划的一些性质: 1)可行域 D = X g j ( X ) ≤ 0
{
j = 1, 2, , m
}
为凸集; 为凸集;
2)凸规划问题中的任何局部最优解都是全局最优解; 凸规划问题中的任何局部最优解都是全局最优解; 为凸规划问题 最优解的充分必要条件 规划问题的 可微, 3 ) 若 F ( X ) 可微 , 则 X* 为凸规划问题的 最优解的充分必要条件 为: 对任意
0
非线性规划的理论与算法
第五章 非线性规划：理论和算法5.5 约束优化我们现在继续讨论更一般的有约束的线性优化问题。
特别的,我们考虑一个具有非线性目标函数和（或者）非线性约束的优化问题。
我们可以将这种问题表示为下面的一般形式：I∈≥∈=i x g i x g x f i i x ,0)(,0)()(min ε (5.10) 在本节的末尾，我们假设f 和i g ，i ε∈⋃I 全部是连续可微的。
拉格朗日函数是研究有约束的优化问题的一个重要工具。
为了定义这个函数，我们结合每个约束的乘子i λ——称作拉格朗日乘子。
对于问题（5.10）拉格朗日函数如下定义：∑I⋃∈-=ελλi iix g x f x L )()(:),( （5.11） 本质上，我们考虑的是目标函数违反了可行约束时的惩罚函数。
选择合适的i λ，最小化无约束函数(),L x λ等价于求解约束问题（5.10）。
这就是我们对拉格朗日函数感兴趣的最根本的原因。
与这个问题相关的最重要问题之一是求解最优问题的充要条件。
总之，这些条件称为最优性条件，也是本节的目的。
在给出问题（5.10）最优性条件之前，我们先讨论一个叫做正则性的条件，由下面的定义给出：定义5.1：设向量x 满足ε∈=i x g i ,0)(和I ∈≥i x g i ,0)(。
设J ⊂I 是使得0)(≥x g i 等号成立的指标集。
x 是问题（5.10）约束条件的正则点，如果梯度向量)(x g i ∇（i J ∈⊂I ）相互线性无关。
在上述定义中与J ε对应的约束，即满足0)(=x g i 的约束称为在x 点处的有效约束。
我们讨论第一章提到的两个优化的概念，局部和全局。
回顾（5.10）的全局最优解向量*x ，它是可行的而且满足)()(*x f x f ≤对于所有的x 都成立。
相比之下，局部最优解*x 是可行的而且满足)()(*x f x f ≤对于{}ε≤-*:x x x （0>ε）成立。
因此局部解一定是它邻域的可行点中最优的。
《最优化方法》复习题.docx
《最优化方法》复习题一、 简述题1、怎样判断一个函数是否为凸函数.(例如:判断函数f(x) =昇+ 2兀內+ 2近一 10州+ 5兀2是否为凸函数)2、 写出几种迭代的收敛条件.3、 熟练掌握利用单纯形表求解线性规划问题的方法(包括大M 法及二阶段法).见书本61页(利用单纯形表求解)；69页例题(利用大M 法求解、二阶段法求解)； 4、 简述牛顿法和拟牛顿法的优缺点.简述共辘梯度法的基木思想.写岀Goldstein> Wolfe 非精确一维线性搜索的公式。
5、叙述常用优化算法的迭代公式.心=务+吕—％),化-知1仏二务+召一色)(3) Newton —维搜索法的迭代公式：x k+i = x k -G~'g k ・ (4) 推导最速下降法用于问题min/(x) = —++ c 的迭代公式:耳+1 二无一-VfgS k G k gx k(5) Newton 法的迭代公式：x k+] = x k -[V 2/(^)]_l V/*(x A )・ (6) 共轨方向法用于问题min/(x)=丄x rQx+b 1x + c 的迭代公式:2忑+1 =J二、计算题双折线法练习题 课本135页 例3.9.1FR 共辘梯度法例题：课本150页 例4.3.5(1) 0.618法的迭代公式:A- =ak +（1-厂）（勺一务）,(2) Fibonacci 法的迭代公式: 伙= 1,2,…,一1）二次规划有效集：课本213页例6.3.2,所有留过的课后习题.三、练习题：1、 设A G R ,iXn是对称矩阵，bwR”，cwR,求/(%) =丄*心+戻兀+ c 在任意点x 处 的梯度和Hesse 矩阵.解 V/*(x) = Ar + /?, V 2/(x) = A ・2、 设0(/) = /(兀 + 力)，其屮/:/?" T R 二阶可导，XG R\de R\te R ,试求0"(/)・解 0(/) = W(x + /d) 丁4,矿⑴=dF f(x~Hd)d .3、 证明：凸规划min f(x)的任意局部最优解必是全局最优解.xeS证明 用反证法.设住S 为凸规划问题min /(x)的局部最优解，即存在丘的某xeS个5邻域N s (x),使f(x)<f(x)yxeN 6(x)C\S ・若元不是全局最优解，则存在花S,使/(i) < /(x)・由于/(兀)为S 上的凸函数，因此VA G (0,1),有/(Ax + (1-2)x) < 2/(x) + (1-2)/(x) < f(x)・当2充分接近1时，可使2元+(1 — 2)农 皿(元)「IS,于是/(x)</(2x + (l-/i)x), 矛盾.从而元是全局最优解.min f(x) = 2x t -x 2 +x 3; s.t. 3兀］+ x 2 + x 3 < 60,x l - 2X 2 + 2X 3 <10,%! + x 2 - x 3 < 20, (1)用单纯形法求解该线性规划问题;(2)写出线性规划的对偶问题;解 (1)引进变量兀，兀5,兀6,将给定的线性规划问题化为标准形式:min /(%) = 2x t -x 2 +x 3; s.t. 3x ( + 兀 + 耳 + % = 60,%j - 2X 2 + 2X 3 + 冯=10,所给问题的最优解为x = （0,20,0）r ,最优值为/ = -20・4、已知线性规划:（2）所给问题的对偶问题为：max g（y） = -60^-10^ - 20%；皿_3”_旳_儿52,< _必+2旳_儿S_l，一开_2旳 + %<1，儿力*3»°・5、用0.618法求解min 0（f） = （f-3尸，要求缩短后的区间长度不超过0.2,初始区间取[0,10]・解第一次迭代：取y [0,10],£ = 0.2.确定最初试探点人，“分别为入=^+0.382（^-^,） = 3.82, M =坷+0.618（勺一马）=6・18 .求目标函数值：°（人）=（3.82— 3）2 =0.67, °（“）= （6.18 — 3）2 =10.11.比较目标函数值：0（人）< 0（"）・比较 //| —6f| = 6.18 — 0 > 0.2 = E ・第二次迭代：a2 = a x = 0,Z?2= “| = 6.18,/ =人=3.82,。
求解二次规划的粒子群优化算法
式 中 ：０≤ ≤ ； ， ，ｏ∈ Ｒ， ∈Ｒ 是 对称 矩阵． ０ ｄ ｏ Ｈ
收稿 日期 ： ００— ６— ７ 修 回日期 ： ０ ０— ７—１ ２１ ０ ０ ； ２１ ０ ５ 基金项 目：国家 自然科学基金资助（ ０７ ２ ２ １７ １ １ ） 作者简介 ： 徐丛丛 ， 硕士 ， 助理实验 师。 究方 向为算法分析 研
ｃｍ ｌ ｐｃｓｔ ｏｇ ｅｉ ｅａｔｎｏ ｄｖ ｕｌ ｉ ａｐｐｌｔ ｎｏ ｐ ｒｃｅ．Ｑ ａｒｔ ｒｇ ｍ ｉｇｉ ａｂｓ ｎ ｏ ｐｅ ｓａｅ ｒｕｈｔ ｔｒｃｏ ｆ ｎｉ ｄａｓ ｎ ｏｕａ ｏ ｆ ａｔｌｓ ｕｄａｉ ｐｏｒ ｍｎ ａｉ ａｄ ｘ ｈ ｈ ｎ ｉ ｉ ｉ ｉ ｉ ｃ ａ ｓ ｃ
ｉ ｆｅ ｔｖ ． Ｓ ｅ ｃ ｉｅ
Ｋｅ ｒ ｓ ａ ｉｌ ｗ ｒ ｙ ｗｏ ｄ ：ｐ ｒ ｃｅ ｓ ａ ｍ；ｑ ａ ｒ ｔ ｒ ｇ ａ ｔ ｕ ｄ ａｉ ｐ ｏ ｍｍｉ ｇ ｎ ｏ ｓｒ ｉｅ ｒ ｂ ｅ ｃ ｒ ｎ ；ｕ ｃ ｎ ｔ ｎ ｄ ｐ ｌ ｍ ａ ｏ
二次规 划是 一类 基本 而又 重要 的非线 性规 划 问题． 二次 规划 问题 的求 解 已经取 得 了很 多成 果 。 对 文献 ［］［ ］ １ 、２ 分别讨 论 了凸二 次 规划 问题 的 内点 算法 ，文 献 ［ ］一［ ］ 别 应用 了牛 顿法 、 确罚 函数法 和 极 ３ ５分 精 大熵方 法求 二次 规划 问题 的最 优解 ，文 献 ［ ］ ［ 对 非 凸 二 次规 划 分 别 采 用 了分 枝 定 界 法 和有 效 集 方 ６ 、７］ 法， 文献 ［ ］ ［ ］ 出求解 二 次 规 划 的 区 间数 学 方 法 ， 文讨 论 粒 子 群 算法 求 解 下 面 的 无 约束 二 次 规 划 ８ 、９ 给 本