原始-对偶算法
有向最短路的“原始-对偶”算法
—
∈
∑
＝ ＼ 定义 ３ ｉ ｓａ Ｄｊ ｔ 算法 Ｄｊｓａ ｋｒ Ｉ ｉ ｔ 算法又称顶点标号法 ， ｋｒ 对一个给定的无向图Ｇ ， 对顶点进行永久标号 ／Ｉ ｒ ● ● 【 ０ ０ 与暂时标号 ， 按照权重不断修改顶点标号 ，最终得到一条最短路 。 一
行解 ，则 ，＂ 最优解 的充分 必要 条 件是 ７是 ／
但允许．Ｎ集 是否为一条最短路， － Ｉ 需要有修正的（ ） ， 进行检验。
２４ 构造 （ Ｐ） ． Ｒ 模型
Ｅ Ｘ
Ⅳ
ｍ ．
￥
Ｊ
，
（） ＋ｘ ＝ ｘ
ｍｎ ｎ ｉ ＝Ｚｘ － Ｉ
ｉ ＝１
， Ｅ
委 （，，。＝… 一 （ 一 ＋ ＝ ｆ，，２ ，） ） Ｅ ｌ
３ 在线性规划 中寻找的 的最优解 ，即为有向图Ｄ 中的最短路。 ）
２２ 构造 Ｌ ． Ｐ的对偶
万 ｆＡ限 万【 万 ＝ 一 芜 ：Ｉ Ｉ，
收稿 日期 ：２０ — ０ ２ ０７ １—２
万＝ 万 Ａ ｂ
．
≤
ｊ
ｊ
即万 一万 ．
作者简介：沙元霞 （９ ０ ，女 ，黑龙江大庆人，助教 ，硕士，主要从事组合优化和图论方面的研究 。Ｅ ｍ ｉ ｅｕ Ｓ５＠１３ｃｍ １８ －） － ａｌ ａ ｔ ０ ７ ６． 。 ：ｂ ｙ ０
…
又 ＞ 可得 （） ０， Ｄ 的一个初始可行解万 ０ ０ …，） ）将 （带入 （） ＝（ ， ０ （。 ， ） Ｄ 得到所有约束条件均为严格
不等式 ， 构成允许可列集 ＝ 寻找使 一 ， 的列 ， 。 万＝ 添加到 中（ 即寻找满足约束条件 的 的值 ） ， 经过有限次循环Ｊ中最终取值即为所求路径。
含参数的最短路问题及其原始—对偶算法
含参数的最短路问题及其原始—对偶算法
一、含参数的最短路问题
含参数的最短路问题（Parametrized Shortest Path Problem, PSP）是最短路径问题（Shortest Path Problem, SPP）的扩展，是的待求解的网络拓扑结构依赖于一组实参构成的参数，它主要用在那些路径选择依赖于实参因素的场合。
与传统SPP相比，在含参数SPP中任务不在于仅求出只依赖于路径上边/弧权值的最短路径，而是求出优化另外一组实数参数的最优路径，这给出的解决方案不再是路径，而是一组相关的参数值，通常这组参数值都是路径上一个或多个节点的权值值。
二、原始——对偶算法
含参数SPP的计算机解决方案一般有两种：原始——对偶算法和隐式唯一性解法。
原—对偶算法是一种割点问题求解方法，由原始算法和对偶算法组成。
原始算法通过改变权值算出最优路径及其关联参数；而对偶算法则采用贪心算法来进行搜索最优路径，当采用原始-对
偶算法解决SPP时，先利用原始算法找出最优的路径及参数，然后再用对偶算法进行简化和精确，以此来减少搜索范围，加快收敛速度。
原始算法首先先利用贪心算法找出满足要求的路径，确定出路径上所有节点的参数值。
然后利用搜索策略对得到的路径进行优化，其方法有：一是贪心优化，二是贪心轮换，三是贪心随机优化，等等。
贪心优化主要是按贪婪算法边/弧及其所有变量依次改变其参数值，找出更优的路径；贪心轮换的思路主要是尝试若干次通过不同参数设置对路径上某些节点变换使得路径达到最佳状态；而贪心随机优化则是改变每个变量以优化整个路径。
（运筹学与控制论专业论文）线性规划的可行点算法
摘要本文研究的是线性规划的可行点算法，一个由线性规划的内点算法衍生而来的算法．线性规划的内点算法是一个在线性规划的可行域内部迭代前进的算法．有各种各样的内点算法，但所有的内点算法都有一个共同点，就是在解的迭代改进过程中，要保持所有迭代点在可行域的内部，不能到达边界．当内点算法中的迭代点到达边界时，现行解至少有一个分量取零值．根据线性规划的灵敏度分析理论，对线性规划问题的现行解的某些分量做轻微的扰动不会改变线性规划问题的最优解．故我们可以用一个很小的正数赋值于现行锯中等于零的分量，继续计算，就可以解出线陛规划问题的最优解．这种对内点算法的迭代点到达边界情况的处理就得到了线性规划的可行点算法．它是一个在可行域的内部迭代前进求得线性规划的最优解的算法．在此算法中，只要迭代点保持为可行点．本文具体以仿射尺度算法和原始一对偶内点算法为研究对象，考虑这两种算法中迭代点到达边界的情况，得到相对应的’仿射尺度可行点算法’和’原始．对偶可行点算法，．在用理论证明线性规划的可行点算法的可行性的同时，我们还用数值实验验正了可行点算法在实际计算中的可行性和计算效果．关键词：线性规划，仿射尺度算法，原始一对偶内点算法，内点，可行点算法，步长可行点．ＡｂｓｔｒａｃｔｄｅｒｉｖｅｄＴｈｉｓＤａｐｅｒｆｏｃｕｓｅｓｏｎａｆｅａｓｉｂｌｅｐｏｉｎｔａｌｇｏｒｉｔｈｍｆｏｒｌｉｎｅａｒｐｒｏｇｒａｍｍｉｎｇ，ａｎａｌｇｏｒｉｔｈｍｆｒｏｍｔｈｅｉｎｔｅｒｉｏｒｐｏｉｎｔａｌｇｏｒｉｔｈｍｓｆｏｒｌｉｎｅｚａ＂ｐｒｏｇｒａｍｍｉｎｇ．ＴｈｅｉｎｔｅｒｉｏｒｐｏｉｎｔａｌｇｏｒｉｔｈｍｓｆｉｎｄｔｈｅｏｐｔｉｍａｌｓｏｌｕｔｉｏｎｏｆｔｈｅｌｉｎｅａｒｐｒｏｇｒａｍｍｉｎｇｂｙｓｅａｒｃｈｉｎｇｗｉｔｈｉｎｔｈｅｆｅａｓｍｌｅＴｅ譬ｉｏｎｏｆｔｈｅｌｉｎｅａｒｐｒｏｇｒａｍｍｉｎｇ．ＴｈｅｒｅａｒｅａＵｋｉｎｄｓｏｆｉｎｔｅｒｉｏｒｐｏｉｎｔａｌｇｏｒｉｔｈｌｒｍａｌｌｔｈｅｆｏｒｌｉｎｅａｒｐｒｏｇｒａｍｎｆｉｎｇ．Ｂｕｔａｌｌｔｈｅｓｅｉｎｔｅｒｉｏｒｐｏｉｎｔａｌｇｏｒｉｔｈｍｓｓｈａｒｅａｓｐｅｃｉａｌｉｔｙ，ｗｈｉｃｈｉｓｓｏｌｕｔｉｏｎ｜ｔｅｒａｔｉｖｅＤｏｉｎｔｓｃａｎｎｏｔｒｅａｃｈｔｈｅｂｏｕｎｄｓＡｃｃｏｒｄｉｎｇｔｏｔｈｅｓｅｎｓｉｔｉｖｉｔｙｔｈｅｏｒｙ，ｔｈｅｏｐｔｉｍａｌｏｆｔｈｅｌｉｎｅａｒｐｒｏｇｒａｍｍｉｎｇｗｉｌｌｎｏｔｂｅｃｈａｎｇｅｄｂｙｌｉｔｔｌｅｄｉｓｔｕｒｂａｎｃｅｓｏｆｔｈｅｐｒｅｓｅｎｔｓｏｌｕｔｉｏｎ·ＳｏＷｅｌｅｔｔｈｅ｛ｘｊＩｚＪ＝ｏ，Ｊ＝１，２，－··）ｎ）ｅｑｕａｌａｖｅｒｙｓｍａｌｌｐｏｓｉｔｉｖｅｎｕｎｌｂｅｒ，ｇｏｏｎｗｉｔｈｔｈｅｃｏｍｐｕｔａｔｉｏ“一ａｎｄｔｈｅｎｗｅｇｅｔｔｈｅｏｐｔｉｍａｌｓｏｌｕｔｉｏｎｏｆｔｈｅｌｉｎｅａｒｐｒｏｇｒａｍｍｉｎｇ．Ａｌｌｔｈｅｓｅｌｅａｄｔｏｔｈｅｄｅｖｅｌｏｐｍｅｎｔ。
博弈论与组合优化中的对偶问题
1.1. 博弈论发展过程中的四个 研究纲领
• • • • von Neumann纲领 1928 Nash纲领1950 Aumann纲领1974 重复博弈中的有限自动机博弈理论、 复杂性理论和学习理论 1993
1.1 博弈论发展过程中的四个 研究纲领
von Neumann纲领 线性规划对偶性
Nash纲领
1.5 二人一般博弈与非线性规划对偶 之间的对应关系
• 从Nash纲领到Aumann纲领的转向得到了很多博 弈论学者的支持: • 首先是Selten、Harsanyi等人在Aumann纲领正式 提出前对均衡精化的研究 • 其次是Hart和Schmeidler、Nau和McCardle、 Myerson、Fudenberg和Levine、Foster和Vohra、 Hart和Mas-Colell等人在Aumann纲领正式提出后 对均衡粗化具体内容的研究
1.6 策略复杂性与复杂性与简单性对 偶之间的对应关系
• 但策略复杂性研究目前没有充分反映博弈的对偶 性质的新概念 • 原因在于忽视了博弈论与组合优化的联系 • Shubik(1997)关于博弈的复杂性与简单性的思考 或许提示了博弈的一种新的对偶性
1.7 研究次序
• 问题在于：必须先将Aumann纲领中隐含的精化 和粗化的对偶性研究清楚，才能进一步研究策略 复杂性和学习理论的对偶性 • 故应先研究精化和粗化的对偶性
1.5 二人一般博弈与非线性规划对偶 之间的对应关系
• Kakad e和Foster : • 他们的结论与Hart和Mas-Colell（2003b）的结论 并不冲突，因为后者的学习设定不允许从博弈行 动的历史中提取丰富统计数据。 • 看来Nash均衡与均衡粗化之间还有很多关系有待 人们去发现，Nash均衡与均衡粗化的统计学基础 还有待加强。 • 这就导致了策略复杂性和学习理论的研究
内点法介绍(Interior Point Method)
内点法介绍（Interior Point Method）在面对无约束的优化命题时，我们可以采用牛顿法等方法来求解。
而面对有约束的命题时，我们往往需要更高级的算法。
单纯形法（Simplex Method）可以用来求解带约束的线性规划命题（LP），与之类似的有效集法（Active Set Method）可以用来求解带约束的二次规划（QP），而内点法（Interior Point Method）则是另一种用于求解带约束的优化命题的方法。
而且无论是面对LP还是QP，内点法都显示出了相当的极好的性能，例如多项式的算法复杂度。
本文主要介绍两种内点法，障碍函数法（Barrier Method）和原始对偶法（Primal-Dual Method）。
其中障碍函数法的内容主要来源于Stephen Boyd与Lieven Vandenberghe的Convex Optimization一书，原始对偶法的内容主要来源于Jorge Nocedal和Stephen J. Wright的Numerical Optimization一书（第二版）。
为了便于与原书对照理解，后面的命题与公式分别采用了对应书中的记法，并且两者方法针对的是不同的命题。
两种方法中的同一变量可能在不同的方法中有不同的意义，如μ。
在介绍玩两种方法后会有一些比较。
障碍函数法Barrier MethodCentral Path举例原始对偶内点法Primal Dual Interior Point Method Central Path举例几个问题障碍函数法（Barrier Method）对于障碍函数法，我们考虑一个一般性的优化命题：minsubject tof0(x)fi(x)≤0,i=1,...,mAx=b(1) 这里f0,...,fm:Rn→R 是二阶可导的凸函数。
同时我也要求命题是有解的，即最优解x 存在，且其对应的目标函数为p。
此外，我们还假设原命题是可行的（feasible）。
用原始_对偶算法求解过指定顶点的最短路
Jo ur nal o f Nort hw est Insti tut e of T ex ti le Science and T echno logy
第 10卷第 3期 (总 39期 )
1996年 9月
Vo l. 10, No. 3( Sum No. 39)
用原始 -对偶算法求解 过指定顶点的最短路
图1
如图 1,求 vs到 vt 经 v1 , v3 点的最短路 . 解 c= ( ys , y1 , y2 , y3 , y4 , z1 , z3 ) , y1 , z1 与 v1 对应 , y3 , z3 与 v3 对应 ,其余 yi 与 vi 对应 , i = s, 2, 4, 将各变量取值分别写在对应的顶点旁 .
的最优解 .而 J 中由 vs到 vt 经 v 1 , v 2 ,…… , vk
的任何路均为最优 ,或问题 ( P) 无可行解 .
实际应用时 ,由问题 ( D)及 ( DRP)中变
量的意义 ,可将解写在对应的顶点上 ,即对
应于指定顶点 ,有两个变量与之对应 ,其它
顶点 ,有一个变量与之对应 .
4 应用举例
作为一个优化问题 ,此问题的可行解集 F = { P = ( ej 1 , ej 2 ,… , ejl )|P 为一个弧序列 ,且
∑ 为 vs 到 vt 过指定顶点 v1 , v2 ,… , vk 的有向路 } ,价值函数为 C ( P ) = C ( eji ) .
ej
∈ i
P
1 线性规划模型的建立
mi n CT f
1
0
Af = 0 m行
, f ≥ 0.
( P)
1
1
其中 A =
The Primal-Dual Algorithm(原始对偶优化算法)
Dual max w = π′b
π′A ≤ c′ π′ ≷ 0
Assume b ≥ 0 and we know dual feasible π.
Recall that x, π are jointly optimal iff they satisfy
∀i, πi(a′ix − bi) = 0 and ∀j, (cj − π′Aj)xj = 0.
cj − π′Aj π¯′Aj
The new cost is
w∗ = π′b + θ1π¯′b = w + θ1π¯′b > w.
11
procedure primal-dual begin
infeasible := ‘no’, opt := ‘no’; let π be feasible in D while infeasible =‘no’ and opt =‘no’ do begin set J = {j : π′Aj = cj};
8
Dual max w = π′b
π′A ≤ c′ π′ ≷ 0
J = {j : π′Aj = cj} π is feasible
DRP max w = π′b
π′Aj ≤ 0 j ∈ J πi ≤ 1 i ≤ m πi ≷ 0
π¯ is optimal
We “improve” cost of π by setting π∗ = π + θπ¯, θ > 0.
10
Dual max w = π′b
π′A ≤ c′ π′ ≷ 0
J = {j : π′Aj = cj} π is feasible
DRP max w = π′b
半定规划
1.5 为什么凸在最优化中重要的
一个凸函数没有不为全局极小的局部极小值 一个非凸函数可以被“凸化的”同时保持全局极小值的最优性
一个凸集有非空的相对内部 一个凸集在任何点具有可行方向
凸函数的极小值的存在可以非常方便地用收缩方向进行刻画 一个多面体凸集可用它的极值点和极值方向来刻画
1 F(Y12,Y13,Y23)T Y12
下面来看一个例子：
例 7：存在内可行解(X, y,S)(X 0,S 0)是有必要的。
0 0 0 (P) min0 0 0 X
0 0 1
1 0 0
0 1 0
s.t. 0 0 0 X 0,1 0 0 X 2, X O.
0 0 0
0 0 2
或 者 (P)m inX33 s.t. X110,X12+X212X332,XO . X是 可 行 解 . X11X12X210和 X331； 最 优 值 =1.
SDP（对偶问题，记为D）:
m
maximize bPyp P1
m
subject to ApypSA0,yRm,OSSn i1
1.7 半定规划的对偶理论(SDP)
LPs的一个原始—对偶对：
(P)m ina0x,subject toapxb（ pp1, ,m ） ,0x Rn
m
m
(D )m ax bpyp,subject to apypsa0,0s Rn
线性目标，线性约束，对称矩阵变元且为半定实矩阵
SDP可视为LP的推广，LP的向量分量不等式被矩阵不等式代替。根据半定矩阵的 定义知，SDP也可视为一个线性约束的关于变量的无限集的LP，解LP的原始对偶内点法可以推广到SDP。
根据前面两个的图形，LP的可行域为有有限个顶点的凸多面体，故LP有简单易行 且高效的单纯形法；而SDP的可行域为一个曲面体，故SDP尚无直接的，适用的 单纯形法。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
18.433 组合最优化
原始－对偶算法
October 28 授课教师：Santosh Vempala 在这一讲中，我们介绍互补松弛性条件并利用它们得到求解线性规划的原始－对偶方法。
1 互补松弛性
由前面的强对偶定理我们已经知道，下面两个线性规划都有可行解时其最优值是相等的，即
利用上面的结论，我们可以验证原始和/或其对偶问提解的最优性。
定理1. 设和分别是(P)和(D)的可行解，那么和是最优解当且仅当下面的条件成立：
证明：首先，由于和是可行解，故且
对下标和做加和，可得
把上面两式相加并利用强对偶定理，可得，
因此，不等式(1)和(2)一定为等式。
故结论得证。
□2 原始－对偶算法
定理1主要蕴含的结论是：如果和是可行解且满足互补松弛性条件，则他们是最优解。
这个结论产生了原始－对偶算法和出发，使之越来越满足互补松弛性
条件。
方便起见，我们考虑如下原始和对偶规划：
在这种形式下，互补松弛性条件可简化为：
原始－对偶算法步骤如下：
1、从(D)的一个可行解开始。
在多数情况下得到这样的一个可行解要比求解线性
规划简单得多。
令
现在我们需要利用(3)得到(P)的一个可行解满足问题是有没有
一个满足这种性质的可行解。
2、写出限定原始规划(RP)如下：
事实上，(RP)的可行解即满足上述提到的性质(3)。
这里，变量为人工变量。
如果为0，那么即为(P)的最优解。
3、如果，那么和是最优的。
否则，这时我们写
出(RP)的对偶形式，称为(DRP)，并求其解
4、令来改进（D）的解，其中的取值需满足是可行的，而且
由可行性可知，对有
又因为任意均有
所以当时可取任意正数。
故取
则满足且是可行的。
又因为且，
注意，在上面的原始－对偶算法中，求解(DRP)通常要比求解(P)或(D)简单。
实际上，在这种方法中，(P)和(RP)都是临时规划，我们真正想解的是(D)。
为此，我们先解出(DRP)再用这个解来反复改进。
2.1 实例
考虑下面形式的最大流问题：
值得一提的是，在初始的最大流问题中，前三组约束为等式。
但是我们将这三组不等式相加，得到0<=0，这些不等式的弱集蕴涵着等式。
我们把上述表示形式作为(D)，取为零向量即
可得到它的一个可行解。
现在我们直接给出(DRP):
可以看出(DRP)有如下释义。
寻找一条从到的路（流值为1）且路上只能经过下列弧：饱和的后向弧，零流的前向弧和任意方向的其它弧。
换句话说，我们需要在剩余图中找一条路。
这种观察说明最大流算法实际上是一个原始－对偶算法。
最后，需要注意，原始－对偶算法不一定具有多项式执行时间。