最优化理论与方法 对偶原理
合集下载
《对偶原理》PPT课件
Y *(b AX * ) 0 (1)
(Y
*
A
C)X*
0
(2)
其中 A (P1, P2 ,
a1
Pn
)
a2
am
式（1）和（2）可以写成下面的等价形式
yi*(bi ai X *) 0 (i 1,2,m);
(Y
* Pj
cj
) x*j
0
( j 1,2,n);
22
互补松弛关系
YAX Yb
(3)
用 X 右乘不等式（2）两边得
max Z CX
(P)
s.t.
AX X 0
b
YAX CX
(4)
由（3）和（4）式可知
CX YAX Yb 证毕.
minW Yb YA C
(D) s.t.Y 0 5
由弱对偶性，有下面推论：
CX Yb
推论1：若 X0 和Y0 分别是问题(P)和(D)的可行解，则 （1） CX0是问题(D)的目标函数的一个下界； （2） Y0 b是问题(P)的目标函数的一个上界。
证明：对于问题（P）的任意一个可行解X ，必有 CX≤Y*b
但 CX*=Y*b ， 故对原问题（P）的所有可行解X，有
CX≤CX* 所以，X*为原问题（P）的最优解。 同理可证Y*是对偶问题（D）的最优解。
12
例
min W 20 y1 20 y2
max Z x1 2x2 3x3 4x4
16
皮肌炎图片——皮肌炎的症状表现
皮肌炎是一种引起皮肤、肌肉、 心、肺、肾等多脏器严重损害的， 全身性疾病，而且不少患者同时 伴有恶性肿瘤。它的1症状表现如 下：
1、早期皮肌炎患者，还往往 伴有全身不适症状，如-全身肌肉 酸痛，软弱无力，上楼梯时感觉 两腿费力；举手梳理头发时，举 高手臂很吃力；抬头转头缓慢而 费力。
最优化方法之对偶理论讲解
.
2
2
4
inf
x
2 2
wx 2
|
x2
0
w
2
w
w
w2
.
2
2
4
(w) w 2 w 2 4w w 2 4w.
44
2
对偶问题为:
w2
max 4w
2
s.t. w 0
对偶定理
min f ( x ) s.t. g ( x ) 0
x1, x2 0
1）原问题(P1)一可行解 x=(1, 1)T
目标值 =40 40是(D1)最优目标值的上界.
2）对偶问题(D1)一可行解 w=（1 1 1 1）
目标值 =10 10是(P1)最优目标值的下界.
x*
1 5
6 5
最优值28
w*0 0 4 4T 最优值28
推论1 若问题(P)或(D)有无界解，则其对偶问题(D)或(P) 无可行解； 若问题(P)或(D)无可行解，则其对偶问题(D)或(P) 或者无可行解,或者目标函数值趋于无穷。
cT x Ax b
Ax b x0
max bTu bTv
对偶
s .t .
ATu ATv c
u, v 0
令wuv (D)
m ax s .t .
bT w ATw
c
w无 限 制
例 min 5x1+4x2+3x3 s.t. x1+x2+x3=4 3x1+2x2+x3 =5 x1 ≥ 0, x2 ≥0, x3 ≥0
最优化理论与方法概述
定义：最优化问题是指在一定条件下，寻找最优解的过程
分类：线性规划、非线性规划、整数规划、动态规划等
特点：多目标、多约束、多变量、非线性等
应用领域：经济、金融、工程、科学计算等
最优化问题的分类
线性规划问题
整数规划问题
动态规划问题
非线性规划问题
组合优化问题
03
最优化理论的基本概念
函数的方向导数和梯度
牛顿法的基本原理
迭代过程收敛于函数的极小值点或鞍点
牛顿法适用于非线性、非凸函数的最优化问题
牛顿法是一种基于牛顿第二定律的数值优化方法
通过选择一个初始点，并迭代地沿着函数的负梯度方向进行搜索
拟牛顿法的基本原理
拟牛顿法的基本思想
拟牛顿法的迭代过程
拟牛顿法的收敛性分析
拟牛顿法的优缺点比较
05
最优化方法的收敛性和收敛速度
未来发展趋势与展望
最优化方法在深度学习中的应用
最优化方法在深度学习中的未来发展
最优化方法在深度学习中的优势与挑战
最优化方法在深度学习中的应用案例
深度学习中的优化问题
最优化方法在金融工程中的应用
投资组合优化：利用最优化方法确定最优投资组合，降低风险并提高收益
风险管理：通过最优化方法对金融风险进行识别、评估和控制，降低损失
极值点：函数在某点的函数值比其邻域内其他点的函数值都小或都大
最优值点：函数在某点的函数值比其定义域内其他点的函数值都小
最优化理论的基本概念：寻找函数的极值点和最优值点，使函数达到最小或最大值
函数的凸性和凹性
凸函数：对于函数图像上的任意两点，连接它们的线段都在函数图像的下方
凹函数：对于函数图像上的任意两点，连接它们的线段都在函数图像的上方
分类：线性规划、非线性规划、整数规划、动态规划等
特点：多目标、多约束、多变量、非线性等
应用领域：经济、金融、工程、科学计算等
最优化问题的分类
线性规划问题
整数规划问题
动态规划问题
非线性规划问题
组合优化问题
03
最优化理论的基本概念
函数的方向导数和梯度
牛顿法的基本原理
迭代过程收敛于函数的极小值点或鞍点
牛顿法适用于非线性、非凸函数的最优化问题
牛顿法是一种基于牛顿第二定律的数值优化方法
通过选择一个初始点，并迭代地沿着函数的负梯度方向进行搜索
拟牛顿法的基本原理
拟牛顿法的基本思想
拟牛顿法的迭代过程
拟牛顿法的收敛性分析
拟牛顿法的优缺点比较
05
最优化方法的收敛性和收敛速度
未来发展趋势与展望
最优化方法在深度学习中的应用
最优化方法在深度学习中的未来发展
最优化方法在深度学习中的优势与挑战
最优化方法在深度学习中的应用案例
深度学习中的优化问题
最优化方法在金融工程中的应用
投资组合优化：利用最优化方法确定最优投资组合，降低风险并提高收益
风险管理：通过最优化方法对金融风险进行识别、评估和控制，降低损失
极值点：函数在某点的函数值比其邻域内其他点的函数值都小或都大
最优值点：函数在某点的函数值比其定义域内其他点的函数值都小
最优化理论的基本概念：寻找函数的极值点和最优值点，使函数达到最小或最大值
函数的凸性和凹性
凸函数：对于函数图像上的任意两点，连接它们的线段都在函数图像的下方
凹函数：对于函数图像上的任意两点，连接它们的线段都在函数图像的上方
最优化问题中的对偶算法
最优化问题中的对偶算法随着计算机技术的发展，越来越多的复杂问题都能够用数学模型来描述。
这些数学模型需要经过优化才能得到比较好的解，也就是得到一个最佳的方案。
最优化问题广泛应用于工商业、交通运输、金融投资等领域。
然而，大多数最优化问题都比较复杂，难以找到最优解。
为了解决这个问题，人们开始使用对偶算法。
对偶算法是一种计算方法，它把最优化问题转化为对偶问题，并通过求解对偶问题来求解原始问题。
对偶算法的应用在20世纪50年代发展起来，用于求解线性规划问题。
随着对偶算法的研究深入，它已经被广泛应用于各种类型的最优化问题。
对偶算法的推导过程是由原始问题转化为对偶问题，然后求解对偶问题，最后利用对偶解推导出原始问题的解。
在这个过程中，需要用到线性代数、微积分、概率论等数学理论。
对偶算法的优点是可以提供与原始问题相同的最优解，同时可以在一些情况下降低计算复杂度。
另外，对偶算法还具有良好的数学性质，例如强对偶、对称性等。
这些性质有助于人们更好地理解最优化问题。
最优化问题的对偶算法可以应用于很多领域，例如网络流、组合优化、博弈论等。
其中，最广泛应用的是线性规划。
线性规划是一种最优化问题，求解目标是最小化或最大化一个线性函数，同时满足一些线性约束条件。
利用对偶算法求解线性规划问题可以得到一个最优的解，而且计算速度比其他方法快。
除了线性规划，对偶算法还可以应用于求解非线性规划问题。
非线性规划是一种优化问题，目标函数和约束条件都是非线性函数。
应用对偶算法可以将非线性规划问题转化为对偶问题，进一步降低计算复杂度。
总的来说，对偶算法是解决最优化问题的重要工具，其数学性质和广泛应用性使得它成为研究最优化问题的重要方法之一。
未来，对偶算法还有很大的发展潜力，可以应用于更多的最优化问题，促进科技、经济、社会等领域的发展。
最优化方法之 对偶理论讲解
问题： 0成立的条件.
LP 对偶问题的表达
（1）对称LP问题的定义
(P)
min s.t.
cT x Ax b x0
（2）对称LP问题的对偶问题
max
(D)
bT w AT w c w0
s.t.
例：写出下列LP问题的对偶问题
min 8 x1 16 x2 12 x3 2 x1 4 x2 s.t. 2 x1 4 x3 3 x1 , x2 , x3 0
线性规划的对偶问题为：
max wT b1 vT b2 s.t. wT A1 vT A2 c w0
求下列非线性规划问题的对偶问题:
2 min x12 x2 s.t. x1 x2 4 0 x1 , x2 0
解：把变量的非负限制作为集约束，即 x1 x D x1 0, x2 0 , x2
( w, v) inf f ( x) wT g ( x) vT h( x) | x D f ( x) wT g ( x) vT h( x) f ( x).
推论1: 对于原问题和对偶问题 ，必有 inf f ( x) | g ( x) 0, h( x) 0, x D sup (w, v) | w 0. 1,, m h j ( x) 0, j 1,, l xD
集约束
(1)
定义(1)的对偶问题:
max ( w, v) s.t. w 0
(2)
max ( w, v) s.t. w 0
m l 其中 ( w, v) inf f ( x) wi gi ( x) v j h j ( x) x D i 1 j 1
优化问题中的对偶理论
优化问题中的对偶理论在数学中，优化问题是一种求解最优解的问题，而对偶理论则是用来解决优化问题中的复杂性的一种方法。
对偶理论的核心思想是将原问题转化为它的对偶问题，并在对偶问题中求解最优解。
本文将介绍优化问题中的对偶理论及其应用。
1. 对偶问题的定义对偶问题是指将一个优化问题转化为另一个优化问题的过程。
具体来说，对于一个原始问题（称为Primal Problem），我们可以通过构造一个对应的对偶问题（称为Dual Problem），来找到原始问题的最优解。
这个对应关系是双向的，即可以从原始问题得到对偶问题，也可以从对偶问题得到原始问题。
对于一个具体的优化问题，我们可以定义它的原始问题和对偶问题。
原始问题通常形式如下：Minimize f(x)subject to g_i(x) ≤ 0, i = 1, 2, ..., mh_j(x) = 0, j = 1, 2, ..., n其中，f(x)是目标函数，g_i(x)是不等式约束，h_j(x)是等式约束。
而对偶问题的形式如下：Maximize g(λ, μ)subject to λ_i ≥ 0, i = 1, 2, ..., m其中，g(λ, μ)是对偶函数，λ_i和μ_j分别是对应原始问题中不等式约束和等式约束的Lagrange乘子。
2. 对偶问题的求解对于一个原始问题，我们可以通过下列步骤求解它的对偶问题：1）构造对偶函数：对偶函数是原始问题的Lagrange对偶，它定义为：g(λ, μ) = inf{ f(x) + ∑ λ_i g_i(x) + ∑ μ_j h_j(x) }其中，inf{}表示检查所有可行解的最小值。
2）求对偶问题：将对偶函数最大化，得到对偶问题的最优解。
3）寻找最优解：将对偶问题的最优解带回到原始问题中，可以获得原始问题的最优解。
这个过程可能看起来很抽象和复杂，但对偶理论的优点在于它可以将复杂的原始问题转化为相对简单的对偶问题，从而更容易求解。
优化设计-最优化基础理论+对分法
1.8.2 Newton切线法说明
这种方法一旦用好，收敛速度是很高的．如果初始点选得适当，通 常经过几次迭代就可以得到满足一般精度要求的结果.但是它也有缺点： 需要求二阶导数．如果在多维最优化问题的一维搜索中使用这种方法， 就要涉及Hesse矩阵，一般是难于求出的． 当曲线 y (t ) 在 [a, b] 上有较复杂的弯曲时，这种方法也往往失效．如 图 (a)所示迭代： t0 t1 t2 , 结果t 2 跳出 [a, b] .迭代或者发散，或者找到的根 并不是我们想要的结果． 即使曲线比较正常，在 [a, b] 中或者上凹或者下凹，初始点的选取也必 须适当．在图（b）的情况下，曲线上凹，应选点b作为初始点；而在图 （c）的情况下，曲线下凹，应选点a为初始点．否则都可能失败．
1. 最优化技术的理论基础
1.3 极值理论
一元函数的极值问题
判断极值条件：设函数f(X)在点x0处具有二阶导数f"(x0)。 若f'(x0)<0，则f(x0)为函数的极大值；
若f‘(x0)>0，则f(x0)为函数的极小值。 二元函数极值
对于三元以上函数的极值通常采用二次全微分d
2
f ( P0 )判定
开始
选定 t0,确定[a b],要 ' 求 ( a ) 0, (b) 0
Newton
切线法 计算流 程图
t t 0 ' ( t 0 ) / '' ( t 0 )
t t0
Y
N
t0 t
t * t0 , * (t0 )
t* , *
输出
结束
函数、约束函数在该点的某些信息，确定本次迭代的一个搜索方向和适 当的步长，从而到达一个新点，用式子表示即为
最优化理论与方法-对偶原理ppt课件
别为y1, y2, y3 ，买方总支出为w。
max z 7x1 12x2 s.t. 9x1 4x2 360
4x1 5x2 200 3x1 10x2 300 x1 , x2 0
min w 360 y1 200 y2 300 y3 s.t. 9 y1 4 y2 3y3 7 4 y1 5 y2 10 y3 12 y1, y2, y3 0
【例】原问题与对偶问题
资源 甲 乙 数量
煤 9 4 360 电 4 5 200 油 3 10 300 单价 7 12
问题一：试拟订使总收入最大的生 问题二：试拟定能够保证卖方收入且
产方案。
使买方支出最小的定价方案。
解：设拟生产甲、乙产品各x1,x2 单位， 解：设煤、电、油三种资源的定价分
总收入为z。
量，c (c1,..., cn )是n 维行向量，x (x1,..., xn )T是由原问题的
变量组成的n 维列向量，w (w1,..., wm ) 是由对偶问题的变 量组成的 m维行向量。
对偶问题的表述 – 非对称形式
对称形式
原问题： min cx
s.t. Ax b x0
非对称形式
min cx s.t. Ax b
则单纯形乘子w
c B1 B
是对偶问题(4.1.2)的一个最优解。
根据这个推论，能够从原问题的最优单纯形表中直接获得对偶问 题的一个最优解。
对偶问题的基本性质
互补松弛性质（见教材）
对于对偶规划，当知道一个问题的最优解 时，根据互补松弛定理求出另一个问题的 最优解。
对偶可行的基本解
考虑线性规划问题 min cx
原问题与对偶问题间的相互转换关系
原问题（或对偶问题）
对偶问题（或原问题）
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
B
根据这个推论，能够从原问题的最优单纯形表中直接获得对偶问 题的一个最优解。
对偶问题的基本性质
互补松弛性质（见教材）
对于对偶规划，当知道一个问题的最优解 时，根据互补松弛定理求出另一个问题的 最优解。
对偶可行的基本解
考虑线性规划问题
min cx s.t. Ax = b
(4.2.1)
x≥0
定义:设 x(0) 是(4.2.1)式的一个基本解，它对应的基矩阵 为B，记w = cBB-1，若 w 是 (4.2.1)式的对偶问题的可行 解，即对所有j，成立 wp j − c j ≤ 0 ，则称 x(0) 为原问题的 对偶可行的基本解。 对偶可行的基本解
解：设拟生产甲、乙产品各x1,x2 单位， 解：设煤、电、油三种资源的定价分 总收入为z。 别为y1, y2, y3 ，买方总支出为w。
max z = 7 x1 + 12 x2 s.t. 9 x1 + 4 x2 ≤ 360 4 x1 + 5 x2 ≤ 200 3 x1 + 10 x2 ≤ 300 x1 , x2 ≥ 0
x x= B 0
对偶单纯形法的基本思想
求改进的对偶可行的基本解的过程，也就是选择离基变 离基变 进基变量，进行主元消去 主元消去的过程。这与单纯形方法 量和进基变量 进基变量 主元消去 有类似之处。 与前面介绍的单纯形法 区别 单纯形法的区别 单纯形法 区别在于：在单纯形法的迭代 过程中，始终保持右端列(目标函数值除外)非负，即保 持原问题的可行性；而在对偶单纯形法中，要保持所有 的判别数 wp j − c j ≤ 0 (对于极小化问题)，即保持对偶可 保持对偶可 行性。（当然，在每次迭代中不要求右端列各分量均非 行性 负，正因为如此，也就不需要引入人工变量 不需要引入人工变量。） 不需要引入人工变量
对偶问题的表述 – 非对称形式
对称形式 非对称形式
原问题： min cx
s.t. Ax ≥ b x≥0
min cx s.t. Ax = b x≥0
max wb s.t. wA ≤ c
对偶问题
max wb s.t. wA ≤ c w≥0
对偶问题的表述（一般形式）
原问题 对偶问题
max w1b1 + w2b2 + w3b3 s.t. w1 A1 + w2 A2 + w3 A3 ≤ c w1 ≥ 0 w3 ≤ 0 w2 无限制
【例】原问题与对偶问题
某工厂拟生产甲、乙两种产品，需消耗煤、电、油 三种资源。有关数据如表所示：
产品资源单耗资源 煤（t） 电（kW·h） 油（t） 单位产品价格（万元） 甲 9 4 3 7 乙 4 5 10 12 资源限量 360 200 300
问题一： 总收入最大的生产方案 问题一：试拟订使总收入最大 生产方案 总收入最大 生产方案。 问题二： 问题二：若厂家不再打算生产甲、乙产品，而是打算将其资源全部卖掉。 厂家要求：其收入不低于生产产品时的收入；买方希望：原料价格 越低越好。试拟定能够保证卖方收入 保证卖方收入且使买方支出最小 定价方案。 支出最小的定价方案 保证卖方收入 支出最小 定价方案
min w = 360 y + 200 y + 300 y 1 2 3 s.t . 9y + 4y + 3y ≥ 7 1 2 3 4 y + 5 y + 10 y ≥ 12 1 2 3 y ,y ,y ≥0 1 2 3
下面将会看到，这两个问题互为对偶问题，其中一个称为原问题， 则另一问题就是它的对偶问题。
第4章 对偶原理
4.1线性规划中的对偶理论 4.2对偶单纯形法
原问题与对偶问题
线性规划中普遍存在着配对的现象，即对 每一个线性规划问题，都存在另一个与之 密切联系的线性规划问题，其中之一称为 原问题，而另一个成为它的对偶问题 对偶问题。 原问题 对偶问题 对偶问题深刻揭示了每对问题中原问题与 对偶问题的内在联系。
(0) (0) (4.1.1) (4.1.2) cx (0) = w(0)b 则 x 和w 分别是 (4.1.1)和 (4.1.2)的最优解。
对偶规划(4.1.1)和(4.1.2)有最优解的充要条件是它们同时有 可行解。 若原问题(4.1.1)的目标函数值在可行域上无下界，则对偶问 题(4.1.2)无可行解；反之，若对偶问题(4.1.2)的目标函数值 在可行域上无上界，则原问题(4.1.1)无可行解。
对偶问题（或原问题） 对偶问题（或原问题）
max问题 问题
一 一 对 应
个变量, 有m个变量 n个约束条件 个变量 个约束条件 第i个变量 个变量≤0 个变量 个变量≥0 第i个变量 个变量 个变量无非负约束， 第i个变量无非负约束，是自由变量 个变量无非负约束 个约束条件为≤关系 第j个约束条件为 关系 个约束条件为 个约束条件为≥关系 第j个约束条件为 关系 个约束条件为 个约束条件为＝ 第j个约束条件为＝关系 个约束条件为
min cx s.t. A1 x ≥ b1 A2 x = b2 A3 x ≤ b3 x≥0
原问题与对偶问题间的相互转换关系
原问题（或对偶问题） 原问题（或对偶问题）
min问题 问题 个约束条件,n个变量 有m个约束条件 个变量 个约束条件 第i个约束条件为 关系 个约束条件为≤关系 个约束条件为 个约束条件为≥关系 第i个约束条件为 关系 个约束条件为 第i个约束条件为等式关系 个约束条件为等式关系 个变量≥0 第j个变量 个变量 个变量≤0 第j个变量 个变量 个变量无非负约束， 第j个变量无非负约束，是自由变量 个变量无非负约束
对偶问题的基本性质
对偶问题的对偶是原问题。 。
对偶定理（以对称对偶形式叙述）
【定理4.1.1】若 x (0) 和w(0)分别是(4.1.1)和(4.1.2)的可行解， 定理 】 则 cx (0) ≥ w(0) b 。（可得到以下重要推论 推论：） 推论
若 x (0) 和 w(0) 分别是(4.1.1)和(4.1.2)的可行解，且
xB B −1b x= = 称为方程组的一个基本解 称为方程组的一个基本解 xN 0
max wb s.t. wA ≤ c
对偶单纯形法的基本思想
从原问题的一个对偶可行的基本解 对偶可行的基本解出发，求改进的对偶 对偶可行的基本解 改进的对偶 可行的基本解，当得到的对偶可行的基本解是原问题的 可行的基本解 可行解时，就达到最优解。 这里改进的对偶可行的基本解 改进的对偶可行的基本解的含义是： 改进的对偶可行的基本解 根据定义，对每个对偶可行的基本解 都对应一个 对偶问题的可行解w = cBB-1 ，相应的对偶问题的目标函 数值为wb= cBB-1b 。所谓改进的对偶可行的基本解 改进的对偶可行的基本解，是 改进的对偶可行的基本解 指对于原问题的这个基本解，相应的对偶问题的目标函 数值wb有改进。
【例】原问题与对偶问题
问题一： 总收入最大的生 问题一：试拟订使总收入最大 生 总收入最大 产方案。 产方案
资源 煤 电 油 单价
甲 9 4 300
问题二： 保证卖方收入且 问题二：试拟定能够保证卖方收入 保证卖方收入 使买方支出最小 定价方案 支出最小的定价方案 支出最小 定价方案。
对偶问题的表述—对称形式
原问题 对偶问题
max wb s.t. wA ≤ c w≥0
min cx s.t. Ax ≥ b x≥0
其中 A = ( p1 ,..., pn )是 m × n 矩阵， = (b1 ,..., bm )T 是m 维列向 b c x 量， = (c1 ,..., cn ) 是n 维行向量， = ( x1 ,..., xn )T 是由原问题的 w 变量组成的n 维列向量， = ( w1 ,..., wm ) 是由对偶问题的变 量组成的 m维行向量。
min cx s.t. Ax ≥ b （4.1.1） x≥0
max wb s.t. wA ≤ c （4.1.2） w≥0
对偶定理（以对称对偶形式叙述）
【定理4.1.2】设原问题或对偶问题中有一个问题存在最优解， 定理 】 则另一个问题也存在最优解，且两个问题的目标函数值相等。 【推论】若线性规划(4.1.1)存在一个对应基B的最优基本可行解， (4.1.1) B −1 则单纯形乘子w = c B 是对偶问题(4.1.2)的一个最优解。
根据这个推论，能够从原问题的最优单纯形表中直接获得对偶问 题的一个最优解。
对偶问题的基本性质
互补松弛性质（见教材）
对于对偶规划，当知道一个问题的最优解 时，根据互补松弛定理求出另一个问题的 最优解。
对偶可行的基本解
考虑线性规划问题
min cx s.t. Ax = b
(4.2.1)
x≥0
定义:设 x(0) 是(4.2.1)式的一个基本解，它对应的基矩阵 为B，记w = cBB-1，若 w 是 (4.2.1)式的对偶问题的可行 解，即对所有j，成立 wp j − c j ≤ 0 ，则称 x(0) 为原问题的 对偶可行的基本解。 对偶可行的基本解
解：设拟生产甲、乙产品各x1,x2 单位， 解：设煤、电、油三种资源的定价分 总收入为z。 别为y1, y2, y3 ，买方总支出为w。
max z = 7 x1 + 12 x2 s.t. 9 x1 + 4 x2 ≤ 360 4 x1 + 5 x2 ≤ 200 3 x1 + 10 x2 ≤ 300 x1 , x2 ≥ 0
x x= B 0
对偶单纯形法的基本思想
求改进的对偶可行的基本解的过程，也就是选择离基变 离基变 进基变量，进行主元消去 主元消去的过程。这与单纯形方法 量和进基变量 进基变量 主元消去 有类似之处。 与前面介绍的单纯形法 区别 单纯形法的区别 单纯形法 区别在于：在单纯形法的迭代 过程中，始终保持右端列(目标函数值除外)非负，即保 持原问题的可行性；而在对偶单纯形法中，要保持所有 的判别数 wp j − c j ≤ 0 (对于极小化问题)，即保持对偶可 保持对偶可 行性。（当然，在每次迭代中不要求右端列各分量均非 行性 负，正因为如此，也就不需要引入人工变量 不需要引入人工变量。） 不需要引入人工变量
对偶问题的表述 – 非对称形式
对称形式 非对称形式
原问题： min cx
s.t. Ax ≥ b x≥0
min cx s.t. Ax = b x≥0
max wb s.t. wA ≤ c
对偶问题
max wb s.t. wA ≤ c w≥0
对偶问题的表述（一般形式）
原问题 对偶问题
max w1b1 + w2b2 + w3b3 s.t. w1 A1 + w2 A2 + w3 A3 ≤ c w1 ≥ 0 w3 ≤ 0 w2 无限制
【例】原问题与对偶问题
某工厂拟生产甲、乙两种产品，需消耗煤、电、油 三种资源。有关数据如表所示：
产品资源单耗资源 煤（t） 电（kW·h） 油（t） 单位产品价格（万元） 甲 9 4 3 7 乙 4 5 10 12 资源限量 360 200 300
问题一： 总收入最大的生产方案 问题一：试拟订使总收入最大 生产方案 总收入最大 生产方案。 问题二： 问题二：若厂家不再打算生产甲、乙产品，而是打算将其资源全部卖掉。 厂家要求：其收入不低于生产产品时的收入；买方希望：原料价格 越低越好。试拟定能够保证卖方收入 保证卖方收入且使买方支出最小 定价方案。 支出最小的定价方案 保证卖方收入 支出最小 定价方案
min w = 360 y + 200 y + 300 y 1 2 3 s.t . 9y + 4y + 3y ≥ 7 1 2 3 4 y + 5 y + 10 y ≥ 12 1 2 3 y ,y ,y ≥0 1 2 3
下面将会看到，这两个问题互为对偶问题，其中一个称为原问题， 则另一问题就是它的对偶问题。
第4章 对偶原理
4.1线性规划中的对偶理论 4.2对偶单纯形法
原问题与对偶问题
线性规划中普遍存在着配对的现象，即对 每一个线性规划问题，都存在另一个与之 密切联系的线性规划问题，其中之一称为 原问题，而另一个成为它的对偶问题 对偶问题。 原问题 对偶问题 对偶问题深刻揭示了每对问题中原问题与 对偶问题的内在联系。
(0) (0) (4.1.1) (4.1.2) cx (0) = w(0)b 则 x 和w 分别是 (4.1.1)和 (4.1.2)的最优解。
对偶规划(4.1.1)和(4.1.2)有最优解的充要条件是它们同时有 可行解。 若原问题(4.1.1)的目标函数值在可行域上无下界，则对偶问 题(4.1.2)无可行解；反之，若对偶问题(4.1.2)的目标函数值 在可行域上无上界，则原问题(4.1.1)无可行解。
对偶问题（或原问题） 对偶问题（或原问题）
max问题 问题
一 一 对 应
个变量, 有m个变量 n个约束条件 个变量 个约束条件 第i个变量 个变量≤0 个变量 个变量≥0 第i个变量 个变量 个变量无非负约束， 第i个变量无非负约束，是自由变量 个变量无非负约束 个约束条件为≤关系 第j个约束条件为 关系 个约束条件为 个约束条件为≥关系 第j个约束条件为 关系 个约束条件为 个约束条件为＝ 第j个约束条件为＝关系 个约束条件为
min cx s.t. A1 x ≥ b1 A2 x = b2 A3 x ≤ b3 x≥0
原问题与对偶问题间的相互转换关系
原问题（或对偶问题） 原问题（或对偶问题）
min问题 问题 个约束条件,n个变量 有m个约束条件 个变量 个约束条件 第i个约束条件为 关系 个约束条件为≤关系 个约束条件为 个约束条件为≥关系 第i个约束条件为 关系 个约束条件为 第i个约束条件为等式关系 个约束条件为等式关系 个变量≥0 第j个变量 个变量 个变量≤0 第j个变量 个变量 个变量无非负约束， 第j个变量无非负约束，是自由变量 个变量无非负约束
对偶问题的基本性质
对偶问题的对偶是原问题。 。
对偶定理（以对称对偶形式叙述）
【定理4.1.1】若 x (0) 和w(0)分别是(4.1.1)和(4.1.2)的可行解， 定理 】 则 cx (0) ≥ w(0) b 。（可得到以下重要推论 推论：） 推论
若 x (0) 和 w(0) 分别是(4.1.1)和(4.1.2)的可行解，且
xB B −1b x= = 称为方程组的一个基本解 称为方程组的一个基本解 xN 0
max wb s.t. wA ≤ c
对偶单纯形法的基本思想
从原问题的一个对偶可行的基本解 对偶可行的基本解出发，求改进的对偶 对偶可行的基本解 改进的对偶 可行的基本解，当得到的对偶可行的基本解是原问题的 可行的基本解 可行解时，就达到最优解。 这里改进的对偶可行的基本解 改进的对偶可行的基本解的含义是： 改进的对偶可行的基本解 根据定义，对每个对偶可行的基本解 都对应一个 对偶问题的可行解w = cBB-1 ，相应的对偶问题的目标函 数值为wb= cBB-1b 。所谓改进的对偶可行的基本解 改进的对偶可行的基本解，是 改进的对偶可行的基本解 指对于原问题的这个基本解，相应的对偶问题的目标函 数值wb有改进。
【例】原问题与对偶问题
问题一： 总收入最大的生 问题一：试拟订使总收入最大 生 总收入最大 产方案。 产方案
资源 煤 电 油 单价
甲 9 4 300
问题二： 保证卖方收入且 问题二：试拟定能够保证卖方收入 保证卖方收入 使买方支出最小 定价方案 支出最小的定价方案 支出最小 定价方案。
对偶问题的表述—对称形式
原问题 对偶问题
max wb s.t. wA ≤ c w≥0
min cx s.t. Ax ≥ b x≥0
其中 A = ( p1 ,..., pn )是 m × n 矩阵， = (b1 ,..., bm )T 是m 维列向 b c x 量， = (c1 ,..., cn ) 是n 维行向量， = ( x1 ,..., xn )T 是由原问题的 w 变量组成的n 维列向量， = ( w1 ,..., wm ) 是由对偶问题的变 量组成的 m维行向量。
min cx s.t. Ax ≥ b （4.1.1） x≥0
max wb s.t. wA ≤ c （4.1.2） w≥0
对偶定理（以对称对偶形式叙述）
【定理4.1.2】设原问题或对偶问题中有一个问题存在最优解， 定理 】 则另一个问题也存在最优解，且两个问题的目标函数值相等。 【推论】若线性规划(4.1.1)存在一个对应基B的最优基本可行解， (4.1.1) B −1 则单纯形乘子w = c B 是对偶问题(4.1.2)的一个最优解。