共轭方向法
最优化方法-共轭方向和共轭梯度法
由3式可以看出
2020/3/6
16
2.共轭方向-共轭方向法
• 基本定义
利用共轭方向作为搜索方向的无约束极小化算法
• 通用步骤:
(1)任取X 0 ,以及在X 0的下降方向P0 , k 0; (1)求解一维搜索问题
min f ( X k Pk ),为最优步长,是个数值．
(3) X k1 X k k Pk ;
X
T QX
bT
X
c, Q正定,
X 0是初始点,
P0
f
(X0)
X k1 X k k Pk , k 0,1...m 1, k是最优步长,且
Pk1 f ( X k1) ak Pk (这是构造的结果)
其中ak
f
( X k1)T QPk PkT QPk
,
P0
(
X
)T
k 1
Pk
)T
PkT f ( X k1)
f ( X k1) QX k1 b Q( X k k Pk ) b, ( X k 1 X k k Pk )
f ( X k1) (QX k b) kQPk f ( X k ) kQPk
当m 2时 所以，P0，P1， Pm1是线性无关的。
P0T QP1
P0T Q f ( X 1 )
f ( X 1 )T QP0 P0T QP0
P0
P0T Qf ( X 1 ) f ( X 1 )T QP0 0
表明，P0与P1共轭。
2020/3/6
2020/3/6
4
1.共轭方向法的基本原理
• 已知 X1 点是在 X 0 点在直线 l0 上沿 P0 搜索方向的一个极小 点。（l0 与 P0 是平行的）
05.第五讲 鲍威尔共轭方向法
k f2 f (X n ) ， f 3 f ( X nk1 ) f (2 X nk X 0k ) ； 5.如果满足判别准则，则在下一次循环时，用新方 向 Snk1 补入k+1次循环基本方向组的最后，并去 k 掉 Sm ，从而构成新的方向组。并取第k+1次循环 的起始点为 X X 。 k k* S X （ n1 为第k次循环中沿新方向 n1 一维搜索的极 小点） 如果不能满足判别准则，则第k+1次循环时仍用 原来的方向组，而初始点按下式选取：
鲍威尔共轭方向法
1.共轭方向的定义：
设A为 n n 阶实对称正定矩阵，而 S 1
2 S ， 为n维欧式空
间 R n 中的两个非零向量，如果满足 [ S 1 ]T AS 2 0 ，则称 1 2 S S 向量 与 关于是实对称正定矩阵A是共轭的，或简称 S 1 2 S 与 关于A共轭。
2.坐标轮换法的缺陷
； 2.取n个坐标轴的单位向量 ei (i 1,2,n) 为搜索方向
k X0 ； Sik ei ，置k=1（k为迭代轮数）， X 0
k k S X 3. 从 0 出发，分别沿 i (i 1,2,n) 作一维搜索，依次
k 得n个极小点 X i ，计算各相邻极小点目标函数的差值 ，并
坐标轮换法的收敛速度很慢，其原因在于其搜索方向总是 平行于坐标轴，不适用函数的变化情况。
3.共轭方向法
1 S 设给定两个平行方向 ，沿这两个方向分别进行一维搜
2 2 索，求得极小点 X 1 和 X 。显然， X 1 和 X 分别是两条
2 平行线与函数等值线的相切点，连接这两个切点构成向量 S 1 2 2 2 1 S S S X X ，即 ，可证明 与 关于函数f（X）的海 塞矩阵H共轭。
共轭方向-专业文档
共轭方向共轭方向是数学中一个非常重要的概念，特别是在解析几何和向量代数中。
两个向量被称为共轭的，如果它们的方向相反。
更具体地说，给定一个向量OA，其共轭方向可以定义为所有与OA方向相反的向量。
在平面直角坐标系中，如果向量OA的坐标表示为 (x, y)，则其共轭方向的坐标可以简单地通过将 x 和 y 的符号改变得到，即 (-x, -y)。
在三维空间中，如果向量 OA 的坐标表示为 (x, y, z)，则其共轭方向的坐标可以通过将 x，y 和 z 的符号改变得到，即 (-x, -y, -z)。
共轭方向在许多数学问题中都有应用。
例如，在极坐标系中，两个方向的向量可以表示为角度和径向距离。
如果一个向量的角度为θ，那么它的共轭方向的角θ 可以通过以下公式得到：θ=π-θ。
此外，在向量代数中，共轭方向向量也是非常重要的。
给定一个向量OA，该向量的长度是√x²+y²（或√x²+y²+z²，在三维空间中）。
如果一个向量与OA的长度相同，但方向相反，那么它就被称为OA的共轭方向向量。
这种向量可以通过OA 的长度和OA的逆方向求得。
例如，在二维空间中，给定向量 OA=(1, 2)，其长度为√5。
那么，其共轭方向向量的坐标可以表示为 (-1/√5, -2/√5)。
总之，共轭方向是数学中一个非常基本且重要的概念。
它被广泛应用于解析几何、极坐标系和向量代数中。
掌握共轭方向的概念及其在各种场合的应用对于理解和解决数学问题具有重要意义。
通过了解如何在不同维度空间中对共轭方向进行表示和计算，我们可以更好地理解向量的性质和解决相关的数学问题。
共轭方向与共轭梯度法-最优化方法
f (X1)T P0 0 ，所以 f (X1)T P0 1P1TQ P0 0
P1TQ P0 0
（1）
以上就是搜索方向P1所必须满足的（必要） 条件。这也是使X2是极小点的充分条件。 P1，P2称为关于Q的共轭方向。
讨论表明 对于二维的具有正定矩阵Q的 二次函数f(X),从任一初始点出发，依次沿关 于Q共轭的两个方向进行一维搜索，必可达到 f(X)的无约束精确极小点。
Pk 1
0
且对j 0,1 , k 2, 有
PjT QPk PjT Q f ( X k ) k1Pk1
PjT Qf
(X
k
)
k
PT
1 j
QPk
1
f ( X k )T QPj
f ( X k )T f ( X j1) f ( X j ) j
f ( X k1 ) QX k1 b Q( X k k Pk ) b (2)
f ( X k1 ) f ( X k ) k QPk
所以
f ( X m ) f ( X m1) m1QPm1
f ( X m2 ) m2QPm2 m1QPm1
其中1 是最优步长，1>0 .因为 X * 是无约束极小点。
故 f ( X * ) 0 即 QX * b 0
f (X1) QX1 b
Q( X * 1P1) b (QX * b) 1QP1 1QP1
又因为 X1是f(X)沿P0方向的直线l0上的极小点，故
设 X En ,
,Q为对称正定矩阵，P0，
P1，···，Pm-1是关于Q共轭的m个共轭方向，
共轭方向法
T
n 1 j
j0
p j A( A b) p j Ap j
T
T
1
pj
1
n
0
0
0
0
k
( k m 1,
, n 1)
m
上述定理表明对于任意选取的x 0 , 至多迭代n次便可达到 f ( x ) 的极小点, 特殊情况下, 算法还可提前终止. 综上所述, 对于正定二次函数的共轭方向法, 可示意如下： 给定 x , 选取下降方向 p ( g p 0 ) , 计算 x 1 x 0 0 p 0
M
k
x R n | x x 0 z , z sp a n ( p 0 , p 1 , ..., p k 1 )
k
g k L k sp a n p 0 , p 1 , ..., p k 1
• 由定理5.6的（5-17），得:
f ( x k ) m in f ( x )
i
n
k 1
xk x0
i0
i
pi
k 1
M
k
n x R | x x0
i0
i pi
n
0
• 则 f ( x ) m in 的充要条件 是 g L sp a n p , p , p , ..., p
k x M
k
k
k
0
1
k
k 1
R
n
(2). p k ( k
(3). x k ( k
0 , 1,
1, 2 ,
, n 1)
为A-的共轭向量系;
机械优化设计共轭方向法
共轭方向法以前传统的设计方法一般是在调查分析的基础，根据设计产品要求的各种参数进行试凑和定性比较完成，其缺点是重复性工作太多，花费时间长，并且每次的修改并没有经过准确的理论计算，因此其设计的产品具有一定的改进空间。
传统的设计师被动的设计，而不是主动地设计产品的参数，因此就产生了一种主动的设计产品的设计方法——优化设计。
优化设计就是根据最优化原理和计算技术应用于设计领域，为工程设计提供一种重要的科学的设计方法。
具体的优化设计的方法有很多，例如最速下降法、牛顿型方法、共轭方向法、共轭梯度法、变尺度法等等，其每种优化的方法各有各自的优缺点。
下面我们简单的介绍一下共轭方向法：一种优化设计方法包括选初点、最佳步长和方向三要素组成，共轭方向法的方向是共轭（垂直）的。
例如对于二次函数()x f = c x b x G x T T ++ 21用共轭方向法进行求极小值时，则在1d 方向上的最佳步长01≠α时，()010=d G d T （0d 、1d分别是第一次第二次一维搜索方向），这就是为了使1d 直指极小点*x 、1d 所必须满足的条件。
因此满足上式的两个向量0d 和1d 称为G的共轭向量，或称0d 和1d 对G 是共轭方向。
共轭方向的一个重要性质是从任意初始点0x 出发，顺次沿n 个的共轭方向0d ，1d ,…, 1-m d 进行一维搜索，最多经过n 次迭代就可以找到()x f = c x b x G x T T ++ 21的极小值*x 。
共轭方向法就是建立在此共轭方向性质的基础上，他提供了求二次函数极小值的原则方法。
共轭方向法的原理如下图：共轭方向法与其他的优化方法相比的优点及应用：例如与最速下降法相比：最速下降法虽然在一点附近函数的下降最快，但是它收敛的速度随其离最优解的距离的减短而减慢，即越靠近最优解其收敛的速度越慢，虽然在一点附近函数的所花的时间最少，但是整体所花的时间却并没有减少，其计算量也很大；除此之外这一次的搜索方向与前一次的搜索方向还会形成锯齿现象。
共轭方向法实验报告
一、实验目的1. 理解共轭方向法的原理和步骤；2. 掌握共轭方向法的编程实现；3. 通过实验验证共轭方向法的收敛性和有效性。
二、实验原理共轭方向法是一种求解无约束优化问题的算法。
它通过迭代搜索，逐步逼近函数的极小值点。
在每一步迭代中，算法根据目标函数的梯度信息，选择一个与当前搜索方向共轭的搜索方向，以期望更快地找到最优解。
共轭方向法的核心思想是：如果方向d1和d2关于对称正定矩阵Q共轭，即满足d1^TQd2=0，那么它们在Q下的投影是正交的。
因此，选择共轭方向进行搜索，可以在保证搜索方向线性无关的前提下，避免不必要的搜索路径，提高算法的收敛速度。
三、实验环境1. 操作系统：Windows 102. 编程语言：Python3.73. 模拟实验：利用Python编写代码，求解二维和三维二次函数的最小值问题。
四、实验步骤1. 导入必要的库，如NumPy、SciPy等；2. 定义目标函数，如f(x) = x1^2 + 2x2^2 + 3x1x2；3. 初始化参数，如初始点x0、步长α等；4. 迭代搜索：a. 计算目标函数在当前点的梯度；b. 根据梯度信息，计算下一个搜索方向；c. 检查搜索方向是否满足共轭条件；d. 更新搜索方向，并计算新点的函数值；e. 判断是否满足停止条件，如步长小于某个阈值等；5. 输出最优解和迭代过程。
五、实验结果与分析1. 二维二次函数的最小值问题目标函数：f(x) = x1^2 + 2x2^2 + 3x1x2初始点：x0 = [0, 0]步长：α = 0.1实验结果：- 最优解：x = [-0.8, -0.4]- 最小值：f(x) = -0.72通过实验验证，共轭方向法在二维二次函数的最小值问题中能够快速收敛到最优解。
2. 三维二次函数的最小值问题目标函数：f(x) = x1^2 + 2x2^2 + 3x1x2 + 4x3^2 + 5x1x3 + 6x2x3初始点：x0 = [0, 0, 0]步长：α = 0.1实验结果：- 最优解：x = [-0.8, -0.4, -0.2]- 最小值：f(x) = -0.72通过实验验证，共轭方向法在三维二次函数的最小值问题中同样能够快速收敛到最优解。
共轭方向法
共轭方向
两向量间的一种特殊关系.设A为n×n对称正定矩阵，向量p1，p2∈R.若满足条件(p1)Ap2=0，则称p1和p2关 于A是共轭方向，或称p1和p2关于A共轭.一般地，对于非零向量组p1，p2，…，pn∈R，若满足条件： (pi)Apj=0(i≠j，i，j=1，2，…，n)，则称该向量组关于A共轭。
设A是n×n对称正定矩阵，若有两个n维向量P和Q，满足
PAQ=0
则称向量P和Q是关于A共轭的，或称P、Q是A共轭方向。
定义
以一组共轭方向作为搜索方向来求解无约束非线性规划问题的一类下降算法。是在研究寻求具有对称正定矩 阵Q的n元二次函数
f(x)=1/2xQ x+bx+c
最优解的基础上提出的一类梯度型算法，包含共轭梯度法和变尺度法。根据共轭方向的性质，依次沿着对Q共 轭的一组方向作一维搜索，则可保证在至多n步内获得二次函数的极小点。共轭方向法在处理非二次目标函数时也 相当有效，具有超线性的收敛速度，在一定程度上克服了最速下降法的锯齿形现象，同时又避免了牛顿法所涉及 的海色(Hesse)矩阵的计算和求逆问题。对于非二次函数，n步搜索并不能获得极小点，需采用重开始策略，即在 每进行n次一维搜索之后，若还未获得极小点，则以负梯度方向作为初始方向重新构造共轭方向，继续搜索。
感谢观看
数学表达
对于n维正定二次函数f，选取关于其系数矩阵是共轭的向量组p0，p1，…，pn-1，从任一点x0∈Rn出发，相 继以p0，p1，…，pn-1为搜索方向，迭代公式为:
迭代公式
经n次一维搜索，便可找到xn为f(x)的极小点.共轭方向法是鲍威尔(Powell,M.J.D.)于1964年首先提出 的.
共轭方向法
数学术语
01 共轭
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
&3共轭方向法引言本节之后的方法大多属于共轭方向法。
3.6.1 共轭方向的概念若两个向量n R X ∈，n R Y ∈，满足如下关系：0=AY X T (3-6-1)其中，A 为n n ⨯的对称正定阵，则称X 和Y 是关于A 共轭的，X 和Y 称之为共轭方向。
注意：若0=Y X T ，则称X 与Y 正交。
实际上，共轭是正交的推广。
例1： 有两个二维向量⎥⎦⎤⎢⎣⎡=111S ，⎥⎦⎤⎢⎣⎡-=112S ，⎥⎦⎤⎢⎣⎡=2112A ，判断1S 与2S 是否关于A 共轭，是否正交？解：[]01121121121=⎥⎦⎤⎢⎣⎡-⋅⎥⎦⎤⎢⎣⎡⋅=AS S T，因此，1S 与2S 关于A 共轭。
[]0111121=⎥⎦⎤⎢⎣⎡-⋅=S S T，因此，1S 与2S 正交。
3.6.2 共轭向量的概念如果有m 个n 维向量m S S S S ,...,,,321，满足正定且A j i AS S j i AS S j T i j T i ,)(0)(0⎪⎩⎪⎨⎧=≠≠= (3-6-2) 则称这m 个向量是A 的共轭向量。
如果A 维单位阵，则称这m 个为正交向量。
3.6.3 共轭向量的几何意义设目标函数为C X B AX X X f T T ++=21)( (3-6-3)其中，A 为n n ⨯阶的对称正定阵。
)(X f 的梯度为：B AX X F +=∇)( (3-6-4)设从某点0X 出发，沿0P 方向进行搜索得到)(X f 的极小点1X ，则有0)()(0101=+=∇P B AX P X F TT (3-6-5)设从某点'0X 出发，仍沿0P 方向进行搜索得到)(X f 的极小点2X ，则有0)()(0202=+=∇P B AX P X F T T (3-6-6)式(3-6-6)减(3-6-5)，可得：0)(012=-AP X X T (3-6-7)这说明)(12X X -与0P 是关于A 共轭的。
3.6.4 共轭方向法的原理考虑m 个n 维向量m S S S ,...,,21，满足正定且A j i AS S j i AS S j Ti j T i ,)(0)(0⎪⎩⎪⎨⎧=≠≠=，则这m 个向量一定是线性无关的。
用反证法。
假设m S S S ,...,,21线性相关，则一定存在一组不全为0的一组数m ααα,...,,21，满足0...2211=+++m m S S S ααα (3-6-8)则有...)...(22112211=+++=+++mT i m T i T i m m T i AS S AS S AS S S S S A S αααααα (3-6-8)其中，m i ,...,2,1=。
因此有：0=i T i AS S ，但这与原假设不符。
因此，一定可以得出m S S S ,...,,21线性无关的结论。
注意：在n 维空间中的任意向量，均可以用n 个线性无关的n 维向量表示，也可以说，n 维是由n 个线性无关的n 维向量张成的（此处还差一步：正交化）。
那么，设目标函数)(X f 的极小点为*X ，初始点为0X ，120,...,,-n S S S 为关于A 的n 个共轭向量，则有：1111000*...--+++=-n n S S S X X ααα (3-6-9)将式(3-6-9)写成差分格式：⎪⎪⎪⎩⎪⎪⎪⎨⎧+=+=+=+=---+000111121111S X X S X X S X X S X X k k k k k k k k αααα (3-6-10)式中，1,...,1,0-=n k ，表示经过1+k 次迭代后，*1X X k →+。
该式表明，1+k X 为目标函数沿k S 方向的一个极小点，则有：0)()(1=+∇=∇+k T k k k k T k S S X F S X F α (3-6-11)即)()(])([=+∇=++=++k T kk k Tk k Tkk k Tk k T k k k AS S S X F AS S S B AX S B S X A ααα (3-6-12)即可推导出：ASS S X F Tk kT k k )(∇-=α (3-6-13) 式(3-6-13)表明，如果能够构造出一系列共轭向量)1,...,2,1(-=n k S k ，则可以求出k α，那么经过k 步迭代，可以求得1+k X 。
对于二次函数，n k =。
例2 求解222125)(min x x X f +=解：首先，构造二次型：[]00500022121)(2121+⋅+⎥⎦⎤⎢⎣⎡⋅⎥⎦⎤⎢⎣⎡⋅=++=X x x x x C X B AX X x f T T即⎥⎦⎤⎢⎣⎡=50002A ，0=B ，0=C 。
取[]TX 2,20=，取第0个搜索方向为：=+-=-∇=)()(000B AX X F S ⎥⎦⎤⎢⎣⎡-=⎥⎦⎤⎢⎣⎡⋅⎥⎦⎤⎢⎣⎡-10042250002，则根据式(3-6-13)，有：50003210016100450002100410041004)(00000=⎪⎪⎭⎫ ⎝⎛⎥⎦⎤⎢⎣⎡-⎥⎦⎤⎢⎣⎡⎪⎪⎭⎫ ⎝⎛⎥⎦⎤⎢⎣⎡-⎪⎪⎭⎫ ⎝⎛⎥⎦⎤⎢⎣⎡-⎥⎦⎤⎢⎣⎡-=∇-=T TTT AS S S X F α⎪⎪⎭⎫ ⎝⎛⎥⎦⎤⎢⎣⎡-+⎥⎦⎤⎢⎣⎡=+=100450003210016220001S X X α 由于1S 与0S 关于A 共轭，则有0100450002101=⎥⎦⎤⎢⎣⎡--⋅⎥⎦⎤⎢⎣⎡=T T S AS S 上式与无穷多解，我们任取⎥⎦⎤⎢⎣⎡-=16251S ，则 ⎪⎪⎭⎫⎝⎛⎥⎦⎤⎢⎣⎡--⎥⎦⎤⎢⎣⎡⎪⎪⎭⎫ ⎝⎛⎥⎦⎤⎢⎣⎡--⎥⎦⎤⎢⎣⎡-⎪⎪⎭⎫ ⎝⎛⎥⎦⎤⎢⎣⎡-=∇-=1625500021625162550002)(111111TTT T X AS S S X F α ⎥⎦⎤⎢⎣⎡=⎪⎪⎭⎫ ⎝⎛⎥⎦⎤⎢⎣⎡-+=+=001625111112ααX S X X *2X X →3.6.5 构造共轭方向的一般方法在n 维空间中，已知有n 个单位向量： 第i 个分量为ni e i ,...,2,1]0,...,0,1,...,0,0[==则n 个共轭方向可以这样确定：112112211]0,...,0,0,1[e e S e S e S T ββ+=+=== (3-6-14)其中，1β为待定系数。
由于，2S 和1S 关于A 共轭，因此012=AS S T，即 0)()(11121112=+=+AS S e AS S e TT T ββ (3-6-15)可得11121AS S ASe T T -=β (3-6-16)继续，可以构造221133S S e S ββ++= (3-6-17)考虑023=AS S T，即0)(222113=++AS S S e T ββ (3-6-18)由于021=AS S T ，式(3-6-19)化简为：0)(2223=+AS S e T β (3-6-19)即可推出：22232AS S AS e T T-=β (3-6-20)同时考虑013=AS S T，即 0)(122113=++AS S S e T ββ (3-6-21)同理，由于021=AS S T，式(3-6-21)化简为： 0)(1113=+AS S e T β (3-6-22)因此有11131AS S ASe T T-=β (3-6-23)特别注意：由于3S 不仅与2S 关于A 共轭，同时也与1S 关于A 共轭，所以1β的表达式和在2S 时的表达式(3-6-16)是不同的。
由此可以类推，可得：n k AS S AS e S e S S S e S i T i iTk k i k i ii k k k k k ,...,3,211112211=⎪⎪⎩⎪⎪⎨⎧-=+=++++=∑-=--βββββ (3-6-24)例题，见Matlab 程序3.6.6 共轭梯度法共轭梯度法是一种构造共轭方向的方法。
任取一个初始点，经过n 次迭代，得到n 个点，利用这n 个点的梯度方向可以构造一组共轭方向。
具体做法为：设有一个n 维函数)(X f ，用梯度法经过1-n 次迭代，即可以得到这n 个迭代点1210,,,-n X X X X ，这些点所对应的函数的梯度为1210,,-n g g g g 。
即可以构造一组共轭方向：⎪⎩⎪⎨⎧-==∑+-=-=-=1,,2,1,,1000n k AS S AS g S g S g S iT i i Tk i k i i i k k ββ (3-6-25)可以证明，按照式(3-6-25)构造的n 个方向1210,,,-n S S S S 是关于A 共轭的。
然后，即可按下式计算：⎪⎩⎪⎨⎧-=+=+k T k k Tk k kk k k ASS S g S X X αα1 (3-6-26) 如果)(X f 是二次函数，那么经过n 次迭代后必然可以收敛到极小点。
如果按这样的算法计算，则一定需要求得函数的海赛矩阵A ，在实用性上存在困难，并且加大了计算负担，因此我们需要想法避免在计算过程中出现A 。
现在我们对以上公式作一些适当的简化。
设有一个二次函数C X B AX X X f T T ++=21)(，在进行极小化过程中，迭代公式为：⎩⎨⎧-=+=++kk k k kk k k X X S S X X 11αα (3-6-27) 设k g 为迭代点k X 的梯度，并且令：k k k g g y -=+1 (3-6-28)这是前后两相邻迭代点的梯度之差。
则有：kk k k k k k k k AS S A X X A BAX B AX y αα==-=--+=++)(11 (3-6-29)对n 个共轭方向n S S S ,,,21 ，有：n k j k j AS S k T j ,,2,1,)(0 =≠= 故0===k Tj k k T j k T j k y S AS S AS S αα (3-6-30)可见在迭代过程中，前后两次迭代点的梯度之差与其他任一共轭方向是正交的。
即⎪⎪⎩⎪⎪⎨⎧===+--000121jT j j Tk j T kS y S y S y(3-6-31) 设j k >，则：iT j j T j j T k j T k j Tj j T j T j j T k T k j T k T k jT j j T j j T k j T k j T k j T k j T k j T k j T k S g S y S y S y S g S g g S g g S g g S g S g S g S g S g S g S g S g S g 11211122111122211)()()()(++--+++-+-++-----++++=+-++-+-=+--++-+-= (3-6-32)又因为式(3-6-31)，故有j T j j Tk S g S g 1+= (3-6-33)在此式中，1+j g 是迭代点1+j X 处的梯度，而1+j X 是沿j S 方向搜索新得之点。