第八章 无约束多维问题的最优化方法
多维无约束优化算法
多维无约束优化算法部门： xxx时间： xxx整理范文，仅供参考，可下载自行编辑多维无约束优化算法多维无约束优化问题的一般数学表达式为：求n 维设计变量使目标函数 多维无约束优化算法就是求解这类问题的方法，它是优化技术中最重要最基础的内容之一。
因为它不仅可以直接用来求解无约束优化问题，而且实际工程设计问题中的大量约束优化问题，有时也是通过对约束条件的适当处理，转化为无约束优化问题来求解的。
所以，无约束优化方法在工程优化设计中有着十分重要的作用。
b5E2RGbCAP 目前已研究出很多种无约束优化方法，它们的主要不同点在于构造搜索方向上的差别。
<1）间接法——要使用导数，如梯度法、<阻尼）牛顿法、变尺度法、共轭梯度法等。
<2）直接法——不使用导数信息，如坐标轮换法、鲍威尔法单纯形法等。
用直接法寻找极小点时，不必求函数的导数，只要计算目标函数值。
这类方法较适用于解决变量个数较少的<n ≤20）问题，一般情况下比间接法效率低。
间接法除要计算目标函数值外，还要计算目标函数的梯度，有的还要计算其海赛矩阵。
p1EanqFDPw各种优化方法之间的主要差异是在于构造的搜索方向，因此，搜索方向的构成问题乃是无约束优化方法的关键。
12[]T n x x x =x ()min f →x min ()nf R ∈x x 1(0,1,2,)k k k k s k α+=+=x x下面介绍几种经典的无约束优化方法。
1、梯度法基本思想：函数的负梯度方向是函数值在该点下降最快的方向。
将n 维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题，利用负梯度作为搜索方向，故称最速下降法或梯度法。
DXDiTa9E3d 搜索方向s 取该点的负梯度方向(最速下降方向> ，使函数值在该点附近的范围内下降最快 。
为了使目标函数值沿搜索方向能够获得最大的下降值，其步长因子应取一维搜索的最佳步长。
即有根据一元函数极值的必要条件和多元复合函数求导公式，得在最速下降法中，相邻两个迭代点上的函数梯度相互垂直。
无约束最优化方法直接搜索法课件
x2
S(1)
S2(1
)
(1)
X3 X2 (1)
X* X2 (2) X1 (2)
S(2)
X0 (1)
X 1 (1)
S1(1) x1
• 鲍威尔基本算法的缺点
鲍威尔基本算法仅具有理论意义，不要说对于一般的 函数，就是对于二次函数，它也可能失效。因为在迭代过程 中的n个搜索方向有时会变成线性相关，而不能形成共轭方向， 从而张不成n维空间，导致随后的迭代搜索在降维(“退化”) 的空间中进行，可能求不到极小点，故需进行改进。
x 2 XL X2
Xn+3 Xn+2
Xn+1
Xห้องสมุดไป่ตู้ XH
X1 XG x1
6)扩张：当 fn+2 < f L 时，取扩张点Xn+3 ，即
Xn+3 = Xn+1 + (Xn+2 – Xn+1)
( =1.2~2.0 )
并计算 fn+3 = f (Xn+3 ) 。 若 fn+3 < fn+2 ，则以Xn+3 代替 X H ， fn+3 代替 fH ，构造一个新的单纯形；否则，以 X n+2 代 替XH ， fn+2 代替fH ，构造新的单纯形；然后返回到 3)。
鲍威尔条件：
若 f 3 < f 1, ( f1 - 且2f2 + f3) (f1 - f2 - △m(k))2 < 0.5 △m(k) (f1 - f3 )2 同时成立，则用 S ( k ) 替代 S m ( k ) ；否则，仍用 就是鲍威尔修正算法，通常所说的鲍威尔算法就是指这一修正算法。
• 鲍威尔算法的计算步骤及算法框图
第三讲 多维无约束最优化共轭方向法
在每一步的过程中，搜索方向线性独立是 非常重要的，否则可能不收敛。 例2： Rosenbrock函数的极小值 例3：
f ( x1 , x2 , x3 ) ( x1 x2 x3 ) 2 ( x1 x2 x3 ) 2 ( x1 x2 x3 ) 2
(d ) Az i z d i T i z , j 1, 2,...m i 1 ( z ) Az
j j
j 1
j T
i
则 z1, z2,… zm 关于A 共轭。
二次终结性
一个算法用于解正定二次函数的无约束极小时， 若有限步迭代可达最优解，则称该算法具有二 次终结性。 共轭方向 + 精确一维搜索 ＝ 二次终结 设 z1, z2,… zm 关于正定阵A 共轭。则从任意初 始点出发，二次型目标函数
共轭方向
当A=I(单位矩阵)时， d(1)TAd(2)= d(1)Td(2)=0，即正交关系。
共轭方向 正交方向 当d(1),d(2), …,d(m) 关于正定矩阵A两两共 轭时， d(1),d(2), …,d(m) 线性无关。
构造共轭方向的Schmidt过程
设d(1),d(2), …,d(m) 线性无关。令
一些改进方法
Rosenbrock算法（旋转方向法） Hooke-Jeeves算法（步长加速法）
多维无约束最优化：共轭方向法
1.
2.
基本思想：沿着某些方向依次进行精确 的一维搜索，确定最佳的步长。 共轭方向 定义：设 An×n 对称正定，d (1),d (2) ∈Rn , d (1) ≠0，d(2) ≠0，满足 d(1)TAd(2)=0, 称d(1),d(2) 关于矩阵A共轭。 共轭向量组：d(1),d(2), …,d(m) ∈Rn 均 非零，满足d(i)TAd(j)=0,(i≠j) .
无约束问题最优化方法
向可以使函数值下降，只
x2
有在锐角所包含的范围搜
索才可以达到函数值下降
的目的，故坐标轮换法对 此类函数会失效。
脊线
x1
第二轮迭代，需要
x0(2) x2 (1)
依次类推，不断迭代，目标函数值不断下降，最后逼 近该目标函数的最优点。
终止准则
可以采用点距准则
注意： 若采用点距准则或函数值准则，其中采用的点应该是一轮
迭代的始点和终点，而不是某搜索方向的前后迭代点。
8.1.2坐标轮换法的计算步骤
⑴任选初始点
作为第一轮的起点 ，置n个坐标轴方向矢量为单位 坐标矢量：
已知初 始点 x（1） (1, 2, 3)T ，当 x(n1) x(1) 0.01时停止
迭代．
小结
坐标轮换法程序简单，易于掌握。但是计算效率比 较低，尤其是当优化问题的维数较高时更为严重。一 般把此种方法应用于维数小于10的低维优化问题。
对于目标函数存在
“脊线”的情况，在脊线
的尖点处没有一个坐标方
对于n维优化问题，如果只利用函数值求最优值的解法，称 为直接搜索法；
解析法的收敛速率较高，直接法的可靠性较高。
8.1 坐标轮换法
坐标轮换法属于直接法，既可以用于无约束优化问 题的求解，又可以经过适当处理用于约束优化问题求 解。
坐标轮换法是每次搜索只允许一个变量变化，其余 变量保持不变，即沿坐标方向轮流进行搜索的寻优方 法。它把多变量的优化问题轮流地转化成单变量（其 余变量视为常量）的优化问题，因此又称这种方法为 变量轮换法。此种方法只需目标函数的数值信息而不 需要目标函数的导数。
第8章 无约束问题最优化方法
➢无约束优化理论研究开展得较早，构成的优化方法巳很多 ，也比较成熟，新的方法仍在陆续出现。本章的内容与目的 是讨论几个常用无约束优化方法的基本思想、方法构成、迭 代步骤以及终止准则等方面问题。
第8章 无约束问题最优化方法
8 ． 1 ． 3 计算举例
例 8-1 用变量轮换法求解
2 2 min f ( x) 3x12 2x2 x3 ，
( n 1) （1） T x (1) 0.01 时停止 已知初始点 x (1, 2, 3) ，当 x
迭代．
8.2
模式搜索方法
模式搜索方法 ( Pattern Search Method ) 是 R.Hooke 和 T.A.Jeeves 于 1961 年提出的 , 因此也称为 Hook-Jeeves 方法 , 此方法有明显的几何意义 , 为介绍这种方法 , 从求一个二元函 数的极小点谈起．这相当于寻找某个曲面的最低点 , 或者形象 地说 , 相当于从一座山岭的某处出发 , 设法走到附近某一盆地 的最低点 , 怎样才能尽快达到这一目标呢 ? 很显然 , 如果能找 到一条山谷 , 沿山谷行进是最好的方法． 模式搜索方法就是根据上述思想设计的．它由两部分组成 , 包括探测移动和模式移动． 利用这种算法建立的迭代点移动 不需要使用一维搜索技巧．
(1) (1) (1) (1) (1) (1) e2 ) f (t 2 ) , 则 置 t3 t3 t2 e2 ； 否 则 若 f (t 2 t2 e2 ； 否 则
置 t 3 (1) = t 2 (1) ．
(1) 重复以上过程， 最后得到 t n 1 ．
8 ． 2 ． 2 模式移动
8.3 可变单纯形法
可变单纯形法的基本思想是， 给定 R n 中的一个单纯 形， 求出 n +1 个顶点的函数值 , 并确定这些函数值中的 最大值、 次大 值和最小 值， 然后通过 反射 、扩张、 内 缩、缩边 等方 法（几种 方法 不一定同 时使 用）求出 一 个较好点，用它取代最大值的点，以构成新的单纯形， 通过多次 迭代 逼近极小 点， 迭代过程 中逐 渐地把单 纯 形向最优点移动．
第三讲 无约束优化(多维无约束优化方法)
2019/10/21
5
1. 梯度法（最速下降法 ）
（2）迭代公式 ： X (k 1) X (k) k S (k) X k f X k
或
X (k1) X (k) k
f f
X k X k
f
X k
f ，f x1 x2
X (2) 1
S (1)
S为S（2）的共轭方向。
S即为S(1)的共轭方向。
2019/10/21
18
（2）共轭梯度法的基本原理
2）共轭方向的构造
S k1 f X k1 k S k
上式的意义是以新的负梯度方向 f X k1 ，加上原
负梯度的一部分k S k 来构造 S k1 。
2019/10/21
3
1. 梯度法（最速下降法 ）
数值迭代格式
X (k 1) X (k ) k S (k )
从数值迭代格式可以看出，构造一种算法的关键 是如何确定一个有利的搜索方向。
梯度方向是函数值上升最快的方向，负梯度 方向是函数值下降最快的方向。
2019/10/21
以负梯度方向作为搜索方向
4）牛顿法不能保证函数值稳定下降，严重时还会造 成点列发散导致迭代失败。
2019/10/21
1 27
3. 多维牛顿法（阻尼牛顿法）
问题的提出
因函数不一定是二次函数，基本牛顿法的步长因子 恒为1，有时会导致迭代发散而失效。
改进方法
仍取牛顿方向，但改用最优步长因子：
X (k1) X (k ) k [H ( X (k ) )]1f ( X (k) ) 一维搜索求最优步长
'X 0
西南交大运筹学《无约束最优化方法》
运筹学Operations Research无约束最优化方法西南交通大学经济管理学院§1.最速下降法§2.Newton法§3.共轭梯度法§4.变尺度法§5.直接法)()()()(0)(,,1,P o P X f X f P X f X f X f P E P T k k k k kn λλλ+∇+=+≠∇=∈非零：处的梯度它在是连续可微的函数即是单位向量设P X f o P X f X f P X f P f P X X f T k T k k k k)()()(lim )()(lim )(00∇=+∇=−+=∂∂→→λλλλλλλ的方向导数为：处关于方向在点k k k k T k kk T k X f P X f P X f P X f P P X f θθθcos )(cos )()()()(∇=⋅∇=∇∇∇之间的夹角，则和为。
记就是使下降最快的方向取最小的使处的最速下降方向。
在点通常把它叫做下降最快的方向。
出发使是从点时，上式最小，所以可知，当k kk k k X f f X X f P )(:−∇==πθ下降的搜索方向。
再去寻找使处不需要在点这时的点局部最优解的必要条件的已是满足的驻点。
是，则若f X X f X X f k k k k ,,)NP (0)(=∇:,)(,,,;,,,,,1的最佳步长，即作为点最小的确定使来的一维搜索即通过在负梯度方向上最佳步长方法采用振荡的情况。
所以一般在极值点附近出现来回则若步长选得大计算次数较多则收敛慢长选得小若步。
选择用固定步长时还要确定步长方向之后在选定了搜索得到下一个近似点为了由点＋kk k k X X f X X λλ))((min ))((0kk k k k X f X f X f X f ∇−=∇−>λλλ§1.最速下降法)()()()()(0)()()()()())(()()()(21)()()())((2k k T k k T k k k k T k k T k k k k k T k kT k k k k X f X H X f X f X f X f X H X f X f X f d X f X df X f X H X f X f X f X f X f X f ∇∇∇∇==∇∇+∇−∇=∇−∇∇+∇∇−≈∇−λλλλλλλλ得：求导并令其等于零，则对§1.最速下降法Step1.。
多维无约束优化算法
多维无约束优化算法多维无约束优化问题的一般数学表达式为：求n 维设计变量使目标函数多维无约束优化算法就是求解这类问题的方法，它是优化技术中最重要最基础的内容之一。
因为它不仅可以直接用来求解无约束优化问题，而且实际工程设计问题中的大量约束优化问题，有时也是通过对约束条件的适当处理，转化为无约束优化问题来求解的。
所以，无约束优化方法在工程优化设计中有着十分重要的作用。
目前已研究出很多种无约束优化方法，它们的主要不同点在于构造搜索方向上的差别。
（1）间接法——要使用导数，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。
（2）直接法——不使用导数信息，如坐标轮换法、鲍威尔法单纯形法等。
用直接法寻找极小点时，不必求函数的导数，只要计算目标函数值。
这类方法较适用于解决变量个数较少的（n ≤20）问题，一般情况下比间接法效率低。
间接法除要计算目标函数值外，还要计算目标函数的梯度，有的还要计算其海赛矩阵。
各种优化方法之间的主要差异是在于构造的搜索方向，因此，搜索方向的构成问题乃是无约束优化方法的关键。
下面介绍几种经典的无约束优化方法。
1、梯度法基本思想：函数的负梯度方向是函数值在该点下降最快的方向。
将n 维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题，利用负梯度作为搜索方向，故称最速下降法或梯度法。
搜索方向s 取该点的负梯度方向(最速下降方向) ，使函数值在该点附近的范围内下降最快 。
为了使目标函数值沿搜索方向能够获得最大的下降值，其步长因子应取一维搜索的最佳步长。
即有12[]T n x x x = x ()min f →x ()k f -∇x k αmin ()nf R ∈x x 1(0,1,2,)k k k k s k α+=+= x x 1(0,1,2,)k k kk s k α+=+= x x 1()(0,1,2,)k k k k a f k +=-∇= x x x 1()[()]min [()]min ()k k k k k k k a af f a f f a f ϕα+=-∇=-∇=x x x x x根据一元函数极值的必要条件和多元复合函数求导公式，得在最速下降法中，相邻两个迭代点上的函数梯度相互垂直。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5 共轭梯度法
共轭梯度法的迭代公式
设从xk出发，沿dk=-gk 方向作一维搜索到 xk+1点，并算 出xk+1点的梯度方向gk+1。由于gk+1 是沿等直面在该点的法 线方向，而dk是沿等直面在该点的切线方向，故(dk)Tgk+1= 0，即 gk+1Tgk=0，gk+1 与 gk 正交。 为了在 gk+1 和 gk 构成的正交系中确定共轭方向dk+1，令 dk+1 = -gk+1+k dk 即把共轭方向dk+1看成-gk+1与 dk的线性组合，k 为待定 系数。要使dk+1与dk 共轭，就应使 (dk+1)TGdk =0 而 (dk+1)TGdk =(-gk+1+kdk)TGdk =(-gk+1 kgk)TG(-gk ) =gk+1TGgk+k gkTGgk =0
T
0 T 4 100 1 50
T
1 1 2 2 4 0 100 0 4 100 50 2 f x 0
0 0
T
对照梯度法和牛顿法迭代公式，可以看出只相差一项 海赛矩阵的逆矩阵。因此，牛顿法是对梯度法的进一步修 正。事实上，梯度法是对目标函数f(x)在点xk的一阶(线性) 近似，而牛顿法是对f(x)在点xk 的二阶(二次)近似。
2 最速下降法
(1) 最速下降法以负梯度方向作为搜索方向并作一维搜索，因 此又称为“梯度法”，属于求导数的间接法。它的基本思想早 在1847年就已提出。尽管它本身不再被认为是一种有效的方法， 但它是许多优化方法尤其是二次收敛方法的基础。 各点的梯度一般各不相同，因此“最速下降方向”仅对某 一点附近而言，它具有局部性质。 当作一维搜索时，搜索方向是与目标函数等值线相切的， 而切点的梯度方向是与等值线正交的。因此，相邻两次搜索方 向相互垂直，搜索路径呈严重的“之”字形，特别是目标函数 接近二次型时更为明显。 可以利用梯度矢量在极值点为零这一重要性质设立收敛准 则 f(x*)
3 牛顿型方法
牛顿法是用目标函数二阶偏导数的间接方法，因类似 于解非线性方程的牛顿法而得名，又叫“二阶导数法”、 “拟线性法”。 将目标函数泰勒展开，保留到二次项，原目标函数就 转变为下列二次型函数： 1 f(x) (x)= f(xk)+f(xk)T(x xk)+ 2 (xxk)T2f(xk)(xxk) 2f(xk)为f(x)在xk点处的海赛矩阵。 f 为求极值点，对上式求偏导数，并 x =0，得到 令 f(xk)+2f(xk)(x* xk) = 0 对于二次型函数，从理论上来说，牛顿法从任选初始 点一步就能收敛到最优点。但对于目标函数不是二次型， 或计算机截断误差的影响，往往需要多次迭代才能得到最 优点。牛顿法的迭代公式为： xk+1 = xk [2f(xk)]-1f(xk) (k=0, 1, 2, · · · )
k 1
gk g k 1
2 2
在迭代中第一次搜索方向 d0 取 x0 的负梯度方向-g0。
5 共轭梯度法
与梯度法相比，由于修正项kdk 改进了收敛性，使搜 索方向共轭，故能以较少的迭代次数收敛到最优点。 由于计算梯度时很可能出现误差，使搜索方向不能完 全保持共轭，同时目标函数也可能不是正定的二次函数， 因此n次迭代后一般都不会达到精确的极小点。可在每n次 迭代后令 d0 = dn = -gn 作为下一轮迭代的第一次搜索方向，重新开始新一轮迭代。 上述共轭梯度法又称 Fletcher-Reeves 共轭梯度法。而 PRP(Polak-Ribiere-Poiyak)共轭梯度法按下式计算k-1：
第八章 无约束多维问题的 最优化方法
1 概述 2 最速下降法
3 牛顿型Байду номын сангаас法
4 共轭方向及共轭方向法 5 共轭梯度法
6 变尺度法
7 坐标轮换法
8 鲍威尔法
9 单形替换法
1 概 述
无约束优化方法只考虑搜索的适行性，结合罚函数法， 也可解约束优化问题。目前，成熟可靠的优化算法中，无 约束优化方法占多数，总体上无约束优化方法的有效性及 实用性都优于约束优化方法。 无约束优化方法可分为两大类：1)不求导数的直接法， 主要有随机方法和直接搜索方法； 2)求导数的间接法，按 所求导数的最高阶数又可分为一阶方法和二阶方法。二阶 方法很少采用。 优化算法的一般搜索迭代公式 xk+1= xk+xk xk+1= xk+kdk 注意，在搜索迭代中，由于一维搜索需增加大量计算， 因此，并不是所有优化方法都采用一维搜索。
k 1
T g k g k 1 g k T gk 1 g k 1
5 共轭梯度法
共轭梯度法(Fletcher-Reeves)的算法
1)给定变量个数n，选取收敛精度和初始点x0，计算x0点 的梯度 g0，取第一次搜索方向d0 = -g0 ，令k = 0。 2)沿dk方向作一维搜索，得到 xk+1点，xk+1= xk+k dk 。 k k +1。 3)计算当前点的梯度 gk ，若迭代收敛准则 gk 成立， 则结束迭代，输出当前点作为最优点。否则，若k=n，dk= -gk，k0，转2)进行新一轮迭代。若k≠n，dk按下式计算: dk=-gk+k-1dk-1，其中
4 共轭方向及共轭方向法
共轭方向的性质
二次收敛性： 如 n=2，二次函数的等值线为一同心椭圆族，它的极 小点就是椭圆中心。该椭圆族有一重要性质，即两平行线 与椭圆的两个切点的连线必过椭圆族的中心，且连线与平 行线的方向是共轭的(见下图)。
x2
x1
4 共轭方向及共轭方向法
因此，从任一点出发，沿任意方向作一维搜索找到的 极小点就是椭圆的切点，再沿共轭方向作一维搜索找到的 极小点就是椭圆中心也就是目标函数的极小点。这说明， 对二维二次正定目标函数只要沿共轭方向作两次一维搜索 就可得到其极小点。 推广到n维，若采用共轭方向作为搜索方向，任何一个 具有极小值的n维二次正定目标函数，理论上最多只要n步 就能达到极小点且与所用搜索方向的次序无关。这种性质 称为“二次收敛性”，利用这种性质的优化方法称为二次 收敛方法。
5 共轭梯度法
因此,下一个搜索方向确定为
d k 1 gk 1 k d k gk 1 gk 1 gk
2 2
dk
同样 ,可以证明按上述公式确定的 dk+2 与 dk+1 为共轭方 向，依此类推而确定的 n个dk (k=0,1,2,…,n-1)方向为一组 关于G的共轭向量系。上述结论也可由数学归纳法证明。 最后，我们得到共轭梯度法的迭代公式为 x k+1 = x k+k dk 式中 dk = -gk+k-1 dk-1
5 共轭梯度法
因此
T gk 1Ggk k T g k Ggk
前面已推导出 gk+1 gk = k Gdk，即 gk+1 gk = -kGgk
或
Ggk g k 1 g k
k
代入上式得
T T T T gk Gg g g g g g g 1 k k 1 k 1 k k 1 k 1 k 1 g k k T T T T g k Ggk g k g k 1 g k g k g k 1 g k gk T T g k 1 gk gk 1 g k 1 0 1 g k 1 2 T T 0 gk gk gk gk gk 2
1
5 共轭梯度法
上式表明：从 xk 开始沿 dk 方向进行一维搜索，其终点 xk+1与始点xk 两点的梯度之差 gk+1 gk与dk 的共轭方向dk+1 正交。因此，利用这个性质，不必计算矩阵G 即可求出共 轭梯度法的共轭方向。
共轭梯度法的几何说明
dk+1 Xk+2
xk
xk+1
gk
dk gk+1 gk+1 gk
4 共轭方向及共轭方向法
共轭方向法
共轭方向是一大类方法，包括共轭梯度法，Powell法等。 其中一种产生共轭方向的方法为格拉姆－斯密特 (Gram－ Schmidt)法。 比较有效的共轭方向法都尽量避免计算海赛矩阵。
5 共轭梯度法
共轭梯度法的共轭方向
二次正定函数 f x x T Gx bT x c 在 xk 点的梯度为 2 k gk = Gx + b 前面已给出优化算法的搜索迭代公式： xk+1= xk+kdk 若进行一维搜索，k 则为最优步长因子。 xk 和xk+1 两点负梯度方向的差为 gk+1 gk = G(xk+1 xk) = G(xk+kdk xk)=k Gdk 若dk+1 和 dk 是G 共轭方向，则 (dk+1)TG dk = 0 用(dk+1)T前乘 (gk+1 gk)，有 (dk+1)T(gk+1 gk) = k(dk+1)TGdk = 0 即 dk+1与(gk+1 gk)正交。
3 牛顿型方法
为防止牛顿法收敛到极大点而不是极小点，可在迭代 过程中作一维搜索，形成改进的牛顿法—“阻尼牛顿法”。 牛顿法的最大缺点是需要计算海赛矩阵，并求其逆矩阵， 计算量很大。 例2 用牛顿法求 f(x1, x2) = x12+25x22 的极小点。
取 x0 = [2 2]T f(x0) = [2x10 50x20] T = [4
4 共轭方向及共轭方向法
共轭方向的概念
二次正定函数的一般形式为：
f x 1 T x Gx bT x c 2
式中，G为 nn 阶对称正定矩阵，b=[b1, b2, ,bn]T 为常矢 量，c为常数。