第8章 无约束问题最优化方法

8． 2． 1 探 测 移 动
这种 移 动是 在 某 个已 知 点附 近 ,沿 坐 标轴 e i 方 向进 行 探 测, 其 目的 是 获得 一 个 更小 值 的点 ． 取初 始 点 x (1) ,探测 移 动的 具 体过 程如 下: 记 t 1 (1) = x (1) ,先 在 坐标 方 向 e 1 上 作 探测 ， α 是固 定 步 长， 设 如 果 f (t1(1) + αe1 ) < f (t1(1) ) ,则 沿 e 1 方向 探 测成 功 ,置 t 2(1) = t1(1) + αe1 ；否 则 探 测失 败 ,考 虑 相反 的 方 向 ． 如 果 f (t1(1) − αe1 ) < f (t1(1) ) ,则 沿 − e1 ( 方 向探 测 成功 ,置 t 21) = t1(1) − αe1 ； 否 则探 测 失败 ,置 t 2 (1) = t 1 (1) ． ( 再 沿 e 2 方 向 进 行 探 测 ， 如 果 f (t 21) + αe2 ) < f (t 2(1) ) ， 则 置
二、算法步骤 设 ei 为 第 i 个 坐 标 轴 的 单 位 向 量 ， 即
0 M 0 ei = 1 0 M 0
— 第 i 行 ( i = 1, 2 , L , n )
1． 给 定 初 始 点 x (1) = ( c1 , c2 ,L , cn )T ， 其 中 c1 , c 2 , L , c n 为 常 数 ． 2． 从 x (1 ) 出 发 ， 先 沿 第 一 个 坐 标 轴 方 向 e 1 进 行 一 维 搜 索 ， 求 出 最 优 步 长 λ1 ， 得 新 点 x (2 ) ， 即
8.3 可变单纯形法
可变单纯形法的基本思想是， 给定 R n 中的一个单纯 形， 求出 n+1 个顶点的函数值,并确定这些函数值中的 最大值、次大值和最小值，然后通过反射、扩张、内 缩 、 缩 边 等 方 法（ 几 种 方 法 不 一 定 同 时 使 用） 求 出 一 个较好点，用它取代最大值的点，以构成新的单纯形， 通 过 多 次 迭 代 逼近 极 小 点 ， 迭 代 过 程 中 逐 渐地 把 单 纯 形向最优点移动．
一、基本原理 变量轮换法是多 变量函数寻优方 法中原理最简单 的一个， 它把多变量函数的优化问题转化为一系列单变量函数的优化 问题来解．其基 本思路是： 该方法认为有利 的搜索方向是各 坐标轴方向，因此 它轮流 按各坐标轴方向 搜索最优点．从 某一给定点出发 ，按第 i 个 坐标轴 x i 的方向搜索时，在 n 个 变量中，只有单变量 x i 在变 化，其余 n－1 个变量都取给定点 的坐标值保持不 变．这样依 次从 x 1 到 x n 作了 n 次单变量的一维 搜索，完成了变量 轮换法 的一次迭代，如果所得到的新点尚未满足给定精度的要求， 则以新点为出发点进行新一轮的迭代，这个过程可以重复下 去直到所得到的 新点满足给定的 精度为止．
这里的 单纯 形指 的是 n 维欧 氏空 间 R n 中具有 n+1 个顶 点的凸 多面 体 ．例如 ，一 维空 间 的线段 、二维 空 间的三 角 形、三 维空 间的 四面体 等， 均为 相应空 间的 单纯 形．
考虑无 约束最小 化问题 ：
min f ( x) , x ∈ R n
设 x(1) , x(2) ,L , x ( n +1) 是构成单纯形 的 R n 中的 n+1 个顶 点，并 定义这 些顶点 中的最大 值点 x ( H ) ， 次大值点 x (G ) 和最 小值 点 x ( L ) 为分别满足 以下条件的点：
8．1．3 计算举例
例 8-1 用变量轮换法求 解
2 2 min f ( x ) = 3 x12 + 2 x2 + x3 ，
（1） 已知初始点 x = (1,
2, 3)T ，当 x ( n +1) − x (1) < 0.01 时停止
迭代．
8.2
模式搜索方法
模式搜索方法( Pattern Search Method )是 R.Hooke 和 T.A.Jeeves 于 1961 年提出的,因此也称为 Hook-Jeeves 方法, 此方法有明显的几何意义,为介绍这种方 法,从求一 个二元函 数的极小点谈起．这相当于寻找某个曲面的最低点,或者形象 地说,相当于 从一 座山岭 的某 处出 发,设法走到附近 某一盆地 的最低点,怎样才 能尽快 达到 这一 目标呢?很显然, 如果能找 到一条山谷,沿山谷行进是最好的方法． 模式搜索方法就是根据上述思想设计的．它由两部分组成, 包括探测移动和模式移动． 利用这种算法建立的迭代点移动 不需要使用一维搜索技巧．
( ) 如 果 f ( t n k 1 ) < f ( t ( k ) ) ,则 作 模 式 移 动 ,即 令 +
( ) t ( k +1) = t n k 1 , +
t
如果
( k + 1) 1
=t
( k + 1)
+ (t
( k + 1)
−t
(k )
(8-5)
)
置 k = k+1， 重 复 上 述 计 算 ,
f ( x (3) ) = f ( x (2) + λ2 e2 ) = min f ( x (2) + λ e2 ) λ (3) (2) x = x + λ2 e2
(8-2)
就这样依次沿各 坐标轴方向进行 一维搜索，直到 n 个坐标轴 方向全部搜索一 遍，最后可得到 点 x (n+1) ：
( ) f (t n k 1 ) ≥ f (t ( k ) ) ， +
(8-6)
分两种情况讨论： (1) 若 t 1 (k ) ≠ x
(k)
, 则 t 1 (k ) 是 由 上 一 次 的 模 式 移 动 得 到 的 , 而
（ 8.2.3） 表 明 该 模 式 移 动 使 目 标 函 数 值 上 升 ,即 模 式 移 动 失 败 ,应 将 式 t 1 (k ) 退 回 到 x ( k ) 处 ,即 令 t 1 ( k ) = x (k ) ,重 复 上 述 计 算 ． (2) 若 t 1 (k ) = x (k ) ,这 说 明 上 次 的 模 式 移 动 失 败 且 在 t 1 ( k ) 周 围 的 探 测 移 动 全 部 失 败 ． 这 是 由 于 步 长 α 过 大 的 原 因 引 起 的 ,应 减 少 步 长 ,再 重 复上述计算．
8.1
变量轮换法
在求解无约束非线性规划问题时， 果遇到问题的目标函数不可导 如 或导函数的解析式难以表示时，人们一般需要使用直接搜索方法．同 时，由于这些方法一般都比较直观和易于理解，因而在实际应用中常 为 人 们 所 采 用 ．变 量 轮 换 法 又 叫 坐 标 轮 换 法 (Cyclic Coordinate Method) 就 是 一 种 最 简 单 的 直 接 搜 索 方 法 , 也 称 为 交 替 方 向 法 (Alternating Directions Method)．
t ( k +1) = tn +1 t1 = t ( k +1) + (t ( k +1) − t ( k ) ),
令 k = k+1,转 第 2 步 ． 4． 若 t1 ≠ t ( k ) ,则 令 t1 = t ( k ) ,转 步 骤 2. 5． 若 α < ε ,则 停 止 计 算 ； 否 则 令 α = α /2,转 步 骤 2．
( ( ( ( ( ( t 31) = t 21) + αe2 ； 否 则 若 f (t 21) − αe2 ) < f (t 21) ) ,则 置 t 31) = t 21) − αe 2 ； 否 则
置 t 3 (1) = t 2 (1) ． 重复 以 上过 程 ， 最后 得 到 t n(1+)1 ．
8．2．2 模式移动
在探测 移动后,若 动，即令
(1) f (tn +1 ) < f ( x (1) ) ,则作模 式移
x t
(2)
=t ,
(1) n +(2)
(2) 1
=x
+ (x
(2)
−x )
(1)
（8-4）
8． 2． 3
算法的基本思想
算法的基本思想是将探测移动和模式移动有机的结合在一起． 已 设 得 到 x ( k ) 和 t 1 (k ) , 从 t 1 ( k) 出 发 , 沿 各 个 坐 标 轴 作 探 测 移 动 得 到 t 2 ( k ) , t 3 (k ) ,… , t n +1 (k ) ．
f ( x ( 2) ) = f ( x (1) + λ1e1 ) = min f ( x (1) + λ e1 ) λ ( 2) (1) x = x + λ1e1
(8-1)
其中， f ( x (1) + λ e1 ) 是步长 λ 的一 维函数， f ( x (1) + λ e1 ) 的极小点 λ1 就 是 e1 方向上的最优 步长．上式表明：从 x (1) 出发，沿 e 1 进行一 维搜索，最优步长 为 λ1 ，可求得新点 x (2) ．显然新点 x (2) 与 x (1) 相比，只有 x 1 的坐标值不同． 类似地，以 x (2) 为出发点，沿第二 个坐标轴方向 e 2 进行一 维搜索，求出最 优步长 λ2 ，得新点 x (3) ：
8．2．4
算法终止准则：
当步长 α 充分小,就认 为 x (k) 在极 小点附近 了,终止 计算．因此终止准则为
α <ε
其中 ε 是预先给定的精度．
(8-7)
8． 2． 5