第5章高级搜索

2．最优化问题的分类 最优化问题根据系统的结构性能和完成的任务各不相 同，通常可以按下述情况进行分类： (1) 单变量函数与多变量函数最优化问题 (2) 无约束与有约束最优化问题 (3) 确定性和随机性最优化问题 (4) 线性和非线性最优化问题 (5) 静态和动态最优化问题
3.计算复杂性问题 定义5-2（算法的计算复杂性） 给定任一问题S，可假设已找 到描述该问题例子的一个合理编码策略e，则对S的任一例子I， 称其依编码策略e所得的相应字符串描述中所含字符的个数为 其输入长度，并将该输入长度的具体数值作为例子I 的大小的 正式度量。 定义5-3 对某一问题S和任一可能的输入长度n，称用所给算法 求解S的所有大小为n的例子所需的时间的最大值为该算法在 输入长度为n时的复杂性。 复杂性函数O(*)可以将函数划分为不同的类，因此对如此定 义的同一类型的不同函数往往不加区分。对于定义于正整数 集上的两个正实值函数f(n)与g(n)，若存在两个常数c > c`> 0， 使得当n充分大时有c`g(n)≤f(n)≤cg(n)，则记f(n) =O(g(n))。
5.2.2 禁忌搜索的算法流程
(1) 给定算法参数，随机产生初始解x=x0，置禁忌表为空。 (2) 判断算法终止条件是否满足？若是，则结束算法并输出优化结果； 否则，继续以下步骤。 (3) 利用当前解x的邻域函数产生其所有（或若干）邻域解，计算领域内 各解的评价值，并从中确定若干候选解。 (4) 对候选解判断特赦准则是否满足？若成立，则用满足特赦准则的最 佳状态y替代x成为新的当前解，即x=y，并用与y对应的禁忌对象替换最 早进入禁忌表的禁忌对象，同时用y替换最优解，然后转步骤(2)；否则， 继续以下步骤。 (5) 判断候选解对应的各对象的禁忌属性，选择候选解集中非禁忌对象 对应的最佳状态为新的当前解，同时用与之对应的禁忌对象替换最早进 入禁忌表的禁忌对象元素。转步骤(2)。
5.2.3 禁忌搜索算法的收敛性
为了讨论算法的收敛性，我们首先对邻域结构作如下假设： (1) 邻域结构是对称的，即对于任意x, x`X， xN(x`)↔x`N(x)。 (2) 图GN是强连通的，即对于任意x, x`X，一定存在一条由 到x的路径x`。 定理5-1 假设X为有限空间，且对邻域结构的两个假设成立， 则禁忌搜索算法必然收敛且找到最优解。
在计算机科学中存在这样一个一般的约定：仅当算法 的时间复杂性函数随问题例子输入长度n的增加而以n 为变量的多项式的规模增长时，才认为这个算法是实 用的、有效的。按照这种观点，则可以将算法分为两 大类，即多项式时间算法和指数型时间算法。
(1) 多项式时间算法：是指存在某个以输入长度n为变 量的多项式函数p(n),使其时间复杂性函数为O(p(n))的 算法。
最优化问题求解方法的基本结构为： (1) 给定初始点x0， ① 确定搜索方向dk，即依照一定规则，构造f在xk点处的 下降方向作为搜索方向。 ② 确定步长因子αk，使目标函数值有某种意义的下降 ③ 令xk+1 = xk + αkdk (2) 若xk+1满足某种终止条件，则停止迭代，得到近似最 优解xk+1。否则，重复以上步骤。
(2) 指数时间算法：是指任何其时间复杂性函数不可能 如上用多项式函数去界定的算法。
5.1.2 最优化问题的求解
1.最优化问题求解的基本思想
基本思想：给定解空间中的一个初始点x0 Rn ，按照某一迭
代规则产生一个点序列{xk}，使得当{xk}是有穷点列时，其最 后一个点是最优化模型问题的最优解。
一个好的算法应该具备的典型特征为：迭代点xk能稳定地接近 局部极小点x*的邻域，然后迅速收敛于x*。当给定的某种收 敛准则满足时，迭代即终止。
目标函数为 J=f(x)
(5-1)
约束条件为 ci(x)=0, i=1, …, m`
(5-2)
ci(x)≥0, i= m`+1, …, m
(5-3)
求使目标函数J为最小或最大的x值。
其中，x=(x1, x2, …, xn)∈Rn，即x为n维向量；式(5-2)称为 等式约束，式(5-3)称为不等式约束。x的取值范围叫做问 题的可行域D，其中的x叫做可行解。
第5章 高级搜索
5.1 最优化问题 5.2 禁忌搜索 5.3 遗传算法 5.4 模拟退火算法 5.5 人工神经网络 5.6 其他高级搜索算法
5.1 最优化问题
5.1.1 最优化问题的概念 5.1.2 最优化问题的求解
5.1.1 最优化问题的概念
1.最优化问题的定义
定义5-1 最优化问题的一般形式是：
(2) 直接法（数值解法）。基本思想，就是用直接搜索方法经 过一系列的迭代以产生点的序列，使之逐步接近到最优点。
(3) 以解析法为基础的数值解法。它是以梯度法为基础的一种 直接法，它是一种解析与数值计算相结合的方法。
5.2 禁忌搜索
5.2.1 禁忌搜索的基本思想 5.2.2 禁忌搜索的算法流程 5.2.3 禁忌搜索算法的收敛性 5.2.4 禁忌搜索的特点
2.最优化问题的求解方法
最优化问题的数学模型建立后，主要问题是如何通过不同的 求解方法解决寻优问题。一般而言，最优化问题的求解方法 大致可分成以下几类：
(1) 间接法（解析法）。间接法是先按照函数极值的必要条件， 用数学分析方法（求导或变分法）求出其解析解，然后按照 充分条件或问题的实际物理意义间接地确定最优解。
5.2.1 禁忌搜索的基本思想
禁忌搜索的特点是采用禁忌技术，所谓禁忌就是禁止 重复前面的工作。为回避搜索陷入局部最优，禁忌搜索用 一个禁忌表记录下已经到达过的局部最优点。在进一步的 迭代搜索中，利用禁忌表中的信息不再搜索这些点或者有 选择地搜索这些点，以此来跳出局部最优点。
禁忌搜索涉及到邻域、禁忌表、禁忌长度、候 选解、特赦准则等概念。 1.领域 2. 禁忌表、禁忌对象和禁忌长度 3. 候选解集 4. 评价函数 5. 特赦准则 6. 终止规则
给定算法参数，随机产生初始解，置禁忌表为空
终止准则 满足否？
Y 结束搜索，输出最优结果
N 由当前解产生领域解，确定候选解
特赦准则 满足否？
N 候选解禁忌属性判断
Hale Waihona Puke Y将满足特赦准则的解作为当前 解，其对应的对象替换最早进入
禁忌表的对象，更新最优状态
将为禁忌对象对应的最佳解 作为当前解，并用该对象替 换最早进入禁忌表的对象