算法分析与设计基础

算法分析与设计基础（清华版）Taken from "Introduction to The Design and Analysis of Algorithms" by Anany Levitin节选自《算法设计与分析基础》潘彦译蛮力法就像宝剑不是撬棍一样，科学也很少使用蛮力。

——Edward Lytton (1830 - 1873)，leila，第二卷，第一章认真做事常常是浪费时间。

——Robert Byrne，撞球大师，台球选手和作家人们是这样描述它的：蛮力法是一种简单直接地解决问题的方法，常常直接基于问题的描述和所涉及的概念定义。

这里的“力”是指计算机的能“力”，而不是人的智“力”。

我们也可以用“直接做吧！”来描述蛮力法的策略。

而且一般来说，蛮力策略也常常是最容易应用的方法。

虽然巧妙和高效的算法很少来自于蛮力法，但我们不应该忽略它作为一种重要的算法设计策略的地位。

第一，和其他某些策略不同，我们可以应用蛮力法来解决广阔领域的各种问题（实际上，它可能是惟一一种几乎什么问题都能解决的一般性方法）。

具体来说，蛮力法常常用于一些非常基本、但又十分重要的算法，比如计算n个数字的和，求一个列表的最大元素，等等。

第二，对于一些重要的问题来说（比如：排序、查找、矩阵乘法和字符串匹配），蛮力法可以产生一些合理的算法，它们多少具备一些实用价值，而且并不限制实例的规模。

第三，如果要解决的问题实例不多，而且蛮力法可以用一直能够接受的速度对实例求解，那么，设计一个更高效算法所花费的代价很可能是不值得的。

第四，即使效率通常很低，仍然可以用蛮力算法解决一些小规模的问题实例。

最后，一个蛮力算法可以为研究或教学目的服务，例如，它可以作为准绳，来衡量同样问题的更高效算法。

下列这些著名的算法可以看作是蛮力法的例子：基于定义的矩阵乘法算法；选择排序；顺序查找；简单的字符串匹配算法。

穷举查找是解组合问题的一种蛮力方法。

它要求生成问题中的每一个组合对象，选出其中满足该问题约束的对象，然后找出一个期望的对象。

旅行商问题、背包问题和分配问题是典型的能够用穷举查找算法求解的问题，至少在理论上是这样的。

除了相关问题的一些规模非常小的实例，穷举查找法几乎是不实用的。

分治法无论人们在祈祷什么，他们总是在祈祷一个奇迹。

每一个祈祷都可以简化为：伟大的上帝呀，请让两个二相加不等于四吧。

——伊万·屠格涅夫（1818 －1883），俄国作家和短篇小说家分治法可能是最著名的通用算法设计技术了。

虽然它的名气可能和它那好记的名字有关，但它的确是当之无愧的：很多非常有效的算法实际上是这个通用算法的特殊实现。

其实，分治法是按照以下方案工作的：∙将问题的实例划分为同一个问题的几个较小的实例，最好拥有同样的规模。

∙对这些较小的实例求解（一般使用递归方法，但在问题规模足够小的时候，有时也会使用一些其他方法）。

∙如果必要的话，合并这些较小问题的解，以得到原始问题的解。

不是所有的分治算法都一定比简单蛮干更有效。

但是，通常我们向算法女神所做的祈祷都被应允了，因而，使用分治法往往比使用其他方法效率更高。

实际上，分治法孕育了计算机科学中许多最重要和最有效的算法。

虽然我们通常只考虑顺序算法，但要知道，分治法对于并行算法是非常理想的，因为各个子问题都可以由不同的CPU同时计算。

许多分治算法的时间效率T(n)满足方程T(n)=aT(n/b)+f(n)。

一些应用分治法的案例：合并排序是一种分治排序算法。

它把一个输入数组一分为二，并对它们递归排序，然后把这两个排好序的子数组合并为原数组的一个有序排列。

在任何情况下，这个算法的时间效率都是Θ(nlogn)，而且它的键值比较次数非常接近理论上的最小值。

它的主要缺点是需要相当大的额外存储空间。

快速排序是一种分治排序算法，它根据元素值和某些事先确定的元素的比较结果，来对输入元素进行分区。

快速排序十分有名，这不仅因为对于随机排列的数组，它是一种较为出众的nlogn效率算法，而且因为它的最差效率是平方级的。

折半查找是一种对有序数组进行查找O(logn)效率算法。

它是应用分治技术的一个非典型案例，因为在每次迭代中，它只需要解决两个问题的一个。

二叉树的经典遍历算法——前序、中序、后序和其他类似的算法都需要递归处理左右两棵子树，它们都可以当作是分治技术的例子。

用一些特定的外部顶点来替代给定树的空子树，有助于对这些算法进行分析。

有一种处理两个n位整数相乘的分治算法，大约需要做n(index:1.585)次一位数乘法。

Strassen算法只需要做7次乘法就能计算出两个2桔方阵的积，但比基于定义的算法要做更多次的加法。

利用分治技术，该算法计算两个n阶方阵的积，但比基于定义的算法要做更多次的加法。

利用分治技术，该算法计算两个n阶方阵的乘法时需要做n(index:2.807)次乘法。

分治技术可以成功地应用于两个重要的计算几何问题：最近对问题和凸包问题。

减治法普卢塔克说，萨特斯为了告诉他的士兵坚忍和智慧比蛮力更重要的道理，把两匹马带到他们面前，然后让两个人拔光马的尾毛。

一个人是魁梧的大力士，他用力地拔了又拔，但一点效果也没有；另一个人是一个精美的、长相矫捷的裁缝，他微笑着，每次拔掉一根毛，很快就把尾巴拔得光秃秃的。

——E. Cobham Brewer，《惯用语和寓言词典》，1898减治技术利用了一种关系：一个问题给定实例的解和同样问题较小实例的解之间的关系。

一旦建立了这样一种关系，我们既可以从顶至下（递归地），也可以从底至上（非递归地）地来运用。

减治法有3种主要的变种：∙减去一个常量；∙减去一个常数因子；∙减去的规模是可变的。

在减常量变种中，每次算法迭代总是从实例规模中减去一个规模相同的常量。

一般来说，这个常量等于一，但减二的情况偶尔也会发生，例如，有的算法会根据实例规模为奇数和偶数的不同情况，分别做不同的处理。

减常因子技术意味着在算法的每次迭代中，总是才实例的规模中减去一个相同的常数因子。

在大多数应用中，这样的常数因子等于二。

最后，在减治法的减可变规模变种中，算法在每次迭代时，规模减小的模式都是不同的。

计算最大公约数的欧几里德算法是这种情况的一个很好的例子。

回想一下，这个算法是基于这个公式的：gcd(m,n)=gcd(n,m mod n)虽然等号右边的那些参数总是小于等号左边的参数（至少从该算法的第二次迭代开始），但它们既不是以常数也不是以常数因子的方式减小的。

一些应用减治法的案例：插入排序是减（减一）治技术在排序问题上的直接应用。

无论在平均情况还是最差情况下，它都是一个Θ(n2)的算法，但在平均情况下的效率大约要比最差情况快两倍。

该算法一个较为出众的优势在于，对于几乎有序的数组，它的性能是很好的。

深度优先查找(DFS)和广度优先查找(BFS)是两种主要的图遍历算法。

通过把图表示成深度优先森林或者广度优先森林的形式，有助于对图的许多重要特性进行研究。

两种算法都有着相同的时间效率：对于邻接矩阵表示法来说是Θ(|V|2)；对于邻接链表表示法来说是Θ(|V|+|E|)。

一个有向图是一个对边指定了方向的图。

拓扑排序要求按照这种次序列出它的顶点，使得对∙变换为同样问题的一个更简单或者更方便的实例——我们称之为实例化简；∙变换为同样问题的不同表现——我们称之为改变表现。

∙变换为另一个问题的实例，这种问题的算法是已知的——我们称之为问题化简。

一些应用变治法的案例：堆是一棵基本完备二叉树，它的键都满足父母优势要求。

虽然定义为二叉树，但一般用数组来实现堆。

堆对于优先队列的高效实现来说尤为重要；同时，堆还是堆排序的基础。

堆排序在理论上是一种重要的排序算法，它的基本思路是，在排好堆中的数组元素后，再从剩余的堆中连续删除最大的元素。

无论在最差情况下还是在平均情况下，该算法的运行时间都属于Θ(nlogn)，而且，它还是在位的排序算法。

AVL树是一种在二叉树可能达到的广度上尽量平衡的二叉查找树。

平衡是由四种称为旋转的变换来维持的。

AVL树上的所有基本操作都属于Θ(logn)；它消除了经典二叉查找树在最差效率上的弊端。

2-3树是一种达到了完美平衡的查找树，它允许一个节点最多包含两个键和三个子女。

这个思想推而广之，会产生一种非常重要的B树。

高斯消去法是一种解线性方程组的算法，它是线性代数中的一种基本算法。

它通过把方程组变换为反向替换法求解。

高斯消去法大约需要1/3n3次乘法运算。

在无需对系数进行预处理的多项式求解算法中，霍纳法则是最优的。

它只需要n次乘法和n 次加法。

它还有一些有用的副产品，比如综合除法算法。

两种计算a(index:n)的二进制幂算法。

它们使用了指数n的二进制表示，但它们按照相反的方向对其进行处理：从左到右和从右到左。

线性规划关心的是最优化一个包含若干变量的线性函数，这个函数受到一些形式为线性等式和线性不等式的约束。

有一些高效的算法可以对这个问题的庞大实例求解，它们包含了成千上万的变量和约束，但不能要求变量必须是整数。

如果变量一定要是整数，我们称之为整数线性规划问题，这类问题的难度要高很多。

时空权衡最重要的事情永远不能受次要事情的支配。

——Johnn Wolfgang von Goethe (1749 - 1832)无论对于计算机理论工作者还是计算机实践工作者来说，算法设计中的时空权衡都是一个总所周知的问题。

作为一个例子，考虑一下在函数定义域的多个点上计算函数值的问题。

如果运算时间更为重要的话，我们可以事先把函数值计算好并将它们存储在一张表中。

这就是在电子计算机发明前，“人工计算机”所做的工作，那时的图书馆也被厚重的数学用表堆满了。

虽然随着电子计算机的广泛应用，这些数学用表失去了大部分的吸引力，但事实正面，在开发一些用于其他问题的重要算法时，它们的基本思想还是非常有用的。

按照一种更一般的表述，这个思想是对问题的部分或全部输入做预处理，然后对获得的额外信息进行存储，以加速后面问题的求解。

我们把这个方法称为输入增强。

其他采用空间换时间权衡思想的技术简单地使用额外空间来实现更快和（或）更方便的数据存取。

我们把这种方法称为预构造。

这个名字强调了这种空间换时间权衡技术的两个方面：所讨论问题在实际处理之前，已经做过某些处理了；但和输入增强技术不同，这个技术只涉及存取结构。

还有一种和空间换时间权衡思想相关的算法设计技术：动态规划。

这个策略的基础是把给定问题中重复子问题的解记录在表中，然后求得所讨论问题的解。

最后还要对算法设计中时间和空间的相互作用作两点说明：首先，并不是在所有的情况下，时间和空间这两种资源都必须相互竞争。

实际上，它们可以联合起来，使得一个算法无论在运行时间上还是消耗的空间上都达到最小化。

具体来说说，这种情况出现在一个算法使用了一种空间效率很高的数据结构来表示问题的输入，这种结构又反过来提高算法的时间效率。