20世纪十大算法

20世纪十大算法

本世纪初，美国物理学会(American Institute of Physics)和IEEE计算机社团(IEEE Computer Society)的一本联合刊物《科学与工程中的计算》发表了由田纳西大学的Jack Dongarra和橡树岭国家实验室的Francis Sullivan联名撰写的“世纪十大算法”一文，该

文“试图整理出在20世纪对科学和工程领域的发展产生最大影响力的十大算法”。作者苦于“任何选择都将是充满争议的，因为实在是没有最好的算法”，他们只好用编年顺序依次列出了这十项算法领域人类智慧的巅峰之作——给出了一份没有排名的算法排行榜。有趣的是，该期杂志还专门邀请了这些算法相关领域的“大拿”为这十大算法撰写十篇综述文章，实在是蔚为壮观。本文的目的，便是要带领读者走马观花，一同回顾当年这一算法界的盛举。1946蒙特卡洛方法

在广场上画一个边长一米的正方形，在正方形内部随意用粉笔画一个不规则的形状，呃，能帮我算算这个不规则图形的面积么？蒙特卡洛(Monte Carlo)方法便是解决这个问题的巧妙方法:随机向该正方形内扔N（N是一个很大的自然数）个黄豆，随后数数有多少个黄豆在这个不规则几何形状内部，比如说有M个:那么，这个奇怪形状的面积便近似于M/N，N越大，算出来的值便越精确。别小看这个数黄豆的笨办法，大到国家的民意测验，小到中子的移动轨迹，从金融市场的风险分析，到军事演习的沙盘推演，蒙特卡洛方法无处不在背后发挥着它的神奇威力。

蒙特卡洛方法由美国拉斯阿莫斯国家实验室的三位科学家John von Neumann（看清楚了，这位可是冯诺伊曼同志！）,Stan Ulam和Nick Metropolis共同发明。就其本质而言，蒙特卡洛方法是用类似于物理实验的近似方法求解问题，它的魔力在于，对于那些规模极大的问题，求解难度随着问题的维数（自变量个数）的增加呈指数级别增长，出现所谓的“维数的灾难”（Course of Dimensionality）。对此，传统方法无能为力，而蒙特卡洛方法却可以独辟蹊径，基于随机仿真的过程给出近似的结果。

最后八卦一下，Monte Carlo这个名字是怎么来的？它是摩纳哥的一座以博彩业闻名的城市，赌博其实是门概率的高深学问，不是么？

1947单纯形法

单纯形法是由大名鼎鼎的“预测未来”的兰德公司的Grorge Dantzig发明的，它成为线性规划学科的重要基石。所谓线性规划，简单的说，就是给定一组线性（所有变量都是一次幂）约束条件（例如a1*x1+b1*x2+c1*x3>0)，求一个给定的目标函数的极值。这么说似乎也太太太抽象了，但在现实中能派上用场的例子可不罕见——比如对于一个公司而言，其能够投入生产的人力物力有限（“线性约束条件”），而公司的目标是利润最大化（“目标函数取

最大值”），看，线性规划并不抽象吧！线性规划作为运筹学(operation research)的一部分，成为管理科学领域的一种重要工具。而Dantzig提出的单纯形法便是求解类似线性规划问题的一个极其有效的方法，说来惭愧，本科二年级的时候笔者也学过一学期的运筹学，现在脑子里能想起的居然只剩下单纯形法了——不过这不也正说明了该方法的简单和直观么？

顺便说句题外话，写过《万历十五年》的黄仁宇曾说中国的传统是“不能从数目字上管理”，我们习惯于“拍脑袋”，而不是基于严格的数据做决定，也许改变这一传统的方法之一就是全民动员学习线性规划喔。

1950Krylov子空间迭代法

1951矩阵计算的分解方法

50年代初的这两个算法都是关于线性代数中的矩阵计算的，看到数学就头大的读者恐怕看到

算法的名字已经开始皱眉毛了。Krylov子空间叠代法是用来求解形如Ax=b的方程，A是一个n*n的矩阵，当n充分大时，直接计算变得非常困难，而Krylov方法则巧妙地将其变为

Kxi+1=Kxi+b-Axi的迭代形式来求解。这里的K(来源于作者俄国人Nikolai Krylov姓氏的首字母)是一个构造出来的接近于A的矩阵，而迭代形式的算法的妙处在于，它将复杂问题化简为阶段性的易于计算的子步骤。

1951年由橡树岭国家实验室的AlstonHouseholder提出的矩阵计算的分解方法，则证明了任何矩阵都可以分解为三角、对角、正交和其他特殊形式的矩阵，该算法的意义使得开发灵活的矩阵计算软件包成为可能。

1957优化的Fortran编译器

说实话，在这份学术气息无比浓郁的榜单里突然冒出一个编译器(Compiler)如此工程化的东东实在让人有“关公战秦琼”的感觉。不过换个角度想想，Fortran这一门几乎为科学计算

度身定制的编程语言对于科学家（尤其是数学家，物理学家）们实在是太重要了，简直是他们形影不离的一把瑞士军刀，这也难怪他们纷纷抢着要把票投给了它。要知道，Fortran是第一种能将数学公式转化为计算机程序的高级语言，它的诞生使得科学家们真正开始利用计算机作为计算工具为他们的研究服务，这是计算机应用技术的一个里程碑级别的贡献。

话说回来，当年这帮开发Fortran的家伙真是天才——只用23500行汇编指令就完成了一个Fortran编译器，而且其效率之高令人叹为观止:当年在IBM主持这一项目的负责人JohnBackus在数十年后，回首这段往事的时候也感慨，说它生成代码的效率“出乎了所有开发者的想象”。看来作为程序员，自己写的程序跑起来“出乎自己的想象”，有时候还真不

一定是件坏事！

1959-61计算矩阵特征值的QR算法

呼，又是一个和线性代数有关的算法，学过线性代数的应该还记得“矩阵的特征值”吧？计算特征值是矩阵计算的最核心内容之一，传统的求解方案涉及到高次方程求根，当问题规模大的时候十分困难。QR算法把矩阵分解成一个正交矩阵（什么是正交矩阵？！还是赶紧去翻书吧！）与一个上三角矩阵的积，和前面提到的Krylov方法类似，这又是一个迭代算法，它把复杂的高次方程求根问题化简为阶段性的易于计算的子步骤，使得用计算机求解大规模矩阵特征值成为可能。这个算法的作者是来自英国伦敦的J.G.F.Francis。

1962快速排序算法

不少读者恐怕和我一样,看到“快速排序算法”（Quick Sort）这个条目时,心里的感觉是——“这可总算找到组织了”。相比于其他一些对程序员而言高深莫测的数学物理公式,快速

排序算法真是我们朝夕相处的好伙伴——老板让你写个排序算法,如果你写出来的不是快速排序,你都不好意思跟同事打招呼。其实根本不用自己动手实现,不论是ANSI C,C++STL,还是Java SDK,天下几乎所有的SDK里都能找到它的某种实现版本。

快速排序算法最早由Tony Hoare爵士设计，它的基本思想是将待排序列分为两半，左边的一半总是“小的”，右边的一半总是“大的”，这一过程不断递归持续下去，直到整个序列有

序。说起这位Tony Hoare爵士，快速排序算法其实只是他不经意间的小小发现而已，他对于计算机贡献主要包括形式化方法理论，以及ALGOL60编程语言的发明等，他也因这些成就获得1980年图灵奖。

快速排序的平均时间复杂度仅仅为O(Nlog(N))，相比于普通选择排序和冒泡排序等而言，实

在是历史性的创举。

1965快速傅立叶变换

如果要评选对我们的日常生活影响最大的算法，快速傅立叶变换算法应该是当仁不让的总冠军——每天当拿起话筒，打开手机，听mp3，看DVD，用DC拍照——毫不夸张的说，哪里有数字信号处理，哪里就有快速傅立叶变换。快速傅立叶算法是离散傅立叶算法（这可是数字信号处理的基石）的一种快速算法，它有IBM华生研究院的James Cooley和普林斯顿大学的John Tukey共同提出，其时间复杂度仅为O(Nlog(N))；比时间效率更为重要的是，快速傅立叶算法非常容易用硬件实现，因此它在电子技术领域得到极其广泛的应用。

1977整数关系探测算法

整数关系探测是个古老的问题，其历史甚至可以追溯到欧几里德的时代。具体的说:

给定—组实数X1,X2,...,Xn，是否存在不全为零的整数a1,a2,...an，使得:a1x1+a2x 2+...+a n x n＝0这一年BrighamYoung大学的Helaman Ferguson和Rodney Forcade解决了这一问题。至于这个算法的意义嘛，呃，该算法应用于“简化量子场论中的Feynman图的计算”——太深奥的学问拉！

1987快速多极算法

日历翻到了1987年，这一年的算法似乎更加玄奥了，耶鲁大学的Leslie Greengard和Vladimir Rokhlin提出的快速多极算法用来计算“经由引力或静电力相互作用的N个粒子运动的精确计算——例如银河系中的星体，或者蛋白质中的原子间的相互作用”，天哪，不是我不明白，这世界真是变得快！

所谓浪花淘尽英雄，这些算法的发明者许多已经驾鹤西去。二十一世纪的头五年也已经在不知不觉中从我们指尖滑过，不知下一次十大算法评选的盛事何时再有，也许我们那时已经垂垂老去，也许我们早已不在人世，只是心中唯一的希望——里面该有个中国人的名字吧！--

如欲平治天下，当今之世，舍我其谁！！！

[转帖]二十世纪十大算法

2008-10-1211:03

二十世纪七大算法：

1946年蒙特卡洛方法；

1951年矩阵计算的分解方法；

1959~1961年计算矩阵特征值的QR算法；

1962年快速排序算法；

1965年快速傅利叶变换算法；

1977年整数关系探测算法；

1987年快速多极算法。

下面是二十世纪最好的十大算法：

20世纪最好的算法，计算机时代的挑选标准是对科学和工程的研究和实践影响最大。下面就是按年代次序排列的20世纪最好的10个算法。

1.Monte Carlo方法

1946年，在洛斯阿拉莫斯科学实验室工作的John von Neumann，Stan Ulam和Nick Metropolis编制了Metropolis算法，也称为Monte Carlo方法。Metropolis算法旨在通过模仿随机过程，来得到具有难以控制的大量的自由度的数值问题和具有阶乘规模的组合问题的近似解法。数字计算机是确定性问题的计算的强有力工具，但是对于随机性（不确定性）问题如何当时并不知晓，Metropolis算法可以说是最早的用来生成随机数，解决不确定性问题的算法之一。

2.线性规划的单纯形方法

1947年，兰德公司的Grorge Dantzig创造了线性规划的单纯形方法。就其广泛的应用而言，Dantzig算法一直是最成功的算法之一。线性规划对于那些要想在经济上站住脚，同时又有赖于是否具有在预算和其他约束条件下达到最优化的能力的工业界，有着决定性的影响(当然，工业中的“实际”问题往往是非线性的；使用线性规划有时候是由于估计的预算，从而简化了模型而促成的)。单纯形法是一种能达到最优解的精细的方法。尽管理论上讲其效果是指数衰减的，但在实践中该算法是高度有效的——它本身说明了有关计算的本质的一些有趣的事情。

3.Krylov子空间叠代法

1950年，来自美国国家标准局的数值分析研究所的Magnus Hestenes,Eduard Stiefel和Cornelius Lanczos开创了Krylov子空间叠代法的研制。这些算法处理看似简单的求解形为Ax=b的方程的问题。当然隐藏的困难在于A是一个巨型的n*n 矩阵，致使代数解x=b/A是不容易计算的(确实，矩阵的“相除”不是一个实际上有用的概念)。叠代法——诸如求解形为Kx(k+1)=Kx(k)+b-Ax(k)的方程，其中K是一个理想地“接近”A的较为简单的矩阵——导致了Krylov子空间的研究。以俄罗斯数学家Nikolai Krylov命名的Krylov子空间由作用在初始“余量”向量

r(0)=b-Ax(0)上的矩阵幂张成的。当A是对称矩阵时，Lanczos找到了一种生成这种子空间的正交基的极好的方法。对于对称正定的方程组，Hestenes和Stiefel 提出了称为共轭梯度法的甚至更妙的方法。过去的50年中，许多研究人员改进并扩展了这些算法。当前的一套方法包括非对称方程组的求解技巧，像字首缩拼词为GMRES和Bi-CGSTAB那样的算法。(GMRES和Bi-CGSTAB分别首次出现于1986和1992 SIAM journal on Scientific and Statistical computing(美国工业与应用数学学会的科学和统计计算杂志)。

4.矩阵计算的分解方法

1951年，橡树岭国家实验室的A1ston Householder系统阐述了矩阵计算的分解方法。研究证明能把矩阵因子分解为三角、对角、正交和其他特殊形式的矩阵是极其有用的。这种分解方法使软件研究人员能生产出灵活有效的矩阵软件包。这也促进了数值线性代数中反复出现的大问题之一的舍入误差分析问题。(1961年伦敦国家物理实验室的James Wilkinson基于把矩阵分解为下和上三角矩阵因子的积的LU

分解，在美国计算机协会(ACM)的杂志上发表了一篇题为“矩阵逆的直接方法的误差分析”的重要文章。)

5.Fortran最优编译程序

1957年，John Backus在IBM领导一个小组研制Fortran最优编译程序。Fortran 的创造可能是计算机编程历史上独一无二的最重要的事件：科学家(和其他人)终于可以无需依靠像地狱那样可怕的机器代码，就可告诉计算机他们想要做什么。虽然现代编译程序的标准并不过分――Fortran I只包含23，500条汇编语言指令――早期的编译程序仍然能完成令人吃惊的复杂计算。就像Backus本人在1998年在IEEE annals of the History of computing发表的有关Fortran I，II,III的近代历史的文章中回忆道：编译程序“所产生的如此有效的代码，使得其输出令研究它的编程人员都感到吓了一跳。”

6.矩阵本征值计算的QR算法

1959—61年，伦敦Ferranti Ltd.的J.G.F.Francis找到了一种称为QR算法的计算本征值的稳定的方法。本征值大概是和矩阵相连在—起的最重要的数了，而且计算它们可能是最需要技巧的。把—个方阵变换为一个“几乎是”上三角的矩阵――意即在紧挨着矩阵主对角线下面的一斜列上可能有非零元素――是相对容易的，但要想不产生大量的误差就把这些非零元素消去，就不是平凡的事了。QR算法正好是能达到这一目的的方法，基于QR分解，A可以写成正交矩阵Q和一个三角矩阵R的乘积，这种方法叠代地把A=Q(k)R(k)变成A(k+1)==Q(k)R(k)就加速收敛到上三角矩阵而言多少有点不能指望。20世纪60年代中期QR算法把一度难以对付的本征值问题变成了例行程序的计算。

7.快速分类法

1962：伦敦Elliott Brothers,Ltd.的Tony Hoare提出了快速(按大小)分类法.把n个事物按数或字母的次序排列起来，在心智上是不会有什么触动的单调平凡的事。智力的挑战在于发明一种快速完成排序的方法。Hoare的算法利用了古老的分割开和控制的递归策略来解决问题：挑一个元素作为“主元”、把其余的元素分成“大的”和“小的”两堆(当和主元比较时)、再在每一堆中重复这一过程。尽管可能要做受到严厉责备的做完全部N(N-1)/2次的比较(特别是，如果你把主元作为早已按大小分类好的表列的第一个元素的话！)，快速分类法运行的平均次数具有

O(Nlog(N))的有效性，其优美的简洁性使之成为计算复杂性的著名的例子。

8.快速Fourier变换

1965年，IBM的T.J.Watson研究中心的James Cooley以及普林斯顿大学和AT＆T贝尔实验室的John Tukey向公众透露了快速Fourier变换(方法)(FFT)。应用数学中意义最深远的算法，无疑是使信号处理实现突破性进展的FFT。其基本思想要追溯到Gauss(他需要计算小行星的轨道)，但是Cooley—Tukey的论文弄清楚了Fourier变换计算起来有多容易。就像快速分类法一样，FFT有赖于用分割开和控制的策略，把表面上令人讨厌的O(N*N)降到令人满意的O(Nlog(N))。但是不像快速分类法，其执行(初一看)是非直观的而且不那么直接。其本身就给计算机科学一种推动力去研究计算问题和算法的固有复杂性。

9.整数关系侦查算法

1977年，BrighamYoung大学的Helaman Ferguson和Rodney Forcade提出了整数关系侦查算法。这是一个古老的问题：给定—组实数，例如说x(1),x(2),…,x(n)，是否存在整数a(1),a(2),..,a(n)（不全为零），使得

a(1)x(1)+a(2)x(2)+…+a(n)x(n)=0

对于n=2，历史悠久的欧几里得算法能做这项工作、计算x(1)/x(2)的连分数展开中的各项。如果x(1)/x(2)是有理数，展开会终止，在适当展开后就给出了“最小的”整数a(1)和a(2)。欧几里得算法不终止——或者如果你只是简单地由于厌倦计算——那么展开的过程至少提供了最小整数关系的大小的下界。Ferguson和Forcade的推广更有威力，尽管这种推广更难于执行(和理解)。例如，他们的侦查算法被用来求得逻辑斯谛(logistic)映射的第三和第四个分歧点，b(3)=3.544090和b(4)=3.564407所满足的多项式的精确系数。(后者是120阶的多项式；它的最大的系数是257^30。)已证明该算法在简化量子场论中的Feynman图的计算中是有用的。

10.快速多极算法

1987年，耶鲁大学的Leslie Greengard和Vladimir Rokhlin发明了快速多极算法。该算法克服了N体模拟中最令人头疼的困难之一：经由引力或静电力相互作用的N 个粒子运动的精确计算(想象一下银河系中的星体，或者蛋白质中的原于)看来需要O(N*N)的计算量——比较每一对质点需要一次计算。该算法利用多极展开(净电荷或质量、偶极矩、四矩，等等)来近似遥远的一组质点对当地一组质点的影响。空间的层次分解用来确定当距离增大时，比以往任何时候都更大的质点组。快速多极算法的一个明显优点是具有严格的误差估计，这是许多算法所缺少的性质。

三、结束语

2l世纪将会带来什么样的新的洞察和算法？对于又一个一百年完整的回答显然是

不知道的。然而，有一点似乎是肯定的。正如20世纪能够产生最好的l0个算法一样，新世纪对我们来说既不会是很宁静的，也不会是弱智的。

By Barry A.Cipra

Algos is the Greek word for pain.Algor is Latin,to be cold.Neither is

the root for algorithm,which stems instead from al-

Khwarizmi,the name of the ninth-century Arab scholar whose book al-jabr wa’l muqabalah devolved into today’s high school

algebra textbooks.Al-Khwarizmi stressed the importance of methodical procedures for solving problems.Were he around today,

he’d no doubt be impressed by the advances in his eponymous approach. Some of the very best algorithms of the computer age are highlighted

in the January/February2000issue of Computing in Science& Engineering,a joint publication of the American Institute of Physics

and the IEEE Computer Society.Guest editors Jack Don-garra of the University of Tennessee and Oak Ridge National Laboratory and Fran-cis Sullivan of the Center for Comput-ing Sciences at the Institute for Defense Analyses put togeth-er a list they call the“Top Ten Algorithms

of the Century.”

“We tried to assemble the10al-gorithms with the greatest influence on the development and practice of science and engineering in the20th century,”Dongarra and Sullivan write.As with any top-10list,their selections—and non-selections—are bound to be controversial,they acknowledge.When it comes to picking the algorithmic best,there seems to be no best algorithm.

Without further ado,here’s the CiSE top-10list,in chronological

order.(Dates and names associated with the algorithms should be read as first-order approximations.Most algorithms take shape over time,

with many contributors.)

1.

1946:John von Neumann,Stan Ulam,and Nick Metropolis,all at the Los Alamos Scientific Laboratory,cook up the Metropolis

algorithm,also known as the Monte Carlo method.

The Metropolis algorithm aims to obtain approximate solutions to numerical problems with unmanageably many degrees of freedom

and to combinatorial problems of factorial size,by mimicking a random process.Given the digital computer’s reputation for

deterministic calculation,it’s fitting that one of its earliest

applications was the generation of random numbers.

2.

1947:George Dantzig,at the RAND Corporation,creates the simplex method for linear programming.

In terms of widespread application,Dantzig’s algorithm is one of the most successful of all time:Linear

programming dominates the world of industry,where economic survival depends on the ability to optimize

within budgetary and other constraints.(Of course,the“real”problems of industry are often nonlinear;the use

of linear programming is sometimes dictated by the computational budget.)The simplex method is an elegant

way of arriving at optimal answers.Although theoretically susceptible to exponential delays,the algorithm

in practice is highly efficient—which in itself says something interesting about the nature of computation.

In terms of widespread use,George Dantzig’s simplex method is among the most successful algorithms of all time.

3.

1950:Magnus Hestenes,Eduard Stiefel,and Cornelius Lanczos,all from the Institute for Numerical Analysis

at the National Bureau of Standards,initiate the development of Krylov subspace iteration methods.

These algorithms address the seemingly simple task of solving equations of the form Ax=b.The catch,

of course,is that A is a huge n x n matrix,so that the algebraic answer x=b/A is not so easy to compute.

(Indeed,matrix“division”is not a particularly useful concept.) Iterative methods—such as solving equations of

the form Kxi+1=Kxi+b–Axi with a simpler matrix K that’s

ideally“close”to A—lead to the study of Krylov https://www.360docs.net/doc/125495165.html,d for the Russian mathematician Nikolai Krylov,Krylov subspaces are spanned by powers of a matrix applied to an initial“remainder”

vector r0=b–https://www.360docs.net/doc/125495165.html,nczos found a nifty way to generate an orthogonal basis for such a subspace when the matrix is symmetric. Hestenes and Stiefel proposed an even niftier method,known as the conjugate gradient method,for systems that are both symmetric and positive definite.Over the last50years,numerous researchers have improved and extended these algorithms.

The current suite includes techniques for non-symmetric systems,with

acronyms like GMRES and Bi-CGSTAB.(GMRES and

Bi-CGSTAB premiered in SIAM Journal on Scientific and Statistical Computing,in1986and1992,

respectively.)

4.

1951:Alston Householder of Oak Ridge National Laboratory formalizes the decompositional approach

to matrix computations.

The ability to factor matrices into triangular,diagonal,orthogonal,

and other special forms has turned

out to be extremely useful.The decompositional approach has enabled software developers to produce

flexible and efficient matrix packages.It also facilitates the analysis

of rounding errors,one of the big

bugbears of numerical linear algebra.(In1961,James Wilkinson of the National Physical Laboratory in

London published a seminal paper in the Journal of the ACM,titled“Error Analysis of Direct Methods

of Matrix Inversion,”based on the LU decomposition of a matrix as a product of lower and upper

triangular factors.)

5.

1957:John Backus leads a team at IBM in developing the Fortran optimizing compiler.

The creation of Fortran may rank as the single most important event in the history of computer programming:Finally,scientists(and others) could tell the computer what they wanted it to do,without having to descend into the netherworld of machine code.

Although modest by modern compiler standards—Fortran I consisted of a mere23,500assembly-language instructions—the early

compiler was nonetheless capable of surprisingly sophisticated computations.As Backus himself recalls in a recent history of

Fortran I,II,and III,published in1998in the IEEE Annals of the History of Computing,the compiler“produced code of such efficiency that its output would startle the programmers who studied it.”

6.

1959–61:J.G.F.Francis of Ferranti Ltd.,London,finds a stable method

for computing eigenvalues,known as the QR algorithm.

Eigenvalues are arguably the most important numbers associated with

matrices—and they can be the trickiest to compute.It’s

relatively easy to transform a square matrix into a matrix that’s“

almost”upper triangular,meaning one with a single extra set of

nonzero entries just below the main diagonal.But chipping away those

final nonzeros,without launching an avalanche of error,is nontrivial.

The QR algorithm is just the ticket.Based on the QR decomposition,

which writes A as the product of an orthogonal matrix Q and an upper

triangular matrix R,this approach iteratively changes Ai=QR into Ai+

1=RQ,with a few bells and whistles for accelerating convergence to

upper triangular form.By the mid-1960s,the QR algorithm had turned

once-formidable eigenvalue problems into routine calculations.

7.

1962:Tony Hoare of Elliott Brothers,Ltd.,London,presents Quicksort.

Putting N things in numerical or alphabetical order is mind-numbingly

mundane.The intellectual challenge lies in devising ways of doing so

quickly.Hoare’s algorithm uses the age-old recursive strategy of

divide and conquer to solve the problem:Pick one element as a“pivot,

”separate the rest into piles of“big”and“small”elements(as

compared with the pivot),and then repeat this procedure on each pile.

Although it’s possible to get stuck doing all N(N–1)/2comparisons

(especially if you use as your pivot the first item on a list that’s

already sorted!),Quicksort runs on average with O(N log N)efficiency.

Its elegant simplicity has made Quicksort the pos-terchild of

computational complexity.

8.

1965:James Cooley of the IBM T.J.Watson Research Center and John Tukey

of Princeton University and AT&T Bell Laboratories unveil the fast Fourier

transform.Easily the most far-reaching algo-rithm in applied mathematics,the

FFT revolutionized signal processing.The underlying idea goes back to Gauss(who needed to calculate orbits of asteroids),but it was the Cooley–Tukey paper that made it clear how easily Fourier transforms can be computed.Like Quicksort,the FFT relies on a

divide-and-conquer strategy to reduce an ostensibly O(N2)chore to an O(N log N)frolic.

But unlike Quick-sort,the implementation is(at first sight)nonintuitive and less than straightforward.This in itself gave computer science an impetus to investigate the inherent complexity of computational problems and algorithms.

9.

1977:Helaman Ferguson and Rodney Forcade of Brigham Young University advance an integer relation detection algorithm.

The problem is an old one:Given a bunch of real numbers,say x1,x2,. ..,xn,are there integers a1,a2,...,an(not all0)for which

a1x1+a2x2+...+anxn=0?For n=2,the venerable Euclidean algorithm does the job,computing terms in the continued-fraction expansion of x1/x2.If x1/x2is rational,the expansion terminates and, with proper unraveling,gives the“smallest”integers a1and a2.

If the Euclidean algorithm doesn’t terminate—or if you simply get

tired of computing it—then the unraveling procedure at least provides lower bounds on the size of the smallest integer relation.Ferguson

and Forcade’s generalization,although much more difficult to implement (and to understand),is also more powerful.Their detection algorithm,

for example,has been used to find the precise coefficients of the polynomials satisfied by the third and fourth bifurcation points,B3=

3.544090and B4=3.564407,of the logistic map.(The latter polynomial is of degree120;its largest coefficient is25730.)It has

also proved useful in simplifying calculations with Feynman diagrams

in quantum field theory.

10.

1987:Leslie Greengard and Vladimir Rokhlin of Yale University invent

the fast multipole algorithm.

This algorithm overcomes one of the biggest headaches of N-body simulations:the fact that accurate calculations of the motions of N particles interacting via gravitational or electrostatic forces(think

stars in a galaxy,or atoms in a protein)would seem to require O(N2) computations—one for each pair of particles.The fast multipole algorithm gets by with O(N)computations.It does so by using

multipole expansions(net charge or mass,dipole moment,quadrupole,and so forth)to approximate the effects of a distant group of particles on

a local group.A hierarchical decomposition of space is used to

define ever-larger groups as distances increase.

One of the distinct advantages of the fast multipole algorithm is that

it comes equipped with rigorous error estimates,a feature that many methods lack.

What new insights and algorithms will the21st century bring?The

complete answer obviously won’t be known for another

hundred years.One thing seems certain,however.As Sullivan writes in the introduction to the top-10list,“The new century is not going to

be very restful for us,but it is not going to be dull either!”