数值分析综述-《数值分析与算法》徐士良

第2章矩阵与线性代数方程组
一般的线性代数方程组，A非奇异可根据Cramer法则求解方程唯一解但是它的计算量很大。

高斯消元法的算法时间复杂度是O(n3)，可以解一系列的线性方程；所占数据空间符合原地工作的原则。

但是算法对数值计算不稳定（当分母为0或很小时）。

可以用在计算机中来解决数千条等式及未知数。

不过，如果有过百万条等式时，这个算法会十分费时。

解决高斯法中的不稳定性，在每次归一化前增加选主元（列选主元、全选主元）过程。

但是列选主元法仍不稳定，不适求解大规模线性代数方程组。

全选主元的高斯消去法，则在复杂度降低的同时能够避免舍入误差，保证数值稳定性。

高斯-约当消去法算法产生出来的矩阵是一个简化行梯阵式，而不是高斯消元法中的行梯阵式。

相比起高斯消元法，此算法的效率比较低，却可把方程组的解用矩阵一次过表示出来。

线性代数方程组的迭代解法
简单迭代法：迭代格式发散但迭代值序列不一定发散，但收敛格式收敛，迭代值序列收敛于方程组的准确解与选取迭代初值无关。

雅可比迭代法: 计算公式简单，且计算过程中原始矩阵A始终不变，比较容易并行计算。

但是收敛速度较慢，而且占据的存储空间较大，所以工程中一般不直接用雅克比迭代法，而用其改进方法。

高斯-赛德尔迭代法：较上面的迭代复杂，但是矩阵的条件相对宽松。

松弛法：需要根据经验去调整，收敛速度依赖松弛参数的选择，收敛条件的要求更宽松。

共轭梯度法：是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，在各种优化算法中，共轭梯度法是非常重要的一种。

其优点是所需存储量小，具有步收敛性，稳定性高，而且不需要任何外来参数。

共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。

第3章矩阵特征值
乘幂法计算绝对值最大的特征值：其收敛速度受限于最大与次大特征值比值绝对值的大小，实际应用中采用加速技术。

求对称特征值的雅克比方法96：每进行一次选装变换钱都需要在飞对角线的元素中选取绝对值最大的元素，很费时间，雅克比过关法对此做了改进。

QR方法求一般实矩阵的全部特征值98下100下：重复多次进行QR分解费时，计算工作量很大。

一般先进行相似变换然后进行QR分解。

但是这样仍然收敛速度慢，一般是线性收敛。

实际应用中使用双重步QR变换将带原点的QR算法中相邻两步合并一步，加速收敛避免复数运算。

第4章非线性方程与方程组
二分法：每次运算后，区间长度减少一半，是线形收敛。

优点是简单，但是不能计算复根和重根。

简单迭代法：直接的方法从原方程中隐含的求出x，从而确定迭代函数 (x)，这种迭代法收敛速度较慢，迭代次数多。

埃特金迭代法113中：对简单迭代进行改进，使在其不满足收敛条件下迭代过程也收敛，在其收敛时加快收敛速度，减少迭代次数降低时间复杂度。

牛顿迭代法：其最大优点是在方程f(x) = 0的单根附近具有平方收敛，收敛速度快。

而且该法还可以用来求方程的重根、复根。

缺点：初值的选择会影响收敛结果。

牛顿下山法：保证函数值稳定下降，且有牛顿法的收敛速度。

第5章代数插值法
Lagrange插值
Lagrange插值是n次多项式插值，其成功地用构造插值基函数的方法解决了求n次多项式插值函数问题。

★基本思想将待求的n次多项式插值函数pn(x)改写成另一种表示方式，再利用插值条件确定其中的待定函数，从而求出杆值多项式。

拉格朗日插值法的公式结构整齐紧凑，在理论分析中十分方便，然而在计算中，当插值点增加或减少一个时，所对应的基本多项式就需要全部重新计算，于是整个公式都会变化，非常繁琐。

这时可以用重心拉格朗日插值法或牛顿插值法来代替。

此外，当插值点比较多的时候，拉格朗日插值多项式的次数可能会很高，因此具有数值不稳定的特点，也就是说尽管在已知的几个点取到给定的数值，但在附近却会和“实际上”的值之间有很大的偏差。

这类现象也被称为龙格现象，解决的办法是分段用较低次数的插值多项式。

优点：简单，缺点：产生一堆数，不保证稳定性
Newton插值
Newton插值也是n次多项式插值，它提出另一种构造插值多项式的方法，与Lagrange插值相比，具有承袭性和易于变动节点的特点。

易于使用编程实现。

★基本思想将待求的n次插值多项式Pn（x）改写为具有承袭性的形式，然后利用插值条件（1）确定Pn（x）的待定系数，以求出所要的插值函数。

Aitken插值法
实际中常需要精度（139下）要求来选取插值结点，埃特金逐步插值解决了此问题。

优点在于可根据精度的要去逐步提高插值的阶，在插值过程中只需要逐步将两个地阶的插值结果进行线性组合即可，计算比较方便。

Hermite插值
Hermite插值是利用未知函数f(x)在插值节点上的函数值及导数值来构造插值多项式的,起其提法为:给定n+1个互异的节点x0,x1,……,xn上的函数值和导数值
不少实际的插值问题不但要求在节点上的函数值相等，而且还要求对应的导数值也相等,甚至要求高阶导数也相等,满足这种要求的插值多项式就是埃尔米特插值多项式。

样条插值
样条插值是使用一种名为样条的特殊分段多项式进行插值的形式。

由于样条插值可以使用低阶多项式样条实现较小的插值误差，这样就避免了使用高阶多项式所出现的龙格现象，所以样条插值得到了流行。

它的基本思想（151）：在由两相邻结点所构成的每一个小区间内用低次多项式来逼近，并且在各结点的连接处是光滑的（连续可导）。

第6章函数逼近与拟合
采用最佳一致逼近多项式（181）迭代次数少，结果已经很优了。

均方逼近（183、184）：求最佳均方逼近多项式所形成的线性方程组的系数矩阵是高度病态的，舍入误差大，采用广义多项式就变得简单了。

一般多项式的基函数不一定是正交函数集系，应先对基函数进行正交化，如在最佳均方逼近中采用切比雪夫正交多项式。

最小二乘曲线拟合：（185）各观测数据与拟合曲线的偏差平方和最小，虽然降低了插值点处的准确性，但是拟合曲线更接近真实函数。

其应用十分广泛，不仅用于传统的测量平差，而且用于最小二乘拟合和最小二乘配置等现代平差理论之中；不仅在测绘领域中，而且在其他许多科学和工程技术领域都已得到广泛应用。

第7章数值积分与数值微分
梯形公式：会把函数图像当作成梯形并估算它的面积。

以下就是估算所用的公式
如果被积函数是一个凸函数（亦即有一个正值二阶导数），那么误差会是一个负数，也代表梯形公式的估算值高估了真实数字。

这可以利用一个几何图形代去表达：梯形不但覆盖曲线下的面积更超越其范围。

同样地，如果被积函数是一个凹函数，梯形公式就会低估其真实数字因为曲线下部份面积没有被计算在内。

如果被积函数中有拐点它的错误是比较难去估计。

辛普森法则（Simpson's rule）是一种数值积分方法，是以二次曲线逼近的方式取代矩形或梯形积分公式，以求得定积分的数值近似解。

其近似值如下：
牛顿-柯特斯：假设已知的值。

以点进行插值，求得
对应的拉格朗日多项式。

对该次的多项式求积。

该积分便可以作为的近似，而由于该拉格朗日多项式的系数都是常数（由决定其值），所以积函数的系数（即）都是常数。

提高了积分区间上插值多项式阶数，就提高了求积公式的阶数，有可能提高精度。

缺点：对于次数较高的多项式而有很大误差（龙格现象），不如高斯积分法。

复化公式：解决多个点但不稳定的问题，（198）尽量减小每一个求积小区间的长度。

变步长求积分：（199）合理选择步长，可满足精度要求也不会引起过多的误差积累和过大的计算工作量。

龙贝格求积法：它是在梯形公式、辛卜生公式和柯特斯公式之间的关系的基础上，构造出一种加速计算积分的方法。

作为一种外推算法, 它在不增加计算量的前提下提高了误差的精度. 在等距基点的情况下，用计算机计算积分值通常都采用把区间逐次分半的方法进行。

这样，前一次分割得到的函数值在分半以后仍可被利用,且易于编程。

高斯求积：高斯求积理论中的一个基本定理断言：只要把结点x0,x1，…，x m取为区间[α,b]上关于权函数ω(x)的m+1次正交多项式的零点，内插型求积公式（2）即达到最高代数精度2m+1。

这里[α,b] 可以是有限或无限区间，ω(x)为取正值的权函数。

许多有关数值积分的论著都列举出各种高斯型公式的结点和系数的数值。

可以证明：对每个连续函数，当结点个数趋于无穷时，高斯型公式所给出的近似值序列收敛到相应积分的精确值，而牛顿－科茨公式则不具有这种性质。