等式约束对病态问题的影响及约束正则化方法_谢建
正则化原理总结

正则化原理总结正则化理论(Regularization Theory)是 Tikhonov于1963年提出的⼀种⽤以解决逆问题的不适定性的⽅法。
不适定性通常由⼀组线性代数⽅程定义,这组⽅程组由于具有很⼤的系数⽽使得它的反问题(已知系统输出求输⼊)存在多解。
正则化理论就是⽤来对原始问题的最⼩化经验误差函数(损失函数)加上某种约束,这种约束可以看成是⼈为引⼊的某种先验知识(正则化参数等价于对参数引⼊先验分布),从⽽对原问题中参数的选择起到引导作⽤,因此缩⼩了解空间,也减⼩了噪声对结果的影响和求出错误解的可能,使得模型由多解变为更倾向其中⼀个解。
也就是说,正则化项本质上是⼀种先验信息,整个最优化问题从贝叶斯观点来看是⼀种贝叶斯最⼤后验估计,其中正则化项对应后验估计中的先验信息(不同的正则化项具有不同先验分布),损失函数对应后验估计中的似然函数,两者的乘积则对应贝叶斯最⼤后验估计的形式。
附加的先验信息强⾏地让系统学习到的模型具有⼈们想要的特性,例如稀疏、低秩、平滑等等,约束了梯度下降反向迫使最终解倾向于符合先验知识。
接下来的问题是我们应该引⼊什么样正则项作为先验知识,才能准确⾼效地缩⼩解空间?⼀切⽅法的动机来源于⼈们⼀直以来对科学的“简洁性”、“朴素性”和“美”的深刻认同,这⼀经典理念可以⽤14世纪逻辑学家Occam提出的“奥克姆剃⼑”原理表述,它长久以来被⼴泛运⽤在⼈们对⾃然科学、社会科学的探索和假设之中:Entities should not be multiplied unnecessarily,译作“若⽆必要,勿增实体”,即“简单有效原理”。
说到这⾥还想多说⼏句题外话。
其实⾄少从亚⾥⼠多德以来,在哲学界、科学界陆续有很多⼈针对不同的场景、以种种⽅式提出了类似的观点。
科学家们⽤这种⽅式,作为建⽴基本假设的原则、作为想象⼒的出发点和思考的⼤⽅向、作为模型选择和建⽴的依据,最终得到了被实验事实所验证的理论学说,⽐如:⽜顿经典⼒学、麦克斯韦⽅程中位移电流的假设、进化论中进化机制的构想、狭义相对论两个基本假设的建⽴、⼴义相对论场⽅程的推导等等,当然它在如今的管理学、经济学等领域同样被⼴泛运⽤。
《约束优化问题》课件

最优解。
03
CHAPTER
常见约束优化问题
线性规划问题
总结词
线性规划问题是最常见的约束优化问题之一,它通过线性不等式或等式约束来 限制决策变量的取值范围,使得目标函数达到最优解。
详细描述
线性规划问题通常用于资源分配、生产计划、运输和分配等问题,其目标函数 和约束条件都是线性函数。求解线性规划问题的方法包括单纯形法、对偶理论 和分解算法等。
约束优化问题的可解释性与鲁棒性研究
总结词
为了更好地应用约束优化问题,需要研究其可解释性 和鲁棒性,以提高模型的可靠性和稳定性。
详细描述
在许多领域中,模型的解释性和鲁棒性是非常重要的 。为了更好地应用约束优化问题,需要研究其可解释 性和鲁棒性,例如通过建立模型的可解释性框架、设 计鲁棒性强的算法等,以提高模型的可靠性和稳定性 。
拉格朗日乘数法
总结词
一种求解约束优化问题的数学方法
详细描述
通过引入拉格朗日乘数,将约束优化问题转化为无约束优化问题,然后利用无约束优化 方法求解。在每一步迭代中,根据当前点的拉格朗日函数值更新拉格朗日乘数和迭代点
,直到满足收敛条件。
拉格朗日乘数法
要点一
适用范围
适用于具有线性约束的优化问题。
要点二
执行。
时间限制
生产计划需要在规定的时间内完 成,因此时间限制也是一个重要 的约束条件。通过约束优化问题 ,可以找到在满足时间限制下的
最优生产计划。
质量限制
在生产过程中,质量是一个重要 的考量因素。通过约束优化问题 ,可以在保证质量的前提下,实
现生产计划的最优配置。
物流配送优化
时间限制
最优化问题的约束条件处理方法

最优化问题的约束条件处理方法在最优化问题中,约束条件是限制优化目标的条件。
对于一个最优化问题而言,约束条件的处理是至关重要的,因为它直接影响到问题的可行解集合以及最终的优化结果。
本文将介绍几种常见的约束条件处理方法,以帮助读者更好地理解和应用最优化算法。
一、等式约束条件处理方法等式约束条件是指形如f(x) = 0的约束条件,其中f(x)是一个函数。
处理等式约束条件的常用方法是拉格朗日乘子法。
该方法通过引入拉格朗日乘子,将等式约束条件转化为目标函数的一部分,从而将原问题转化为无约束问题。
具体而言,我们可以构造拉格朗日函数:L(x,λ) = f(x) + λ·g(x)其中,g(x)表示等式约束条件f(x) = 0。
通过对拉格朗日函数求导,我们可以得到原问题的最优解。
需要注意的是,拉格朗日乘子法只能处理等式约束条件,对于不等式约束条件需要使用其他方法。
二、不等式约束条件处理方法不等式约束条件是指形如g(x) ≥ 0或g(x) ≤ 0的约束条件,其中g(x)是一个函数。
处理不等式约束条件的常用方法是罚函数法和投影法。
1. 罚函数法罚函数法通过将约束条件转化为目标函数的一部分,从而将原问题转化为无约束问题。
具体而言,我们可以构造罚函数:P(x) = f(x) + ρ·h(x)其中,h(x)表示不等式约束条件g(x) ≥ 0或g(x) ≤ 0。
通过调整罚函数中的惩罚系数ρ,可以使得罚函数逼近原问题的最优解。
罚函数法的优点是简单易实现,但需要注意选择合适的惩罚系数,以避免陷入局部最优解。
2. 投影法投影法是一种迭代算法,通过不断投影到可行域上来求解约束最优化问题。
具体而言,我们首先将原问题的可行域进行投影,得到一个近似可行解,然后利用该近似可行解来更新目标函数的取值,再次进行投影,直到收敛为止。
投影法的优点是能够处理各种类型的不等式约束条件,并且收敛性良好。
三、混合约束条件处理方法混合约束条件是指同时包含等式约束条件和不等式约束条件的问题。
正则化约束方式 fisher信息矩阵

正则化约束方式 fisher信息矩阵
正则化约束方式和Fisher信息矩阵在机器学习和统计学习理论中都有着重要的作用。
它们通常被用来提高模型的泛化能力,防止过拟合,并在参数优化过程中提供有关模型不确定性的信息。
正则化约束方式是一种在损失函数中加入额外项的方法,用于控制模型的复杂度。
常见的正则化方式有L1正则化、L2正则化以及弹性网络等。
L1正则化通过在损失函数中加入参数绝对值的和,鼓励模型使用稀疏的参数,即让一些参数为零。
L2正则化则通过加入参数平方和的方式,鼓励模型使用较小的参数值,从而避免模型过于复杂。
弹性网络是L1和L2正则化的结合,通过平衡两种正则化方式的效果,可以在某些情况下获得更好的性能。
Fisher信息矩阵是一个在统计学和机器学习中用于衡量模型参数不确定性的矩阵。
它包含了关于模型参数估计量的二阶偏导数信息,即海森矩阵的逆。
Fisher信息矩阵在多种优化算法中都有应用,例如牛顿法和拟牛顿法等。
这些算法利用Fisher信息矩阵来近似损失函数的曲率,从而在参数优化过程中获得更快的收敛速度和更准确的解。
将正则化约束方式与Fisher信息矩阵相结合,可以在参数优化过程中同时控制模型的复杂度和提供有关模型不确定性的信息。
例如,在正则化损失函数中加入Fisher信息矩阵的项,可以使得模型在优化过程中更加关注参数的不确定性,从而得到更加稳定和可靠的模型。
这种结合方式在实际应用中可能会带来更好的性能和更高的泛化能力。
不等式约束对平差结果的影响分析

不等式约束对平差结果的影响分析朱建军;谢建;陈宇波【摘要】根据附不等式约束的平差过程,利用概率统计的思想,分析不等式约束对平差结果的影响。
结果表明,不同的约束对解的贡献是不同的,其大小取决于约束到其真值的距离。
由于不等式约束的非对称性,造成参数验后分布的非对称性,从而使参数估计有偏。
这种估计的有偏不同于数学中的压缩型有偏估计,其偏量是由观测误差确定,当观测误差为零时,这种估计的期望是无偏的;不管不等式约束是有效约束还是无效约束,对最后的解的精度都有贡献,并且附不等式约束平差时,其解的方差恒定小于无约束的最小二乘解。
最后,以一个简单的算例直观验证了有关的分析和结论%The inequality constraint influence to the results according to the adjustment procedure based on statistics are analyzed.The results show that different constraint has different contribution to the solution.The influence is determined by the distance from the constraints to the true value.The asymmetry of inequality constraints leads to asymmetric of posterior distribution of the estimated parameters,thus the estimator is biased.The biasness of the estimation is not the same as that of shrunken biased estimation.Its discrepancy is determined by the observational errors,if the error is zero,the expectation of the estimation is unbiased.It does not matter whether the constraint is active or inactive;they will contribute to the adjustment.The variance of parameter with inequality constrained model is definitely smaller than that of unconstrained model.Finally,a simple example was given to prove some related analysis and conclusions.【期刊名称】《测绘学报》【年(卷),期】2011(040)004【总页数】5页(P411-415)【关键词】不等式约束平差;有效约束;影响分析;精度【作者】朱建军;谢建;陈宇波【作者单位】中南大学地球科学与信息物理学院,湖南长沙410083;中南大学地球科学与信息物理学院,湖南长沙410083;中南大学地球科学与信息物理学院,湖南长沙410083【正文语种】中文【中图分类】P2071 引言在数据处理的许多情况下可根据先验知识建立对参数的某种约束,如果所建立的约束是不等式形式,则形成了具有不等式约束的平差问题。
等式约束优化问题

等式约束优化问题
等式约束优化问题是一种特殊的优化问题,它的目标是在满足一组等式约束条件下,找到使得目标函数取得最优值的变量取值。
这种问题在实际应用中非常常见,例如在工程设计中,有时需要在一定的材料、尺寸等限制条件下,寻找最优的设计方案。
解决等式约束优化问题的方法主要有两种:拉格朗日乘子法和牛顿法。
其中,拉格朗日乘子法首先将等式约束转化为拉格朗日函数中的约束项,并引入拉格朗日乘子来求解最优值;而牛顿法则通过迭代逼近目标函数的最优值,并在每一步迭代中利用约束条件来更新变量的取值。
在实际应用中,等式约束优化问题往往具有多个变量和多个等式约束条件,解决起来颇为复杂。
因此,需要采用适当的算法和工具来解决这类问题。
例如,在MATLAB中,可以使用fmincon函数来求解等式约束优化问题;而在Python中,则可以使用SciPy库中的optimize模块来解决这类问题。
- 1 -。
5.1 基于状态空间模型的约束预测控制

z z 1
u (k )
装置
y (k )
u (k 1)
z
1
ˆ x(k / k )
观测器 控制器
2013-11-25
假设一个特定的约束集合是起作用的,也就是在命题式(11)、(12)的QP 问题中,假设
a a
(14)
式中 a 是由 的涉及起作用约束的那些行组成的,而 a 是由 的相应 元素组成的。如果在该问题解决之前就已知道这些会起作用约束,因而这些约束 是等式而不是不等式约束,那么可以将优化命题变成
基于状态空间模型的约束预测控制
姜剑 曹永健 李贺 朱学帅
1.利用二次规 划(QP)求解
2.控制器的结 构
3.求解QP问题
4.约束软化与 管理
1.利用二次规划(QP)求解
讨论具有约束的情形,回顾以下不等式
u ( k ) E 0 1
u ( k ) F 0 1
F u(k ) Fu(k 1) f 1
这样就转换成了一个线性不等式约束
2013-11-25
如果要求一个简单的输入区间约束
ˆ ulow (k i ) u (k i / k ) uhigh (k i )
那么不等式可以取相当简单的形式。 下面还必须对式(3)做一些类似的事情。 可采用式(4-67)来改写式(3)成为
2013-11-25
1 min( T T ) 2
类似于求解无约束问题那样,把QP转换成“平方根”形式表达 的求解算法是比较好的。可以转换成如下形式
S u (k ) (k ) min u ( k ) S u (k )
因为
2
(13)
等式约束kkt条件

等式约束kkt条件在优化问题中,等式约束是一种常见的约束类型,它要求变量满足某个等式。
例如,在最大化利润的问题中,等式约束可能表示生产成本、销售价格和生产数量之间的关系。
而KKT条件(Karush-Kuhn-Tucker条件)是解决优化问题中约束条件的一种方法,它涉及到拉格朗日乘子和梯度的一阶条件。
本文将介绍等式约束下的KKT条件及其求解方法。
首先,我们来了解一下等式约束的概念。
在优化问题中,等式约束是指变量满足某个等式的关系。
例如,maximize x subject to x = 2y + 3z 就是一个等式约束问题,其中x、y和z是优化变量,2y + 3z是等式约束。
接下来,我们讨论KKT条件与等式约束的关系。
KKT条件是一个解析优化问题中约束条件的方法,它包括拉格朗日乘子的一阶条件和梯度的一阶条件。
当优化问题中存在等式约束时,KKT条件可以用来判断最优解的存在性和求解最优解。
对于等式约束问题,KKT条件中的拉格朗日乘子λ必须满足以下条件:1.λ >= 0,所有约束条件的拉格朗日乘子都大于等于零。
2.g/x = λh/x,其中g(x)是目标函数,h(x)是等式约束函数。
当满足上述条件时,我们可以使用KKT条件求解等式约束下的最优解。
求解方法如下:1.求解KKT条件:根据目标函数和等式约束函数,求解g/x和h/x。
2.求解λ:根据KKT条件,求解使得等式约束成立的拉格朗日乘子λ。
3.求解最优解:找到满足KKT条件的变量x,即可得到最优解。
最后,我们通过一个实例来说明等式约束下的KKT条件的应用。
假设有一个最大化问题:maximize x subject to x = 2y + 3z and y <= 2首先,构建拉格朗日函数:L(x, y, z, λ) = x - λ(2y + 3z - x)然后,求解KKT条件:1.L/x = 1 - λ*(-1) = 1 + λ2.L/y = -2λ + h/y = 0,其中h(y) = 2 - y3.L/z = 3λ + h/z = 0,其中h(z) = 3z - x接下来,求解λ:1.L/x = 0,得到λ = -12.L/y = 0,得到y = 23.L/z = 0,得到z = x/3最后,求解最优解:将λ、y和z代入原问题,得到最优解为x = 6。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
第40卷第10期2015年10月武汉大学学报·信息科学版Geomatics and Information Science of Wuhan UniversityVol.40No.10Oct.2015收稿日期:2013-12-10项目来源:国家自然科学基金资助项目(41274010)。
第一作者:谢建,博士生,主要从事测量平差与测量数据处理研究。
E-mail:xiejian@csu.edu.cnDOI:10.13203/j.whugis20130764文章编号:1671-8860(2015)10-1344-05等式约束对病态问题的影响及约束正则化方法谢 建1 朱建军11 中南大学地球科学与信息物理学院,湖南长沙,410083摘 要:有效利用参数间已知的等式约束信息能够提高最小二乘解的精度,消除秩亏,但是等式约束能否消除或减弱平差模型的病态性尚不明了,由此提出了一种通过消除部分参数将等式约束病态问题转化为无约束问题的方法。
然后分析了等式约束对病态问题的影响,用简单实例证明了加入约束后,系统可能呈现良态或病态,它的性态由原设计阵和等式约束共同决定,并提出了求解等式约束病态问题的诊断-正则化两步方法。
最后用一个数值实例验证了该方法的可行性。
关键词:等式约束;秩亏;病态;影响分析;正则化中图法分类号:P207.2 文献标志码:A 大地测量数据处理中,常出现秩亏和病态等现象。
解决秩亏问题的常用方法是增加参数间坐标基准的加权等式约束或参数的加权二次范数最小准则,求出特定基准下的最小范数最小二乘解[1]。
解病态问题也是附加参数间的加权二次范数约束,使观测残差和参数范数间达到平衡而获得稳定的正则化解[2]。
可见,上述不适定问题都是通过增加约束信息来得到适定的解。
这种信息有参数的一次式,即参数间的线性等式约束,也有参数的二次式,即参数的二次范数。
对于秩亏数为d的无约束平差问题,是附加d个线性无关的等式约束消除秩亏[1]。
若秩亏问题本身有s个线性无关的约束,那么只要添加d-s个等式约束[3]。
病态问题的正则化准则是对所有的参数施加二次约束,通过压缩解的长度来减弱最小二乘解的不稳定性。
但已有文献对等式约束是否减弱病态性少有研究,侧重于研究含有线性等式约束的病态问题的算法。
Sarkar在约束最小二乘解前面乘以一个压缩因子,以减小病态约束问题的方差[4];Jürgen在约束最小二乘解的基础上,将最小二乘解用Sarkar解代替,解的形式和约束最小二乘解相同,但是计算非常复杂[5];钟震利用椭圆约束的方法得到了约束病态问题的有偏估计[6];谢建等用正则化的思想得到了附等式约束病态问题的正则化解,其形式与附加椭圆约束的有偏估计相同[7]。
但是,上述方法是对所有的参数施加二次范数约束,都没有讨论等式约束本身能否消除或者减弱系统的病态性,以及附加等式约束后模型的病态程度与哪些因素有关。
本文首先将等式约束的病态问题通过消除部分参数转化为无约束问题,分析无约束问题设计阵的病态性,然后给出了等式约束病态问题求解的方法。
1 等式约束对秩亏问题的影响 经典的测量平差函数模型和随机模型为[8]:L=AX+Δ(1)E(L)=AX,D(L)=σ20P-1(2)式中,L、Δ分别表示n维观测向量和误差向量;X为u维参数向量;A为n×u设计矩阵;σ20为单位权方差;P为观测权矩阵。
根据设计矩阵A的性质,可以分为设计阵良态、秩亏和病态三种情况。
下面对前两种情况的求解进行分析。
1.1 设计阵A是良态矩阵的最小二乘解观测方程(1)相应的误差方程式为[8]:V=A^X-L(3) 当设计阵A是良态矩阵时,若观测误差服从正态分布,在最小二乘准则φmin(V)=VTPV下,不需增加额外的信息,可以直接得到唯一且稳定的最小二乘解[8]:^XLS=N-1 w(4)式中,N=ATPA,w=ATPL,分别表示法方程矩阵 第40卷第10期谢 建等:等式约束对病态问题的影响及约束正则化方法和右端项。
1.2 设计阵A秩亏时的自由网平差解当平差系统缺乏必要的基准条件时,设计阵的秩小于待估参数的个数,即R(A)=t<u。
在最小二乘准则下,法方程矩阵求逆不唯一,具有无穷多组解。
一般是对参数附加约束信息,得到在某种参考基准或准则下的最优解。
一般附加如下s个(s=u-t)等式约束条件[1]:STPx^X=0(5)式中,S是法矩阵N的s个零特征值所对应的线性无关的特征向量所构成的矩阵;Px称为基准权,反映了不同的基准约束。
在最小二乘准则下,可以得到秩亏自由网平差的解为[1]:^XRD=(N+PxSSTPx)-1 w(6) 等式约束条件(5)给平差问题提供了必要的基准条件,从而得到了该基准约束下的最小二乘解,但添加的约束条件的个数应等于或大于秩亏数才能得到唯一的解[3]。
2 等式约束对病态问题的影响 当设计阵A良态时,它的列向量间线性无关;秩亏时,它的列向量间存在线性相关性,若秩亏数为s,那么其中的s列向量可以表示成其他各列的线性组合。
而病态矩阵是介于良态矩阵和秩亏矩阵之间的一种,它的列向量间存在近似的线性相关性,线性模型在最小二乘准则下,病态性与复共线性是等价的[9]。
方程的病态会引起最小二乘解的不稳定性,一般是对解向量的范数进行限定,使参数估值的长度处于一定的范围。
常用的求解病态问题的方法是附加参数的最小范数条件,构成Tikhonov正则化准则[2]:φmin(^X)=VTPV+α^XTR^X(7) 对式(7)求极小,得到相应的正则化解为:^XR=(N+αR)-1 w(8) 可以证明,对于病态法方程矩阵,附加适当的对角矩阵,可以显著降低法方程的病态,得到的正则化解是最小二乘解的压缩有偏估计[1,10]。
无约束情况下,病态问题最小二乘解的长度不受限制,使解对误差扰动很敏感。
增加解的范数约束(7)可以改善法方程矩阵的性质,得到均方误差意义下更优的解。
这说明病态问题中对所有参数施加二次约束是可以减弱或消除法方程的病态性的。
§1.2的分析表明,附加等式约束能消除秩亏,下面分析给病态问题增加参数间的一次等式约束条件能否减弱方程的病态性。
等式约束病态问题的函数模型表示为[4-6]:Vn×1=An×uXu×1-Ln×1,Cs×uXu×1-Ws×1=0s×1(9) 这里假设约束条件相容且线性无关,若约束关系中不包含某些参数,则可以使约束矩阵中对应于该参数的列为零向量。
常用的解模型(9)的方法是采用准则函数(7),得到如下形式的等式约束正则化解[6,7]:^XR=(N-1r-N-1rCTN-1ccCN-1r)w+N-1rCTN-1ccW(10)式中,Nr=N+αR;Ncc=CN-1rCT。
可见上述方法是对所有参数进行正则化,没有考虑等式约束本身能否减弱或消除病态性。
为了便于分析,先将等式约束平差模型转变成一个无约束平差模型[11]。
可以在s个约束条件中消去其中任意s个参数,剩下的t=u-s个参数可由这s个参数表达。
式(9)中对参数分类后的等价形式为[11]:Vn×1=A1n×tX1t×1+A2n×sX2s×1-Ln×1(11)C1s×tX1t×1+C2s×sX2s×1-Ws×1=0s×1(12)式中,A=A1A[]2;C=C1C[]2;X=[XT1XT2]T,由式(12)可以得到:X2=-C-12C1X1+C-12W(13) 代入式(11),即得:V=BX1-f(14)式中,B=A1-A2C-12C1;f=L-A2C-12W。
新的设计矩阵B是原有的病态设计阵A和良态约束阵C的子矩阵的线性组合,它的性质由原设计阵的病态性、参数的约束个数及约束的形式共同决定,有可能呈病态或良态。
对每个不同的实际测量问题,等式约束是由先验信息或者经验知识获得,随问题的不同而不同。
在对参数分组时,没有特定的标准,因此系数阵B的病态性难以从数学上给出直接的证明过程。
也就是说,在A1、A2、C1、C2均不定的情况下,难以直接计算B矩阵的行列式、条件数、特征值或条件指标等反映病态程度的指标。
这里可以用两个极端的例子来说明等式约束对法方程矩阵病态性的影响。
1)当有s=u-1个参数间的约束条件,即转换后的无约束平差模型只有t=1个参数时,由B的表达式易知,B是一个n维向量,式(14)相当于仅含一个参数的平差模型,它的最小二乘解为:^X1=N-11BTPf(15)式中,N1=BTPB是一常数,总可以求得稳定的凯利逆,从而这一约束消除了法方程的病态性。
由式(15)得到^X1的估值以后,代入式(13)可以得到其他参数的估值。
2)当附加如下的约束条件时:^X2=d(16)5431武汉大学学报·信息科学版2015年10月式中,d表示s×1维常数向量。
这种情况实际上是已知某部分参数的值,求剩余t个参数的估值。
容易知道,C1是一个s×t的全零矩阵。
此时,模型(11)、(12)等价于:V=A1X1+A2d-L(17)即B=A1,B的性质完全由A1所决定。
设矩阵A用列向量表示为:A1=[α1,…,αt],A2=[αt+1,…,αt+s]式中,αi(i=1,2,…,t+s)为n维列向量。
若A病态,则一定存在不全为0的常数ki(i=1,2,…,t+s),使得:k1α1+…+ktαt+…+kt+sαt+s≈0(18)成立。
那么A1是否病态又分为如下几种情况:1)存在不全为0的常数ki(i=1,2,…,t),使得k1α1+…+ktαt≈0,当且仅当kt+1=kt+2=…=kt+s=0时,才有kt+1αt+1+…+kt+sαt+s=0成立。
也就是说,矩阵的复共线性仅存在于前面t列,后面的s列线性无关,A1的病态性和A完全一致,即cond(A1)=cond(A)。
即附加式(17)所示的约束条件完全不能减弱新的误差方程(14)的病态性,需要求正则化解。
2)跟情形1)完全相反,矩阵的复共线性仅存在于后面s列,而前面t列线性无关,那么A1是一个良态矩阵,设条件数为M。
附加式(17)这一约束条件后,可以直接按照普通最小二乘法求解。
3)除去情形1)和情形2)以外的情况,这时,不仅子矩阵A1的列向量间存在复共线性,子矩阵A2的列向量间也存在复共线性,或者A1和A2的列向量间互相存在近似线性相关关系。
由于情形1)、2)分别是两种极端情况,那么A1的病态性处于两种情形之间,即M<cond(A1)<cond(A)。
从以上两例可以看出,线性消元后,新模型(14)的系数阵是否病态不仅与原设计矩阵A本身的性质有关,而且与约束矩阵有关。