非线性系统辨识模型选择方法综述

文献2：Model selection approaches for non-linear system identification: a reviewX. Hong, R.J. Mitchell, S. Chen, C.J. Harris, K. Li and G.W. Irwin. International Journal of Systems Science, 2008,39(10): 925–946非线性系统辨识模型选择方法综述摘要：近20年来基于有限观测数据集的非线性系统辨识方法的研究比较成熟。

由于可利用现有线性学习算法，同时满足收敛条件，目前深入研究和广泛使用的非线性系统辨识方法是一类具有万能逼近能力的参数线性化非线性模型辨识（linear-in-the-parameters nonlinear model identification ）。

本文综述了参数线性化的非线性模型选择方法。

非线性系统辨识最基本问题是从观测数据中识别具有最好模型泛化性能的最小模型。

综述了各种非线性系统辨识算法中实现良好模型泛化性的一些重要概念，包括贝叶斯参数正规化，基于交叉验证和实验设计的模型选择准则。

机器学习的一个显著进步，被认为是确定的结构风险最小化原则为基础的内核模式，即支持向量机的发展。

基于凸优化建模算法，包括支持向量回归算法，输入选择算法和在线系统辨识算法。

1 引言控制工程学科的系统辨识，是指从测量数据建立系统/过程动态特性的数学描述，以便准确预测输入未来行为。

系统辨识2个重要子问题：（1）确定描述系统输入和输出变量之间函数关系的模型结构；（2）估计选定或衍生模型结构范围内模型参数。

最初自然的想法是使用输入输出观测值线性差分方程。

早期研究集中在线性时不变系统，近期线性辨识研究考虑连续系统辨识、子空间辨识、变量误差法（errors-in-the-variable methods ）。

模型质量重要测度是未知过程逼近的拟合精度。

由于大多数系统在某种程度上说都是非线性的，非线性模型通常要求满足合格的建模性能。

定义非线性离散系统输入)(t u ，输出)(t y ，训练数据集合N D ={}Nt t y t u 1)(),(=，基本目标是找到 )()),(()(t e t X f t y +=θ （1）)(⋅f 未知，θ相关参数向量，噪声)(t e ，通常假设方差（2σ）恒定，满足独立的同分布（i.i.d.）特性。

模型输入[]T e u y n t e t e n t u t u n t y t y t X )(),1(),(),1(),(),1()(------= 。

y n ，u n ，e n 分别为输出、输入和噪声的延迟。

方程式（1）是NARMAX 模型表达式，代表一大类非线性系统。

由于大多数工业过程满足光滑连续特性，非线性函数)(⋅f 辨识等价于函数逼近，即用fˆ代替f 函数。

为了逼近函数，用户选择各种非线性建模方法[1]，如分段线性模型、有理多项式模型、Hammerstein/Wiener 模型、投影寻踪回归（PPR ）和多项式自适应回归样条（MARS ）、周期神经网络。

逼近论中，一种通用函数表示方法是非线性基函数的线性组合。

具有参数线性化结构、表示非线性输入输出关系模型表达式∑==m i ii t X t X f 1))(()),((ˆθφθ （2）))((t X i φ为已知非线性基函数映射，例如RBF 或者B 样条函数，i θ未知参数，m 模型中基函数个数。

参数线性化模型具有适合自适应学习的良好结构，具有可证明的学习和收敛条件，具备并行处理能力，明确的工程应用[2]。

然而，非线性系统辨识中仍然存在一些重大挑战和障碍：（1）模型的泛化性采用有限数据辨识模型，不仅要求模型训练精度较好，同样要求模型测试精度良好。

由于)(⋅f 未知，选用)(t y 作为训练模型)(ˆt f的逼近目标。

随着模型复杂程度的增加，逼近目标)(t y 的建模精度增加。

其结果是，如果过分追求模型精度，发生)(t y 中噪声过拟合现象。

如何界定和获取模型的泛化能力对所有机器学习来说都是至关重要的。

（2）模型的解释性模型经常用来解释它代表的过程属性，并提取系统潜在知识。

线性系统许多好的属性并不适用于非线性模型。

比如，时域和频域之间模型描述的可交换性。

线性模型的参数通常与系统的物理特性相关。

由于非线性本质和高阶模型复杂性，非线性模型很难解释系统的结构特性，除非建模者在建模过程中具有先验知识。

（3）维数灾难参数个数过多与模型数据集有关。

构建模型过程中，模型参数的数量与数据集的规模相比很容易过剩。

一个过多参数的模型是病态的，参数无法精确估计，导致模型泛化能力较差。

线性模型为保证张成输入空间的回归矩阵非奇异特性，PE 通常由输入信号设计获得。

非线性模型为保证回归矩阵非奇异特性，需要设计输入信号和回归矩阵。

（4）计算复杂性数据维数过高是计算复杂性过高的根源。

非线性系统辨识的本质是一个棘手的问题。

对于实际应用而言，希望采用高效的非线性系统识别算法。

算法设计要求集成系统理论、统计、优化理论、智能学习和线性代数的新型计算工程。

（5）输入选择许多非线性模型随着输入维数（x ）的增加，模型的大小以指数速度成倍增加。

输入项过多，通过输入设定不正确或或过参数化，引起模型性能恶化。

对于实际系统输出，如果模型中存在一些输入变量，另一些输入变量可能是冗余的或变得不重要了。

输入选择作为预处理步骤，大大改善系统性能和模型可解释性。

然而，最优输入选择通常是一个棘手问题，有效输入选择算法通常是许多模式识别领域重要因素。

（6）鲁棒性和噪声抑制线性辨识方法的鲁棒性和噪声抑制技术很成熟。

传统线性辨识方法假设系统线性时不变，通常具有高斯噪声。

然而，大多数实际动态系统是复杂的，非线性、非稳态、随机和部分未知。

传统学习算法在应用到实际系统时，通常具有局限性。

为了改善模型鲁棒性和噪声抑制性能，有必要研究非线性、非高斯过程辨识方法。

（7）在线非线性系统辨识在许多应用中，当数据样本连续可用时，模型用于实时操作。

在线系统辨识算法计算优势在于模型在新样本到来时不断更新，而不是从零开始重学。

在线学习概念在智能系统系统是一个重要概念，因为人类自然学习方式是基于先验知识逐步建立后验知识。

线性迭代辨识算法更新的是固定模型结构的模型参数，在需要更新模型结构时可能存在一定局限性。

基于变结构和具有高效计算能力的稀疏模型的在线估计算法是当前重要研究领域。

2 模型的泛化性2.1 参数正则化（Parameter regularisation ）模型泛化性定义：对新输入数据，模型逼近真实系统输出的能力。

参数正则化技术是一个改善模型泛化能力的主要工具。

模型参数估计对模型泛化能力的影响可以通过一个参数估计器的MSE （均方误差）来分析。

它可以作为模型泛化能力的测量。

一种改善模型泛化能力的方法是偏差和方差折中。

()()⎥⎦⎤⎢⎣⎡--θθθθˆˆT E =()()2ˆˆθθbias Var + （3）()()∑==⎥⎦⎤⎢⎣⎡--m i i LS T LS E 121ˆˆλσθθθθ0min 21max >=≥≥≥=λλλλλm （4）由于常规最小二乘方法估计参数MSE 存在病态条件，min λ很小时导致参数LSθˆ的MSE 很大。

[][]θμθθθT T R y y J +Φ-Φ-= []y T T R Φ+ΦΦ=-1ˆμθ （5）μ为正则参数。

正则化或岭回归是简单有效的获取偏差/方差折中的方法。

正则化参数估计器等效于贝叶斯方法中参数的最大后验概率密度函数MAP （maximum a posteriori pdf ）。

该方法的一个潜在问题是优化过程中如何确定正则参数μ。

非线性系统辨识一个非常有前景的方法是最小二乘支持向量机LSSVM （least squares support vector machine ）3，核特征空间范数参数正则化的应用。

系统辨识简化为一个优化问题。

运用不同目标函数，在模型适配和结构/参数约束之间权衡折中，产生不同的模型。

模型选择准则，用于判别不同模型之间的泛化能力。

2.2 模型选择准则2.2.1 基于交叉验证的模型选择准则统计学习和非线性系统辨识中，模型泛化能力的信息理论测度至关重要。

评价模型泛化能力的基本概念之一是交叉验证。

模型选择准则用作模型对未来数据的预报性能或者与其它有竞争力的模型相比评估模型质量。

假设（2）式系统模型，参数为T m ]ˆ,,ˆ,ˆ[ˆ21θθθθ =，令2ˆσ为2σ的估计。

则数据集的均方误差估计为：211]ˆ)(()([)ˆ(∑∑==-=Nt i m i i t x t y SSE θφθ。

不同的模型选择标准如下： 2ˆ()2ˆp SSE C m N θσ=+- ⎪⎭⎫ ⎝⎛-+⋅=m N m N N SSE FPE )ˆ(θ m N SSE N AIC 2)ˆ(log +⎪⎪⎭⎫ ⎝⎛=θ ⎪⎭⎫ ⎝⎛+=N m PRESS 21ˆ2σ 为了说明如何获得这些模型选择准则，考虑一种最常用的交叉验证法——留一验证法。

其主要思路为对于任何一个预测器，数据集D N 中的每一个数据点轮流被选出，用其余的N-1个数据点估计模型，计算选出点的预测误差。

方便起见，)(ˆ)(i y-用来表示模型（1）中输入量)(i x 的输出，用留一法估计数据集)}(),({\i y i x D N ，)(ˆ)(i y-的误差如下：)(ˆ)()()()(i y i y i ---=ξ.留一验证法的均方差为])([2)(i E -ξ，用来度量模型的泛化能力。

留一误差可以用最小方差估计线性参数化模型（2）来计算。

定义模型残差序列为j m j j i x i y i θφξˆ)(()()(1)(∑=--=，N i i i i i T T ,,1)]([])[(1)()(1)( =ΦΦ-=--φφξξ 其中)(i φ是向量Φ中的行向量。

同样，经过参数正则化后，有N i i i i i T T ,,1)]([])[(1)()(1)( =+ΦΦ-=--φμφξξ将上式中的所有采样数据用它们的均值代替，则为PRESS 统计：2212()2ˆ1(1[]/)N i i m PRESS N tr N N ξσ=⎛⎫=≈+ ⎪-⎝⎭∑H 其中T T ΦΦΦΦ=-1][H ，∑==Ni i N 122)()/1(ˆξσ。

令T T Φ+ΦΦΦ=-1][μμ)H(，GVC 如下：212()()(1[H ]/)Ni i GCV N tr N ξμμ==-∑() GVC 可以通过寻找μ来进行优化。

应用模型选择准则对模型参数个数的阶跃增加的灵敏度揭示模型选择准则的差异，特别是对小型数据集合和低维模型。