第五章 最小二乘参数辨识方法 第十四讲
系统辨识之最小二乘法
系统辨识之最小二乘法方法一、最小二乘一次性算法：首先对最小二乘法的一次性辨识算法做简要介绍如下：过程的黑箱模型如图所示：其中u(k)和z(k)分别是过程的输入输出，)(1-z G 描述输入输出关系的模型，成为过程模型。
过程的输入输出关系可以描述成以下最小二乘格式：)()()(k n k h k z T +=θ （1）其中z(k)为系统输出，θ是待辨识的参数，h(k)是观测数据向量，n(k)是均值为0的随机噪声。
利用数据序列{z （k ）}和{h （k ）}极小化下列准则函数：∑=-=Lk T k h k z J 12])()([)(θθ （2）使J 最小的θ的估计值^θ，成为最小二乘估计值。
具体的对于时不变SISO 动态过程的数学模型为 )()()()()(11k n k u z B k z z A +=-- （3）应该利用过程的输入、输出数据确定)(1-z A 和)(1-Z B 的系数。
对于求解θ的估计值^θ，一般对模型的阶次a n ，b n 已定，且b a n n >；其次将（3）模型写成最小二乘格式)()()(k n k h k z T +=θ （4）式中=------=T n n T b a b a b b b a a a n k u k u n k z k z k h ],,,,,,,[)](,),1(),(,),1([)(2121 θ （5）L k ,,2,1 =因此结合式（4）（5）可以得到一个线性方程组L L L n H Z +=θ （6）其中==T L TL L n n n n L z z z z )](),2(),1([)](),2(),1([ （7）对此可以分析得出，L H 矩阵的行数为),max(b a n n L -，列数b a n n +。
在过程的输入为2n 阶次，噪声为方差为1，均值为0的随机序列，数据长度)(b a n n L +>的情况下，取加权矩阵L Λ为正定的单位矩阵I ，可以得出：L T L L T L z H H H 1^)(-=θ （8）其次，利用在Matlab 中编写M 文件，实现上述算法。
最小二乘法辨识
T 1 T T 1 T ˆ E [ θ ] E [ θ ( Φ Φ ) Φ ξ ] θ E [( Φ Φ ) Φ ξ ]
LS无偏估计的充要条件为：
E [( Φ Φ )
T 1
Φ
T
ξ] 0
下面讨论无偏估计的充分条件。
y ( k ) a1 y ( k 1) a n y ( k n ) b 0 u ( k ) b1u ( k 1) b n u ( k n ) ( k )
最小二乘的最早思想： 未知量的最大可能的值是这样 一个数值，它是实际观测值和计算 值的差值的平方和达到最小的数值。
基本的最小二乘估计 解决问题：在模型阶次n已知的情况下，根据系 统的输入输出数据，估计出系统差分方程的各 项系数。 1.基于输入/输出数据的系统模型描述
SISO系统的差分方程为
x ( k ) a 1 x ( k 1) a n x ( k n ) b 0 u ( k ) b n u ( k n ) y (k ) x(k ) n(k )
(k ) n(k )
a n(k i)
i i 1
n
则当前输出为：
y ( k ) a1 y ( k 1) a n y ( k n ) b 0 u ( k ) b1u ( k 1) b n u ( k n ) ( k )
ˆ min J
下面我们推导θ估计值的计算方法。
J取得最小值，也即J为极值，则有：
J ˆ θ
0
ˆ T ˆ [ (Y Φ θ ) (Y Φ θ ) ] ˆ θ
0
T ˆ 2 Φ (Y Φ θ ) 0
参数辨识方法
参数辨识方法指通过实验数据或观测结果，推断或估计系统或模型的参数值的一类方法。
这些方法通常用于建立数学模型、探索系统行为、优化控制策略等领域。
以下是几种常见的参数辨识方法：
1. 最小二乘法（Least Squares Method）：最小二乘法是一种常见的参数辨识方法，通过最小化实际观测值与模型预测值之间的差异来估计参数。
它适用于线性和非线性模型，并可考虑测量误差。
2. 极大似然估计（Maximum Likelihood Estimation）：极大似然估计是一种统计方法，用于通过最大化观测数据的似然函数来估计参数。
它适用于概率模型和随机过程的参数辨识。
3. 遗传算法（Genetic Algorithms）：遗传算法是一种优化算法，可以用于参数辨识问题。
它模拟生物进化过程中的选择、交叉和变异等操作，通过迭代搜索来找到最优参数组合。
4. 粒子群优化算法（Particle Swarm Optimization）：粒子群优化算法是一种启发式优化算法，模拟鸟群或鱼群的行为，通过协作和信息共享来寻找最优参数组合。
5. 系统辨识理论（System Identification Theory）：系统辨识理论提供了一系列数学和统计方法，用于从实验数据中推断系统的结构和参数。
它涵盖了许多方法，包括参数估计、频域分析、时域分析等。
这些方法的选择取决于具体的应用和问题领域。
不同方法有不同的假设和适用条件，需要根据实际情况选择合适的参数辨识方法来获得准确的参数估计。
第五章 最小二乘法辨识
服从正态分
❖ 4）有效性
❖ 定理4：假设 (k) 是均值为零，方差为 2I 的正态
白噪声，则最小二乘参数估计量
^
是有效估计
量，即参数估计误差的协方差达到Cramer-Rao不
等式的下界
E (^
^
)(
)T
2E
(
T N
N
) 1
M 1
❖ 其中M为Fisher信息矩阵。
4、适应算法
❖ 随着更多观测数据的处理，递推最小二乘法对线性 定常系统的参数估计并非越来越精确，有时会发现
❖ 现举例说明最小二乘法的估计精度 ❖ 例5.1：设单输入－单输出系统的差分方程为
y(k) a1y(k 1) a2 y(k 2) b1u(k 1) b2u(k 2) (k)
❖ 设 u(k)是幅值为1的伪随机二位式序列，噪声 (k)是 一个方差 2可调的正态分布 N(0, 2 )随机序列。
❖ 为了克服数据饱和现象，可以用降低旧数据影响的 办法来修正算法。而对于时变系统，估计k时刻的 参数最好用k时刻附近的数据估计较准确。否则新 数据所带来的信息将被就数据所淹没。
❖ 几种算法：渐消记忆法，限定记忆法与振荡记忆法
❖ 矩阵求逆引理：设A为 n n 矩阵，B和C为 n m 矩阵，
并且A， A和 BCT I CT都A是1B 非奇异矩阵，则有矩
阵恒等式
A BCT 1 A1 A1B(I CT A1B)1CT A1
❖
令
A
PN1
，B
N 1
，C
T N 1
，根据引理有
PN1
T N 1 N 1
1
❖ 算法中，^ N 为2n+1个存贮单元（ai ,bi ,i 1,2, , n）， 而 PN 是 (2n 1) (2n 1)维矩阵，显然，将 N 换成 PN 后，存贮量大为减少（因为n为模型的阶数，一般 远远小于N）
系统辨识—最小二乘法
最小二乘法参数辨识1 引言系统辨识是根据系统的输入输出时间函数来确定描述系统行为的数学模型。
现代控制理论中的一个分支。
通过辨识建立数学模型的目的是估计表征系统行为的重要参数，建立一个能模仿真实系统行为的模型，用当前可测量的系统的输入和输出预测系统输出的未来演变，以及设计控制器。
对系统进行分析的主要问题是根据输入时间函数和系统的特性来确定输出信号。
对系统进行控制的主要问题是根据系统的特性设计控制输入，使输出满足预先规定的要求。
而系统辨识所研究的问题恰好是这些问题的逆问题。
通常，预先给定一个模型类μ={M}（即给定一类已知结构的模型），一类输入信号u和等价准则J=L(y，yM)(一般情况下，J是误差函数，是过程输出y和模型输出yM的一个泛函)；然后选择使误差函数J达到最小的模型，作为辨识所要求的结果。
系统辨识包括两个方面：结构辨识和参数估计。
在实际的辨识过程中，随着使用的方法不同，结构辨识和参数估计这两个方面并不是截然分开的，而是可以交织在一起进行的。
2 系统辨识的目的在提出和解决一个辨识问题时，明确最终使用模型的目的是至关重要的。
它对模型类（模型结构）、输入信号和等价准则的选择都有很大的影响。
通过辨识建立数学模型通常有四个目的。
①估计具有特定物理意义的参数有些表征系统行为的重要参数是难以直接测量的，例如在生理、生态、环境、经济等系统中就常有这种情况。
这就需要通过能观测到的输入输出数据，用辨识的方法去估计那些参数。
②仿真仿真的核心是要建立一个能模仿真实系统行为的模型。
用于系统分析的仿真模型要求能真实反映系统的特性。
用于系统设计的仿真，则强调设计参数能正确地符合它本身的物理意义。
③预测这是辨识的一个重要应用方面，其目的是用迄今为止系统的可测量的输入和输出去预测系统输出的未来的演变。
例如最常见的气象预报，洪水预报，其他如太阳黑子预报，市场价格的预测，河流污染物含量的预测等。
预测模型辨识的等价准则主要是使预测误差平方和最小。
永磁同步电机参数辨识方法
MATLAB数据功能库。它拥有庞大的数学运算法则的集合，包含有基本的加，正弦，余弦功能到复杂的求逆矩阵及求矩阵的特征值，Bessel功能和快速傅立叶变换。
Simulink提供一个图形化用户界面用于建模，用鼠标拖拉块状图表即可完成建模。它为用户提供了方框图进行建模的图形接口，采用这种结构化模型就像你用手和纸来画一样容易。它与传统的仿真软件包微分方程和差分方程建模相比，具有更直观、方便、灵活的优点。Simulink包含有Sinks（输入方式）、Source（输入源）、Linear（线性环节）、Nonlinear（非线性环节）、Connections（连接与接口）和Extras（其他环节）子模型库，而且每个子模型库中包含有相应的功能模块。用户也可以定制和创建自己的模块。模块有等级之分，因此可以由顶层往下的步骤也可以选择从底层往上建模。可以在高层上统观系统，然后双击模块来观看下一层的模型细节。这种途径可以深入了解模型的组织和模块之间的相互作用。
永磁同步电机控制系统的性能受电机参数精度的影响较大较高性能的永磁同步电机矢量控制系统需要实时更新电机参数为提高系统性能本文研究了永磁同步电机的参数辨识问题文章中采用一种在线辨识永磁同步电机参数的方法这种基于最小二乘法参数辨识方法是在转子同步旋转坐标系下进行的通过matlabsimulink对基于最小二乘法的永磁同步电机参数辨识进行了仿真仿真结果表明这种电机参数辨识方法能够实时准确地更新电机控制参数
KEY WORDS：PMSM; Parameter Identifica意义
多参数最小二乘法
多参数最小二乘法
多参数最小二乘法是一种常用的数学优化方法，用于拟合数据点与数学模型之间的关系。
其基本原理是通过最小化误差平方和来确定模型参数。
误差平方和定义为所有数据点的预测值与实际值之差的平方和。
多参数最小二乘法的目标是找到能够使误差平方和最小的模型参数。
在实际应用中，多参数最小二乘法可以用于拟合各种不同类型的模型，例如线性模型、多项式模型、指数模型等。
这种方法的优点包括：简单且易于实现；对于线性模型，具有闭式解且计算速度较快；对数据中的噪声有一定的鲁棒性。
但也存在缺点，如对异常值敏感，可能会导致拟合结果不准确；只能用于线性模型，对于非线性模型需要进行线性化处理；在数据量较大时，计算复杂度较高。
为优化多参数最小二乘法，可以对数据进行预处理，去除异常值或使用鲁棒性更好的方法处理异常值；使用非线性回归方法对非线性模型进行拟合；引入正则化项来控制模型的复杂度，防止过拟合；使用矩阵运算和并行计算等技术，提高计算效率；通过交叉验证选择最优的模型参数，提高模型的泛化能力。
系统辨识之最小二乘
写成矩阵的形式为：
Y = Fq + e
3.6
é - y(n)
- y(n -1) … - y(1) u(n) … u(1) ù
F
=
ê ê ê
-
y(n "
-1)
- y(n) "
… - y(2)
u(n +1)
…
u(2)
ú ú
…"
" # "ú
êë- y(n + N ) - y(n + N -1) ! - y(N ) u(n + N ) ! u(N )úû
q = F -1y
如果噪声x ¹ 0，则 q = F-1y - F-1x
从上式可以看出噪声 x 对参数估计有影响，为了尽量减小噪声 x 对q 估值的影响，应取 N>(2n+1), 即方程数大于未知数数目。在这种情况下，不能用解方程的办法来求q ，而要采用数理统计的办法， 以便减小噪声对q 估值的影响。在给定输出向量 y 和测量矩阵 F 的条件下求系统参数q 的估值，这 就是系统辨识问题。可用最小二乘法来就q 的估值。
在科学研究中，为了揭示某些相关量之间的关系，找出其规律，往往需要求解其函数解析式。
一种方法是采用插值逼近法，即所构造的近似函数 f (x) 在已知节点 xi 上必须满足 f(xi) = yi 要求逼 近函数 f (xi) 与被逼近函数 f (x) 在各已知点 xi 处的误差为零，即要求 f (x) 的曲线必须通过所有的
取泛函 J (q )为
N
å å J (q ) = (Y - Fq )2 = e2 (n + i) = eT • e = (Y - Fq )T (Y - Fq ) i =1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《系统辨识基础》第14讲要点
第5章 最小二乘参数辨识方法
● 最小二乘估计和加权最小二乘估计，由于数据矩阵L H 和输出向量L z 均具有随机性，故参数估计值LS θˆ
或WLS θˆ
亦为随机向量。
当模型的噪声满足一定条件时，它们具有一些优良的统计性质。
5.7 最小二乘估计的统计性质 5.7.1 无偏性
● 无偏性是用来衡量参数估计值是否围绕真值波动的一个性质。
● 定理：如果模型噪声向量L n 是零均值且与数据矩阵L H 统计独立，则最小二乘参数
估计值LS θˆ或加权最小二乘参数估计值WLS θˆ
是无偏估计量，即0LS E θθ=}ˆ{或0WLS E θθ=}ˆ{，其
中0θ为模型参数真值。
5.7.2 参数估计偏差的协方性质
● 参数估计偏差的协方差阵是用来评价参数估计精度的一个依据。
● 定理：如果模型噪声向量L n 是零均值且与数据矩阵L H 统计独立的随机向量，则加权最小二乘参数估计偏差WLS 0WLS θθθˆ
~
-=的协方差阵可写成
})(){(}~{1
1WLS E Cov --=L L L L L n L L L L L H H H H H H ΛΛ∑ΛΛθτττ
其中n ∑是噪声协方差阵，0θ为模型参数真值．
● 推论：如果模型噪声向量L n 是零均值白噪声，且加权矩阵取I =L Λ，则最小二乘参
数估计偏差LS 0LS θθθˆ~
-=的协方差阵为
C ov LS {~
}θ=
})
{(1
2E -L L n H H τσ
其中2n σ
是噪声方差，0θ为模型参数真值．
● 推论：如果模型噪声向量L n 是零均值且与数据矩阵L H 统计独立的随机向量，加权矩阵取1-=n L ∑Λ，则模型的参数估计值为
L n L L n L z H H H 1
1
1
MV ---=∑∑θττ
)
(ˆ
相应的参数估计偏差MV 0MV θθθˆ~
-=的协方差阵为
}){(~1
1MV E =}Cov{--L n L H H ∑θτ
5.7.3 一致性
● 一致性描述参数估计值的收敛情况。
● 定理：如果模型噪声向量L n 是零均值白噪声，最小二乘参数估计是一致收敛的，即
有01W.P.
LS θθ−−→−∞
→ˆ
lim L 。
5.7.4 有效性
● 有效性表明参数估计值偏差的协方差阵将达到下界。
● 定理：如果模型噪声向量L n 是零均值白噪声，并设模型噪声服从正态分布，则最小
二乘参数估计值LS θˆ
是有效估计值，即参数估计值偏差的协方差阵达到Cram ér-Rao 不等式的
下界
=}~{LS Cov θ1
1
2E --=M
H H }){(L L n τσ
其中M 为Fisher 信息矩阵
⎪⎭
⎪⎬⎫
⎪⎩
⎪⎨⎧
⎥⎦⎤
⎢⎣⎡∂∂⎥⎦⎤⎢⎣⎡∂∂=LS
E θτθθθθˆ
)|(log )|(log L L p p z z M
● 推论：如果模型噪声向量L n 是零均值且与数据矩阵L H 统计独立的随机向量，加权矩阵取1
-=n
L ∑
Λ，并设模型噪声服从正态分布，则Markov 参数估计MV θˆ
也是有效估计，即
1
1
1MV E =}Cov{---=M
H H }){(~L n L ∑θτ
5.7.5 渐近分布性质
● 定理：如果模型噪声向量L n 是零均值白噪声，并设模型噪声服从正态分布，则最小二乘估计具有如下一些分布性质
① ,(~~
0LS θθN })){(1
2E -L L
n H H τσ ②,(~0N L ε)I 2
n
σ 且0E LS =}ˆ
{τεθL
, ③
~.
2
2 a.s n
L L n
L
L σ
σ
n n τ
τ
εε−−→
−χ
)
dim (θ-L 2
,
④~
dim ~2
1-⎥
⎦
⎤⎢⎣⎡-θε
ετ
L p L L i i θt N i L ,,,),dim ( 21=-θ,
式中p i 是矩阵1
-)(L L
H H τ第i 个主对角线元素。
● 推论：如果模型噪声向量L n 是零均值且与数据矩阵L H 统计独立的随机向量，加权矩阵取1-=n
L ∑Λ，并设模型噪声服从正态分布，则Markov 参数估计值MV θˆ
也服从正态分布，
即
,(~~
0MV N θθ})){(1
12E --L n L n H H ∑στ
5.7.6 噪声方差估计性质
● 定理：如果模型噪声向量L n 是零均值白噪声，模型噪声方差2n σ的估计值
σ
n
2=
θ
εετ
dim -L L L
是无偏一致估计，式中LS θεˆ
L L L H z -=，定义为输出残差向量。
● 结论：如果模型噪声n (k )是均值为零、服从正态分布的白噪声，则模型参数θ的最小二乘估计值是无偏、一致、有效估计。