矩阵论课外报告---最小二乘法

一、 报告摘要

在已知曲线大致模型的情况下，运用曲线拟合最小二乘法，使得观测数据与曲线模型数据之间的误差平方和最小。进而求得曲线的模型参数，并由所求的曲线模型进行分析预测。

二、 题目内容

一颗导弹从敌国发射，通过雷达我们观测到了它的飞行轨迹，具体有如下数据：

我国军情处分析得出该导弹沿抛物线轨道飞行。 问题：预测该导弹在什么水平距离着地。

三、 基本术语

1. 内积

设V 是实数域R 上的线性空间，如果V 中任意两个向量,αβ都按某一个确定的法则对应于惟一确定的实数，记作(,)αβ，并且(,)αβ满足

i. 对任意的,V αβ∈，有(,)(,)αββα=

ii. 对任意的,,V αβγ∈，有(,)(,)(,)a αβγγβγ+=+ iii. 对任意的,,k R V αβ=∈有(,)(,)k k αβαβ=

iv.

对任意的V α∈，有(,)0αα≥。当且仅当0α=时，(,)0αα=

则称(,)αβ为向量,αβ的内积。如无特殊说明的，我们认为对任意向量

1212(,,,),(,,,)n n a a a b b b αβ== ，其内积(,)αβ为

1122(,)n n a b a b a b αβ=+++

2. 范数

如果V 是数域K 上的线性空间，且对于V 的任以向量χ，对应于一个实数函数χ，它满足如下三个条件。

i. 非负性 当0χ≠时0χ>；当0χ=时，0χ=；

ii. 齐次性 ,a a V χχχ=∈；

iii.

三角不等式

,,V χζχζχζ+≤+∈；

则称χ为V 上χ的范数。

可以证明对于向量12(,,,)n χξξξ= 的长度

χ=

是一种范数，我们称为2-范数，记为2χ。

3. 线性方程组

设有n 个未知数m 个方程的线性方程组

11112211

21122222

1122n n n n m m mn n m

a x a x a x

b a x a x a x b a x a x a x b +++=⎧⎪+++=⎪⎨

⋅⋅⎪⎪+++=⎩ 可以写成以向量x 为未知元的向量方程

Ax b =

则A 为该方程的系数矩阵，(,)B A b =为增广矩阵。该线性方程有解的条件如下

i. 当A 的秩()R A 和B 的秩()R B 满足()()R A R B <时，该方程无解 ii.

当()()R A R B n ==时，该方程有唯一解。

iii. 当()()R A R B b =<时，该方程有无穷解。

四、 基本原理

对于一组给定的实验数据（i x ，i y ）（0,1,i m =⋅⋅⋅，），要求出自变量x 与因变量y 的函数关系()y S x =，由于观测数据总有误差，所以不要求()y S x =通过已知点（i x ，i y ）（0,1,i m =⋅⋅⋅，），而只要求在给定点i x 上的误差

()(0,1,,i i i S x y i m δ=-=⋅⋅⋅的平方和20

m

i i δ=∑最小。

若已知

0011()()()()n n S x a x a x a x ϕϕϕ=++⋅⋅⋅+

这里01(),(),,()n x x x ϕϕϕ⋅⋅⋅是线性无关的函数族，假定有一组数据

{(,),0,1,,}i i x y i m =⋅⋅⋅，要求()y S x =使01(,,,)n I a a a =⋅⋅⋅最小，其中

2011(,,,)[()]m

n i i i I a a a S x y ==⋅⋅⋅=-∑

这就是最小二乘逼近，得到的拟合曲线为()y S x =，这种方法称为曲线拟合的最小二乘法。

01(,,,)n I a a a =⋅⋅⋅实际上是关于01,,,n a a a ⋅⋅⋅的多元函数，求01(,,,)

n I I a a a =⋅⋅⋅的最小值就是求多元函数01(,,,)n I I a a a =⋅⋅⋅的极值，由极值的必要条件，可得

000

2[()()]()0m

i n n i i k i i k I

a x a x y x a ϕϕϕ=∂=+⋅⋅⋅+-=∂∑ (0,1,,)k n =⋅⋅⋅

我们令001(),()i i i m n y x y y x y ϕϕϕ⎡⎤⎡⎤⎢⎥

⎢⎥⎢⎥==⎢⎥⎢⎥

⎢⎥⎢⎥⎣⎦

⎣⎦ (0,1,,)i m = ，即i ϕ是将实验数据0(,)m x x 带入函数()i x ϕ所得的列向量，y 是实验数据01(,,,)n y y y 的列向量。则上式可改写为

0011(,)(,)(,)(,)k k n k n k a a a y ϕϕϕϕϕϕϕ+++= (0,1,,)k n =

这是关于参数 01,,,n a a a ⋅⋅⋅的线性方程组，用矩阵表示为

0000010101111101(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)n n n n n n n n a y a y a y ϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕϕ⎛⎫⎛⎫

⎛⎫ ⎪

⎪ ⎪ ⎪ ⎪ ⎪= ⎪ ⎪

⎪ ⎪

⎪ ⎪⎝⎭⎝⎭⎝

⎭ 该线性方程称为法方程。对于该方程的系数矩阵A 和增广矩阵B ，当R （A ）=R

（B ）=n 时，该方程有唯一解。记方程解为*

k k a a = (k =0,1,,n)，从而得到最小

二乘拟合曲线

****

0011()()()()n n y S x a x a x a x ϕϕϕ==+++

可以证明对任意101(,,,)T n n a a a R +∈ ，有**

*0101(,,,)(,,,)

n n I a a a I a a a ≤ 。因而*()S x 即为所求的最小二乘解。误差向量δ为

*00*11*()()()m m S x y S x y S x y δ⎡⎤

-⎢⎥-⎢⎥=⎢⎥⎢⎥⎢⎥-⎣⎦

则拟合曲线的平方误差为向量δ的2-范数的平方，即

2*220

[()]m

i i i S x y δ

==-∑

五、 正文

由题目内容可知，该导弹沿抛物线飞行。我们从导弹的观测到的发射点为O 点，以导弹前进方向的水平面的x 轴，以O 点的垂直高度为y 轴，建立直角坐标系。则观测数据为

i

0 1 2 3 4