matlab回归分析

回归分析
一元线性回归 数 学 模 型 及 定 义
2010-11-19
多元线性回归 性 回 归 （曲 线 回 归 ） 可 线 性 化 的 一 元 非 线 数 学 模 型 及 定 义 检 验 与 预 测
模 型 参 数 估 计
模 型 参 数 估 计
多 元 线 性 回 归 中 的
逐 步 回 归 分 析
*
* * * *
ˆ
y = 11.6789e
1.1107 − x
16
一、数学模型及定义
一般称
Y = Xβ + ε 2 E (ε ) = 0, COV (ε , ε ) = σ I n
为高斯—马尔柯夫线性模型(k 元线性回归模型 k 元线性回归模型)，并简记为 (Y , Xβ , σ 2 I n )
y1 1 x11 ... 1 x 21 Y = ，X = ... ... ... yn 1 x n1
以身高x为横坐标，以腿长y为纵坐标将这些数据点（xI，yi） 在平面直角坐标系上标出.
102 100 98 96 94 92 90 88 86 84 140 145 150 155 160 165
解答
y = β 0 + β1 x + ε
2010-11-19
散点图
4
一般地，称由 y = β 0 + β1 x + ε 确定的模型为一元线性回归模型 一元线性回归模型， 一元线性回归模型 记为
y 0 的置信水平为 1 − α 的预测区间 预测区间为 预测区间 ˆ ˆ [ y0 − δ ( x0 ), y 0 + δ ( x0 )]
1 (x0 − x ) ˆ 其中 δ ( x 0 ) = σ e t α ( n − 2) 1 + + 1− n L xx 2
2
特 别 ， 当 n 很 大 且 x0 在 x 附 近 取 值 时 , y 的 置 信 水 平 为 1 − α 的预 测 区 间 近 似 为
β 0 和 β 1 置信水平为 1-α 的置信区间分别为
1 x2 ˆ 1 x2 ˆ ˆ ˆ , β 0 + t α (n − 2)σ e + + β 0 − t α (n − 2)σ e 1− 1− n Lxx n L xx 2 2
ˆ ˆ + t (n − 2)σ / L ˆ ˆe 和 β 1 − t α ( n − 2)σ e / L xx , β 1 α xx 1− 1− 2 2
y = β 0 + β1 x + ε Eε = 0, Dε = σ 2
固定的未知参数 β 0 、 β1 称为回归系数，自变量 x 也称为回归变量.
Y = β 0 + β 1 x ，称为 y 对 x 的回归直线方程.
一元线性回归分析的主要任务 主要任务是： 主要任务
1、用试验值（样本值）对 β 0 、 β 1 和 σ 作点估计； 2、对回归系数 β 0 、 β 1 作假设检验； 3、在 x= x 0 处对 y 作预测，对 y 作区间估计.
ˆ ˆ ˆ ˆ y − σ e u 1− α , y + σ e u 1− α 2 2
2010-11-19 12
（2）控制 ）
要求： y =
β 0 + β 1 x + ε 的值以 1 − α 的概率落在指定区间 ( y ′, y ′′)
ˆ ˆ y − δ ( x) ≥ y ′, y + δ ( x) ≤ y ′′ ˆ ˆ 要求 y ′′ − y ′ ≥ 2δ ( x ) . 若 y − δ ( x ) = y ′, y − δ ( x ) = y ′′ 分别有解 x′ ˆ ˆ 和 x ′′ ，即 y − δ ( x ′) = y ′, y + δ ( x ′′) = y ′′ . 则 ( x ′, x ′′) 就是所求的 x 的控制区间.
返回
2010-11-19 13
只要控制 x 满足以下两个不等式
四、可线性化的一元非线性回归 曲线回归） （曲线回归）
例2 出钢时所用的盛钢水的钢包，由于钢水对耐火材料的侵蚀， 容积不断增大.我们希望知道使用次数与增大的容积之间的关 系.对一钢包作试验，测得的数据列于下表：
使用次数 2 3 4 5 6 7 8 9 增大容积 6.42 8.20 9.58 9.50 9.70 10.00 9.93 9.99 使用次数 10 11 12 13 14 15 16 增大容积 10.49 10.59 10.60 10.80 10.60 10.90 10.76
（2）在 x1 = x01 , x2 = x02 ,..., xk = x0 k , 处对 y 的值作预测与控制，即对 y 作区间估计.
2010-11-19 17
二、模型参数估计
1、对 β i 和σ 2 作估计
用最小二乘法求 β 0 ,..., β k 的估计量：作离差平方和
Q = ∑ ( y i − β 0 − β 1 xi1 − ... − β k xik )
i =1
n
2
选择 β 0 ,..., β k 使 Q 达到最小。
ˆ 注 意 ： β 服 从 p+1 维 正 态 分
ˆ 得到的 β i 代入回归平面方程得：
布，且为 β 的无偏估 计 ， 协 方 差 阵 为 σ 2C . C=L -1 =(c i j), L=X ’X
ˆ ˆ ˆ y = β 0 + β 1 x1 + ... + β k x k
（Ⅱ）t检验法 检验法
当 H 0 成立时， T = 故T >t
α
2
n
ˆ Lxx β 1 ~t（n-2） ˆ σe
1−
(n − 2) ，拒绝 H 0 ，否则就接受 H 0 .
n 2 i =1
其中L xx = ∑ ( xi − x ) = ∑ xi2 − nx 2
2010-11-19
i =1
9
（Ⅲ）r检验法 检验法
（ 5）对数曲线 y=a+blogx,x>0 对数曲线
（6）S 型曲线 y =
1 a + be − x
解例 2.由散点图我们选配倒指数曲线 y=aeb / x
ˆ ˆ 根据线性化方法，算得 b = −1.1107, A = 2.4587
返回
2010-11-19
由此 最后得
ˆ a = e A = 11.6789
线性模型 (Y , Xβ , σ I n ) 考虑的主要问题是：
y = β 0 + β1 x1 + ... + β k xk 称为回归平面方程 回归平面方程. 回归平面方程
返回
（1）用试验值 （样 本值） 对未知 参数 β 和 σ 2 作点估计和 假设检 验， 从而建 立 y 与
x1 , x 2 ,..., x k 之间的数量关系；
β 0 , β1
2010-11-19 6
2、 σ 2 的无偏估计
ˆˆ 记 Qe = Q( β 0 , β1 ) = ˆ ∑ (y − β
n i =1 i 0
ˆ − β 1 xi
ˆ ) = ∑( y − y )
2 n i =1 i i
2
称 Qe 为残差平方和 剩余平方和. 残差平方和或剩余平方和 残差平方和
2010-11-19 15
通常选择的六类曲线如下：
1 b （1）双曲线 = a + 双曲线 y x
（2）幂函数曲线 y=a x b , 其中 x>0,a>0 幂函数曲线
（3）指数曲线 y=a e bx 其中参数 a>0. 指数曲线
（4）倒指数曲线 y=a e b / x 其中 a>0， 倒指数曲线
数学建模与数学实验
回归分析
2010-11-19 1
实验目的
1、直观了解回归分析基本内容。 、直观了解回归分析基本内容。 2、掌握用数学软件求解回归分析问题。 、掌握用数学软件求解回归分析问题。
实验内容
1、回归分析的基本理论。 回归分析的基本理论。 2、用数学软件求解回归分析问题。 、用数学软件求解回归分析问题。 实验作业。 3、实验作业。
记
Q = Q ( β 0 , β 1 ) = ∑ ε = ∑ ( y i − β 0 − β 1 xi )
i =1 2 i i =1
n
n
2
ˆ ˆ 最小二乘法就是选择 β 0 和 β 1 的估计 β 0 ， β 1 使得 最小二乘法
ˆ ˆ Q ( β 0 , β 1 ) = min Q ( β 0 , β 1 )
称为经验回归平面方程. β i 称为经验回归系数. 经验回归平面方程 ˆ 经验回归系数
2010-11-19
18
2、 多项式回归
设变量 x、Y 的回归模型为
Y = β 0 + β1 x + β 2 x 2 + ... + β p x p + ε
ˆ2 σ 2 的无偏估计 的无偏估计为 σ e = Qe (n − 2)
ˆ ˆ ˆ 称 σ e 为剩余方差（残差的方差） σˆ e 分别与 β 0 、 β 1 独立 。 剩余方差（残差的方差） ， 剩余方差
2 2
ˆ 剩余标准差 σ e 称为剩余标准差.
2010-11-19
返回
7
检验、 三、检验、预测与控制
σ 2 的置信水平为 1-α 的置信区间为
Qe Q , 2 e χ 2 ( n − 2) χ ( n − 2) α 1− α 2 2
2010-11-19 11
3、预测与控制 、 （1）预测 ）
ˆ ˆ ˆ 用 y0 的回归值 y 0 = β 0 + β 1 x 0 作为 y0 的预测值.