SAS统计之第六章非线性回归

y a b ln x
化为： y a bx'
实例2：曲线回归 计算：
SSx ' x ' x ' / n
2 2
208.313 56.423 / 16
2
9.341
SPx ' y x' y x' y / n 1234.864 56.423 428.5 / 16 276.214
实例1：曲线回归 散点图：
y
40 35 30 25 20 15 10 5 0 0 5 10 15 20 25 30 35
x
采用指数曲线模型： y
ae
bx
实例1：曲线回归 曲线模型直线化
ln y ln a bx
令： y ' ln 则：
y a ln a
y' a'bx
实例1：曲线回归
3. 线性化方法 整理后，取自然对数得：
令
得： y ' a 'bx
k y ln y ln a bx k y a' ln a，y ' ln y
第一节 可转化为直线的曲线回归
k值的计算 （1）k若是累积百分数，则 k=100% （2）否则取接近 x2 ( x1 x3 ) 2 关系 的三对观察值 ( x1 , y1 ), ( x2 , y2 ), ( x3 , y3 )
a y 'bx 2.302 0.095415.0 0.8705
实例1：曲线回归
a ln a
ae e
a
0.8705
2.388
得指数曲线模型：
ˆ ae 2.388e y
bx
0.0954 x
实例1：曲线回归 决定系数：R
2 xy
0.9831
回归系数b检验：
函数表达式比较复杂很难或不能转化为 直线回归模型的曲线回归模型。
第六章 非线性回归
非线性回归的三种类型
3、多项式回归
一元多项式回归（一个自变量，有一次项、二
次项…高次项等，图形是曲线。）
多元多项式回归（两个或多个自变量，各有一
次项、二次项…高次项和交叉乘积项等，图形是曲面。）
反应面回归（多个自变量、一次或二次多项式回
实例1：指数曲线的拟合
序号 1 2 3 4 5 6 7 合计 天数 x 0 5 10 15 20 25 30 105 枝稍生长 量y 2.1 3.7 6.4 12.2 18.1 26.3 34.5 103.3
y' ln y
0.742 1.308 1.856 2.501 2.896 3.270 3.541 16.114
第二节 不可转化为直线的曲线回归
2.回归系数的计算
用最小二乘法估计回归系数β，使 残差平方和：
1 1 Qe ( ) E ' E (Y F ( )) '(Y F ( )) 2 2
达到最小值。
非线性回归系数的计算一般采用数 值迭代法来进行。
第二节 不可转化为直线的曲线回归
0.9965
回归系数b的显著性检验： t 63.31 ，df n 2 14
| t | t0.01 (14) 2.977
y 和x’线性回归关系达极显著
ˆ 131.05 29.568ln x 对数回归方程：y
第二节 不可转化为直线 的曲线回归
第二节 不可转化为直线的曲线回归
归，图形是曲面。）
第一节 可以转化为直线 的曲线回归
第一节 可转化为直线的曲线回归
一、
第一节 可转化为直线的曲线回归
二、
第一节 可转化为直线的曲线回归
三、
第一节 可转化为直线的曲线回归
四、S形曲线（Logistic曲线）
1. 基本形式 2. 图形 k
k y bx 1 ae
第一节 可转化为直线的曲线回归
第三节 多项式回归
3. 回归系数的计算
对于n对观测数据，令
y1 y 2 Y yn
1 1 X 1 1 x1 x2 x3 xn x12
2 x2 2 x3
2 xn
x1k b0 b k x2 1 k B b2 x3 k xn bm
第三节 多项式回归 1.多项式回归模型
在数学上，一般函数都可以用多项 式来逼近，当两个变量间的关系复杂 难于确定时，可以使用多项式回归来 拟合。 k次多项式回归模型：
y = b0+b1x1+b2x2+…+bkxk+ε
第三节 多项式回归 2. 回归次数的初步确定
拟合多项式回归的两个变量有n对观察 值时，最多可以配到k=n-1次多项式。 根据散点图所表现的曲线趋势，回归 k =1(波谷)+1=2 k =2(波峰)+1(波谷)+1=4 模型的次数为： k = 波峰数 + 波谷数 + 1 若波动较大或峰谷两侧严重不对称， 可再增加一次。
第六章 非线性回归
1.可以转化为直线的曲线回归 2.不可转化为直线的曲线回归
3.Байду номын сангаас项式回归
第六章 非线性回归
非线性回归的三种类型
1、可转化为直线回归的曲线回归 包括指数函数曲线、对数函数曲线、幂 函数曲线、S型函数曲线和双曲线函数等回 归模型，可以通过数学变换方法转化为直线 回归问题来解决。 2、不可转化为直线回归的曲线回归
lnx
1.609 2.303 2.708 2.996 3.219 3.401 3.555 3.689
y
82.0 65.0 52.0 44.0 36.0 30.0 25.0 21.0
x
45 50 55 60 65 70 75 80
lnx
3.807 3.912 4.007 4.094 4.174 4.248 4.317 4.382
第三节 多项式回归
5. 回归系数的假设检验
2.F检验 H0 ：β i＝0
b / c(i 1)(i 1) U i 统计量： F Q / n k 1 Q / n k 1
其中：Ui 为xi对y的回归平方和，Q 为误差平方和 C(i+1)(i+1)为矩阵(X’X)-1的(i+1)(i+1)元素
将三对观察值带入下式，可解得：
y ( y1 y3 ) 2 y1 y2 y3 k 2 y2 y1 y3
2 2
第一节 可转化为直线的曲线回归
五、
第一节 可转化为直线的曲线回归
常用的可转化为直线的曲线模型： 第 １ 种曲线模型: y=a+bx*x. 第 ２ 种曲线模型: y=a+bx*x*x. 第 ３ 种曲线模型: y=1/(a+bx) 第 ４ 种曲线模型: y=1/(a+b*exp(-x)) 第 ５ 种曲线模型: y=1/(a+bx*x) 第 ６ 种曲线模型: y=1/(a+bx*x*x) 第 ７ 种曲线模型: y=a*exp(bx) 第 ８ 种曲线模型: y=a*exp(bx*x) 第 ９ 种曲线模型: y=a*b^(x*x*x) 第 10 种曲线模型:y=(a+bx)/x
1.非线性回归模型
y = F(x1,x2,x3…xm；β)+ε
其中：F 为数学函数关系表达式 β=(β1,β2,…,βm)’ 为回归系数 ε 为随机误差
第二节 不可转化为直线的曲线回归
将观测值带入非线性回归模型 简记为：
Y = F(β)+E
其中：Y=(y1,y2,…,yn)’ 为y的观察值向量 β=(β1,β2,…,βm)’为回归系数 E=(ε1,ε2,…,εn)’为随机误差向量
2 i
自由度：df1＝1 df2=n-m-1
第三节 多项式回归
6. 多项式回归注意事项
多项式回归模型通常只能用于描述 变量试验范围内的变量回归关系，外 推一般并不可靠。
由于(X’X)-1的计算复杂而且也不稳 定，可以采用正交多项式来进行多项 式回归。
SP xy xy x y / n 308.515 10516.114/ 7 66.805
SSx x x / n
2 2
2275 105 / 7
2
700
实例1：曲线回归
66.808 b 0.0954 SSx 700 SP xy
回归系数的数值迭代法计算步骤
1.选定回归系数β的初始值β0 2.选择适当的搜索方向向量Δ和步长t 3.计算新回归系数 β= β0 + t· Δ 使得 Qe(β) < Qe (β0) 4.重复上述2-3步的过程，直至Qe(β) 达到最小值为止
第二节 不可转化为直线的曲线回归
1974年，Bard给出了使Qe(β)下降的 充要条件： Δ = PG‘(Y-F(β)) 得到迭代公式 β = β0 + t· Δ = β0 + tPG‘(Y-F(β)) 其中：P 为任意正定矩阵 G 为F 函数的梯度 t 满足Qe(β)<Qe (β0)的正实数
第一节 可转化为直线的曲线回归
第 11 种曲线模型: y=a+b*ln(x) 第 12 种曲线模型: y=a+b*√x 第 13 种曲线模型: y=x/(a+bx) 第 14 种曲线模型: y=a*(x^b) 第 15 种曲线模型: y=a*(b^√x) 第 16 种曲线模型: y=1/(a+b*ln(x)) 第 17 种曲线模型: y=1/(a+b*√x) 第 18 种曲线模型: y=a*exp(b/x) 第 19 种曲线模型: y=L+K/(1+a*exp(bx)) 第 20 种曲线模型:y=b0+b1*x+b2*x*x 第 21 种曲线模型:y=b0+b1*x+b2*x*x+b3*x*x*x