第八章 回归方程的函数形式
第八章回归方程的函数形式
回忆参数线性模型和变量线性模型（见5.4）。我们所关注的是参数线性模型，而并不要求变量Y与X一定是线性的。
在参数线性回归模型的限制下，回归模型的形式也有多种。
我们将特别讨论下面几种形式的回归模型：
(1) 对数线性模型(不变弹性模型)
(2) 半对数模型。
(3) 双曲函数模型。
(4) 多项式回归模型。
上述模型的都是参数线性模型，但变量却不一定是线性的。
8.1 三变量线性回归模型
以糖炒栗子需求为例，现在考虑如下需求函数：
Y =
2
B
i
AX( 8 - 1 )
此处变量Xi是非线性的。但可将式( 8 - 1 )做恒等变换表示成另一种形式：
lnYi= lnA+B2lnXi ( 8 - 2 )
其中，ln表示自然对数，即以e为底的对数；令
B1= lnA ( 8 - 3 )
可以将式( 8 - 2 )写为：
lnYi = B1 + B2lnXi ( 8 - 4 )
加入随机误差项，可将模型( 8 - 4 )写为：
lnYi = B1+B2lnXi+ui ( 8 - 5 )
( 8 - 5 )是一个线性模型，因为参数B1和B2是以线性形式进入模型的；形如式( 8 - 5 )的模型称为双对数模型或对数-线性( log-linear )模型。
一个非线性模型可以通过适当的变换转变为线性(参数之间)模型的：
令Yi* = lnYi ,
Xi* = lnXi
则( 8 - 5 )可写为：
Yi* = B1 + B2 Xi* + ui ( 8 - 6 )
这与前面讨论的模型相似：它不仅是参数线性的，而且变形后的变量Y*与X*之间也是线性的。
如果模型( 8 - 6 )满足古典线性回归模型的基本假定，则很容易用普通最小二乘法来估计它，得到的估计量是最优线性无偏估计量。
双对数模型(对数线性模型)的应用非常广泛，原因在于它有一个特性：
斜率B2度量了Y对X的弹性。如果Y代表了商品的需求量，X代表了单位价格， Y代表
Y 的一个小的变动，?X 代表X 的一个小的变动（?Y /?X 是dY/dX 的近似），E 是需求的价格弹性，定义弹性E 为： E= Y100/Y X100 / X
= Y X Y
X
=斜率×Y X ( 8 - 7 )
对于变形的模型（8 - 6） B2= Y ln Y X ln X
*=*
Y/Y Y X/ X Y
X X == 可得B2是Y 对X 的弹性。因为
ln Y ln Y 1ln Y d Y dY Y Y Y
≈=≈
所以对数形式的改变量就是相对改变量：
图8 - 1 a 描绘了函数式( 8 - 1 )，图8 - 2 b 是对式( 8 - 1 )做对数变形后的图形。图8 - 1 b 中的直线的斜率就是价格弹性的估计值(－B2)。
由于回归线是一条直线(Y和X都采取对数形式)，所以它的斜率(－B2)为一常数；又由于斜率等于其弹性：所以弹性为一常数—它与X的取值无关。
由于这个特殊的性质，双对数模型(对数线性模型)又称为不变弹性模型。
例8.1 对炒栗子的需求
回顾炒栗子一例的散点图，不难发现需求量和价格之间是近似线性关系的，因为并非所有的样本点都恰好落在直线上。如果用对数线性模型拟合表8-1给出的数据，情况又会怎样？
OLS回归结果如下：
ln Yi = 3.9617 - 0.2272lnXi
se = (0.0416) (0.0250) ( 8 - 8 )
t = (95.233) -(9.0880)
r 2 = 0.9116
可知价格弹性约为－0.23，表明价格提高1个百分点，平均而言需求量将下降0.23个百分点。
截距值3.96表示了lnX为零时，lnY的平均值，没有什么具体的经济含义。
r2=0.9166，表示logX解释了变量logY91%的变动。
对数线性模型的假设检验
线性模型与对数线性模型的假设检验并没有什么不同。在随机误差项服从正态分布(均
值为0，方差为
2
δ)的假定下，每一个估计的回归系数均服从正态分布。
如果用
2
δ的无偏估计量2S代替，则每一个估计的回归系数服从自由度为(n－k)的t
分布，其中k为包括截距在内的参数的个数。在双变量模型中，k为2，在三变量模型中，k 为3，等等。
根据式( 8 - 8 )的回归结果，很容易检验每一个估计的参数在5%的显著水平下，都显著不为零，t值分别为9.08(b2)，95.26(b1)，均超过了t临界值2.306 (自由度为8，双边检验)。
8.3 多元对数线性回归模型
双变量对数线性回归模型很容易推广到模型中解释变量不止一个的情形。例如，可将三变量对数模型表示如下：
lnYi= B1+ B2lnX2i+ B3lnX3i+ ui ( 8 - 9 )
偏斜率系数B2、B3又称为偏弹性系数。
B2是Y对X2的弹性(X3保持不变)，即在X3为常量时，X2每变动1%，Y变化的百分比。由于此时X3为常量，所以称此弹性为偏弹性。类似地，B3是Y对X3的(偏)弹性(X2保持不变)。
简而言之，在多元对数线性模型中，每一个偏斜率系数度量了在其他变量保持不变的条件下，应变量对某一解释变量的偏弹性。
例8.2 柯布-道格拉斯生产函数
模型( 8 - 9)是著名的柯布-道格拉斯生产函数(Cobb-Douglas production function)(C-D函数, Y=B1X2B2X3B3)。令Y表示产出，X2表示劳动投入，X3表示资本投入，式( 8 -9 )反映了产出与劳动力、资本投入之间的关系。
表8 - 2给出1955～1974年间墨西哥的产出Y，用国内生产总值GDP度量，劳动投入X2，以及资本投入X3的数据。
得到如下回归结果1：
lnYt = -1.6524 + 0.3397 lnX2t + 0.8640 lnX3t
se= (0.6062) (0.1857) (0.09343) (8-10)
t = (-2.73) (1.83) (9.06)
p= (0.014) (0.085) ( 0.000 )
R2 = 0.994
偏斜率系数0.3397表示产出对劳动投入的弹性，即在资本投入保持不变的条件下，劳动投入每增加一个百分点，平均产出将增加3 4%。类似地，在劳动投入保持不变的条件下，资本投入每增加一个百分点，产出将平均增加0.85个百分点。
将两个弹性系数相加，得到一个重要的经济参数—规模报酬参数(returns to scale parameter)，它反映了产出对投入的比例变动。如果两个弹性系数之和为1，则称规模报酬不变(例如，同时增加劳动和资本为原来的两倍，则产出也是原来的两倍)；如果弹性系数之和大于1，则称规模报酬递增(increasing returns to scale)。如果弹性系数之和小于1，则称规模报酬递减(decreasing returns to scale)。
本例中，两个弹性系数之和为1.185 7，表明当时墨西哥经济是规模报酬递增的。
R2值为0.995，表明(对数)劳动力和资本解释了大约99.5%的(对数)产出的变动，表明了模型很好地拟合了样本数据。
8.4 半对数模型：被解释变量是对数形式
用来测量被解释变量的增长率（相对变动率）
例8.4 美国消费信贷的增长率
表8 - 3给出了美国1973～1987年间消费者信贷的数据。现求此期间信贷的增长率(Y)。
复利计算公式：
Yt= Y0 ( 1+ r) t( 8 - 11 )
其中，Y0—Y的初始值
Yt—第t期的Y值
r—Y的增长率(复利率)
将式( 8 - 11 )两边取对数，得：
lnYt= lnY0 + tln(1+r)
令
B1= lnY0
B2=ln(1+r)
可得
lnYt=B1+B2t
引进随机误差项，得：
lnYt=B1+B2t+ut ( 8 - 12 )
用普通最小二乘法来估计模型，得到如下回归结果：
lnYt = 12.007 + 0.094 6t
se = (0.0319) (0.0035)
t = (376.40) (26.03)
R 2 = 0.9824
形如式( 8 - 12 )的回归模型称为半对数模型，因为仅有一个变量以对数形式出现。 斜率0.0946表示Y 的年增长率为9.46%，因为，在诸如式(8-12)的半对数模型中，斜率度量了给定解释变量的绝对变化所引起的Y 的比例变动或相对变动。将此相对改变量乘以100，就得到增长率。
利用微分，可以证明： B2 = ln 1dY d Y dY dt dt Y dt Y ==
8.5 线性对数模型：解释变量是对数形式
度量解释变量每变动1%所引起的被解释变量的绝对改变量。
例8.5 美国GNP 与货币供给
假定联储很关注货币供给的变动对GNP 的影响。表8 - 4给出了GNP 和货币供给(用M2度量)的数据。
考虑下面模型：
Yt=B1+B2lnX2t+ut ( 8 - 13 )
其中，Y=GNP ，X=货币供给。
用微分，可以证明：
21dY B dX X
= 2()dY dY B X dX dX X
== ( 8 - 14 ) Y =X 的绝对变化量的相对变化量
因此，模型( 8 - 13 )中的斜率系数度量了Y 的绝对变化量和X 的相对变化量的比值。若乘以100，则式( 8 - 14 )给出了X 每变动一个百分点引起的Y 的绝对变动量。
回归结果：
Yt = -16329.0 + 2584.8lnXt
t = (-23.494) (27.549)
R 2= 0.9832
发现货币供给每增加一个百分点，平均而言，GNP 将增加25.84亿美元。
形如式( 8 - 13 )的线性对数模型常用于研究解释变量每变动1%，相应应变量的绝对变化量的情形。
当然，模型可以有不止一个的对数形式的解释变量。每一个偏斜率系数度量了在其他变量保持不变的条件下，某一给定变量X每变动1%所引起的应变量的绝对改变量。
8.6 双曲函数模型
形如下式的模型称为双曲函数模型：
Yi = B1 + B2（1
Xi）+ ui ( 8 - 15 )
该模型变量之间是非线性，因为X以倒数形式进入模型的，但模型是参数线性模型。
模型的显著特征是，随着X的无限增大，(1/Xi)将接近于零，Y将逐渐接近B1渐进值或极值。
双曲函数模型的一些可能的形状：
平均固定成本
若Y表示生产的平均固定成本( A F C )，也即总固定成本除以产出，X代表产出，则随着产出的不断增加，AFC将逐渐降低，最终接近其渐进线(X=B1)。
菲利普斯曲线(Philips curve)
工资的变化对失业水平的反映是不对称的：失业率每变化一个单位，则在失业率低于自然失业率UN水平时的工资上升的比在当失业率在自然失业率水平以上时快。B1表明了渐进线的位置。
菲利普斯曲线这条特殊的性质可能是由于制度的因素，比如工会交易势力、最少工资、失业保险等等。
8.8 不同函数形式模型小结
*表示弹性系数是一个变量，其值依赖于X或Y或X与Y。
可见，对变量之间是线性的模型，其斜率为一常数，而弹性系数是一个变量；但对双对数模型，弹性系数是一常数，而斜率为一变量。表中的其他模型，斜率和弹性系数都是变量。
可以将上述不同形式的模型联合起来，得到多元回归模型，即应变量是对数形式，有些解释变量是对数形式，有些解释变量是线性形式。
由于理论本身不非完美的，因此也就没有完美的模型。
非线性回归分析
SPSS—非线性回归(模型表达式)案例解析 2011-11-16 10:56 由简单到复杂，人生有下坡就必有上坡，有低潮就必有高潮的迭起，随着SPSS 的深入学习，已经逐渐开始走向复杂，今天跟大家交流一下，SPSS非线性回归，希望大家能够指点一二！ 非线性回归过程是用来建立因变量与一组自变量之间的非线性关系，它不像线性模型那样有众多的假设条件，可以在自变量和因变量之间建立任何形式的模型非线性，能够通过变量转换成为线性模型——称之为本质线性模型，转换后的模型，用线性回归的方式处理转换后的模型，有的非线性模型并不能够通过变量转换为线性模型，我们称之为：本质非线性模型 还是以“销售量”和“广告费用”这个样本为例，进行研究，前面已经研究得出：“二次曲线模型”比“线性模型”能够更好的拟合“销售量随着广告费用的增加而呈现的趋势变化”，那么“二次曲线”会不会是最佳模型呢？ 答案是否定的，因为“非线性模型”能够更好的拟合“销售量随着广告费用的增加而呈现的变化趋势” 下面我们开始研究： 第一步：非线性模型那么多，我们应该选择“哪一个模型呢？” 1：绘制图形，根据图形的变化趋势结合自己的经验判断，选择合适的模型 点击“图形”—图表构建程序—进入如下所示界面：
点击确定按钮，得到如下结果：
放眼望去, 图形的变化趋势，其实是一条曲线，这条曲线更倾向于"S" 型曲线，我们来验证一下，看“二次曲线”和“S曲线”相比，两者哪一个的拟合度更高！ 点击“分析—回归—曲线估计——进入如下界面
在“模型”选项中，勾选”二次项“和”S" 两个模型，点击确定，得到如下结果： 通过“二次”和“S “ 两个模型的对比，可以看出S 模型的拟合度明显高于
多项式回归、非线性回归模型
多项式回归、非线性回归模型 关键词：回归方程的统计检验、拟合优度检验、回归方程的显著性检验、F 检验、回归系数的显著性检验、残差分析、一元多项式回归模型、一元非线性回归模型 一、回归方程的统计检验 1. 拟合优度检验 1. 概念介绍 SST 总离差平方和total SSR 回归平方和regression SSE 剩余平方和error ∑∑∑∑====--= --- =n i i i n i i i n i i i n i i i y y y y y y y y R 1 2 1 2 12 12 2)()?()()?(1 2. 例题1 存在四点(-2,-3)、(-1,-1)、(1,2)、(4,3)求拟合直线与决定系数。 2. 回归方程的显著性检验 ) 2/()2/()?()?(1 212 -= ---= ∑∑==n SSE SSA n y y y y F n i i i n i i i 例6（F 检验） 在合金钢强度的例1中，我们已求出了回归方程，这里考虑关于回归方程的显著性检验，经计算有： 表5 X 射线照射次数与残留细菌数的方差分析表 这里值很小，因此，在显著性水平0.01下回归方程是显著的。 3. 回归系数的显著性检验 4. 残差分析 二、一元多项式回归模型
模型如以下形式的称为一元多项式回归模型： 0111a x a x a x a y n n n n ++++=-- 例1（多项式回归模型） 为了分析X 射线的杀菌作用，用200千伏的X 射线来照射细菌，每次照射6分钟，用平板计数法估计尚存活的细菌数。照射次数记为t ，照射后的细菌数为y 见表1。试求： （1）给出y 与t 的二次回归模型。 （2）在同一坐标系内作出原始数据与拟合结果的散点图。 （3）预测16=t 时残留的细菌数。 （4）根据问题的实际意义，你认为选择多项式函数是否合适？ 表1 X 射线照射次数与残留细菌数 程序1 t=1:15; y=[352 211 197 160 142 106 104 60 56 38 36 32 21 19 15]; p=polyfit(t,y,2)%作二次多项式回归 y1=polyval(p,t);%模型估计与作图 plot(t,y,'-*',t,y1,'-o');%在同一坐标系中做出两个图形 legend('原始数据','二次函数') xlabel('t(照射次数)')%横坐标名 ylabel('y(残留细菌数)')%纵坐标名 t0=16; yc1=polyconf(p,t0)%预测t0=16时残留的细菌数，方法1 yc2=polyval(p,t0)%预测t0=16时残留的细菌数，方法2 即二次回归模型为： 8967.3471394.519897.121+-=t t y
线性回归推导及实例
数据点基本落在一条直线附近。这告诉我们，变量X与Y的关系大致可看作是线性关系，即它们之间的相互关系可以用线性关系来描述。但是由于并非所有的数据点完全落在一条直线上，因此X与Y的关系并没有确切到可以唯一地由一个X值确定一个Y值的程度。其它因素，诸如其它微量元素的含量以及测试误差等都会影响Y的测试结果。如果我们要研究X与Y的关系，可以作线性拟合 （2-1-1） 我们称（2-1-1）式为回归方程，a与b是待定常数，称为回归系数。从理论上讲，（2-1-1）式有无穷多组解，回归分析的任务是求出其最佳的线性拟合。 二、最小二乘法原理 如果把用回归方程计算得到的i值(i=1,2,…n)称为回归值，那么实际测量值y i与回归值i之间存在着偏差，我们把这种偏差称为残差，记为e i(i=1,2,3,…,n)。这样，我们就可以用残差平方和来度量测量值与回归直线的接近或偏差程度。残差平方和定义为: (2-1-2) 所谓最小二乘法，就是选择a和b使Q(a,b)最小，即用最小二乘法得到的回归直线是在所 有直线中与测量值残差平方和Q最小的一条。由(2-1-2)式可知Q是关于a,b的二次函数，所以它的最小值总是存在的。下面讨论的a和b的求法。 三、正规方程组 根据微分中求极值的方法可知，Q(a,b)取得最小值应满足 (2-1-3) 由(2-1-2)式，并考虑上述条件，则 (2-1-4) (2-1-4)式称为正规方程组。解这一方程组可得 (2-1-5) 其中 (2-1-6)
(2-1-7) 式中，L xy称为xy的协方差之和，L xx称为x的平方差之和。 如果改写(2-1-1)式，可得 (2-1-8) 或 (2-1-9) 由此可见，回归直线是通过点的，即通过由所有实验测量值的平均值组成的点。从力学观点看， 即是N个散点的重心位置。 现在我们来建立关于例1的回归关系式。将表2-1-1的结果代入(2-1-5)式至(2-1-7)式，得出 a=1231.65 b=-2236.63 因此，在例1中灰铸铁初生奥氏体析出温度(y)与氮含量(x)的回归关系式为 y=1231.65-2236.63x 四、一元线性回归的统计学原理 如果X和Y都是相关的随机变量，在确定x的条件下，对应的y值并不确定，而是形成一个分布。当X 取确定的值时，Y的数学期望值也就确定了，因此Y的数学期望是x的函数，即 E(Y|X=x)=f(x) (2-1-10) 这里方程f(x)称为Y对X的回归方程。如果回归方程是线性的，则 E(Y|X=x)=α+βx (2-1-11) 或 Y=α+βx+ε(2-1-12) 其中 ε―随机误差 从样本中我们只能得到关于特征数的估计，并不能精确地求出特征数。因此只能用f(x)的估计 式来取代（2-1-11）式，用参数a和b分别作为α和β的估计量。那么，这两个估计量是否能够满足要求呢？ 1. 无偏性 把(x,y)的n组观测值作为一个样本，由样本只能得到总体参数α和β的估计值。可以证明，当满足下列条件： (1)(x i,y i)是n个相互独立的观测值 (2)εi是服从分布的随机变量 则由最小二乘法得到的a与b分别是总体参数α和β的无偏估计，即 E(a)= α E(b)=β 由此可推知 E()=E(y)
SAS学习系列25. 非线性回归
25. 非线性回归 现实世界中严格的线性模型并不多见，它们或多或少都带有某种程度的近似；在不少情况下，非线性模型可能更加符合实际。 对变量间非线性相关问题的曲线拟合，处理的方法主要有： （1）首先确定非线性模型的函数类型，对于其中可线性化问题则通过变量变换将其线性化，从而归结为前面的多元线性回归问题来解决； （2）若实际问题的曲线类型不易确定时，由于任意曲线皆可由多项式来逼近，故常可用多项式回归来拟合曲线； （3）若变量间非线性关系式已知（多数未知），且难以用变量变换法将其线性化，则进行数值迭代的非线性回归分析。 （一）可变换为线性的非线性回归
在很多场合，可以对非线性模型进行线性化处理，尤其是可变换为线性的非线性回归，运用最小二乘法进行推断，对线性化后的线性模型，可以应用REG过程步进行计算。 例1 有实验数据如下： 试分别采用指数回归（y =ae bx）方法进行回归分析。 代码： data exam25_1; input x y; cards; 1.1 109.95 1.2 40.45 1.3 20.09 1.4 24.53 1.5 11.02 1.6 7.39 1.7 4.95 1.8 2.72 1.9 1.82 2 1.49 2.1 0.82 2.2 0.3 2.3 0.2 2.4 0.22 ; run; proc sgplot data = exam25_1; scatter x = x y = y; run; proc corr data = exam25_1; var x y; run;
data new1; set exam25_1; v = log(y); run; proc sgplot data = new1; scatter x = x y = v; title'变量代换后数据'; run; proc reg data = new1; var x v; model v = x; print cli; title'残差图'; plot residual. * predicted.; run; data new2; set exam25_1; y1 = 14530.28*exp(-4.73895*x); run; proc gplot data = new2; plot y*x=1 y1*x=2 /overlay; symbol v=dot i=none cv=red; symbol2i=sm color=blue; title'指数回归图'; 运行结果：
多元线性回归模型的案例分析
1. 表1列出了某地区家庭人均鸡肉年消费量Y 与家庭月平均收入X ，鸡肉价格P 1，猪肉价格P 2与牛肉价格P 3的相关数据。 年份 Y/千 克 X/ 元 P 1/(元/千克) P 2/(元/千克) P 3/(元/千克) 年份 Y/千克 X/元 P 1/(元/ 千克) P 2/(元/ 千克) P 3/(元/千克) 1980 2.78 397 4.22 5.07 7.83 1992 4.18 911 3.97 7.91 11.40 1981 2.99 413 3.81 5.20 7.92 1993 4.04 931 5.21 9.54 12.41 1982 2.98 439 4.03 5.40 7.92 1994 4.07 1021 4.89 9.42 12.76 1983 3.08 459 3.95 5.53 7.92 1995 4.01 1165 5.83 12.35 14.29 1984 3.12 492 3.73 5.47 7.74 1996 4.27 1349 5.79 12.99 14.36 1985 3.33 528 3.81 6.37 8.02 1997 4.41 1449 5.67 11.76 13.92 1986 3.56 560 3.93 6.98 8.04 1998 4.67 1575 6.37 13.09 16.55 1987 3.64 624 3.78 6.59 8.39 1999 5.06 1759 6.16 12.98 20.33 1988 3.67 666 3.84 6.45 8.55 2000 5.01 1994 5.89 12.80 21.96 1989 3.84 717 4.01 7.00 9.37 2001 5.17 2258 6.64 14.10 22.16 1990 4.04 768 3.86 7.32 10.61 2002 5.29 2478 7.04 16.82 23.26 1991 4.03 843 3.98 6.78 10.48 （1） 求出该地区关于家庭鸡肉消费需求的如下模型： 01213243ln ln ln ln ln Y X P P P u βββββ=+++++ （2） 请分析，鸡肉的家庭消费需求是否受猪肉及牛肉价格的影响。 先做回归分析，过程如下： 输出结果如下：
常见非线性回归模型
常见非线性回归模型 1.简非线性模型简介 非线性回归模型在经济学研究中有着广泛的应用。有一些非线性回归模型可以通 过直接代换或间接代换转化为线性回归模型,但也有一些非线性回归模型却无 法通过代换转化为线性回归模型。 柯布—道格拉斯生产函数模型 y AKL 其中L和K分别是劳力投入和资金投入, y是产出。由于误差项是可加的, 从而也不能通过代换转化为线性回归模型。 对于联立方程模型,只要其中有一个方程是不能通过代换转化为线性,那么这个联立方程模型就是非线性的。 单方程非线性回归模型的一般形式为 y f(x1,x2, ,xk; 1, 2, , p) 2.可化为线性回归的曲线回归 在实际问题当中，有许多回归模型的被解释变量y与解释变量x之间的关系都不是线性的，其中一些回归模型通过对自变量或因变量的函数变换可以转化为
线性关系，利用线性回归求解未知参数，并作回归诊断。如下列模型。 （1）y 0 1e x （2）y 0 1x2x2p x p （3）y ae bx (4)y=alnx+b 对于（1）式，只需令x e x即可化为y对x是线性的形式y01x，需要指出的是，新引进的自变量只能依赖于原始变量，而不能与未知参数有关。 对于（2）式，可以令x1=x,x2=x2,?,x p=x p,于是得到y关于x1,x2,?, x p 的线性表达式y 0 1x12x2 pxp 对与（3）式，对等式两边同时去自然数对数，得lnylnabx ,令 y lny, 0 lna, 1 b，于是得到y关于x的一元线性回归模型： y 0 1x。 乘性误差项模型和加性误差项模型所得的结果有一定差异，其中乘性误差项模型认为yt本身是异方差的，而lnyt是等方差的。加性误差项模型认为yt是等 方差的。从统计性质看两者的差异，前者淡化了y t值大的项（近期数据）的作用， 强化了y t值小的项（早期数据）的作用，对早起数据拟合得效果较好，而后者则 对近期数据拟合得效果较好。 影响模型拟合效果的统计性质主要是异方差、自相关和共线性这三个方面。 异方差可以同构选择乘性误差项模型和加性误差项模型解决，必要时还可以使用 加权最小二乘。
非线性回归分析(教案)
1.3非线性回归问题, 知识目标：通过典型案例的探究，进一步学习非线性回归模型的回归分析。 能力目标：会将非线性回归模型通过降次和换元的方法转化成线性化回归模型。 情感目标：体会数学知识变化无穷的魅力。 教学要求：通过典型案例的探究，进一步了解回归分析的基本思想、方法及初步应用. 教学重点：通过探究使学生体会有些非线性模型通过变换可以转化为线性回归模型，了解在解决实际问题的 过程中寻找更好的模型的方法. 教学难点：了解常用函数的图象特点，选择不同的模型建模，并通过比较相关指数对不同的模型进行比较. 教学方式：合作探究 教学过程： 一、复习准备： 对于非线性回归问题,并且没有给出经验公式,这时我们可以画出已知数据的散点图,把它与必修模块《数学1》中学过的各种函数（幂函数、指数函数、对数函数等）的图象作比较,挑选一种跟这些散点拟合得最好的函数,然后采用适当的变量代换,把问题转化为线性回归问题,使其得到解决. 二、讲授新课： 1. 探究非线性回归方程的确定： 1. 给出例1：一只红铃虫的产卵数y 和温度x 有关，现收集了7组观测数据列于下表中，试建立y 与x 之间的/y 个 2. 讨论：观察右图中的散点图，发现样本点并没有分布在某个带状区域内，即两个变量不呈线性相关关系，所以不能直接用线性回归方程来建立两个变量之间的关系. ① 如果散点图中的点分布在一个直线状带形区域，可以选线性回归模型来建模；如果散点图中的点分布在一个曲线状带形区域，就需选择非线性回归模型来建模. ② 根据已有的函数知识，可以发现样本点分布在某一条指数函数曲线y =2C 1e x C 的周围（其中12,c c 是待定的参数），故可用指数函数模型来拟合这两个变量. ③ 在上式两边取对数，得21ln ln y c x c =+，再令ln z y =，则21ln z c x c =+，可以用线性回归方程来拟合. ④ 利用计算器算得 3.843,0.272a b =-=，z 与x 间的线性回归方程为 0.272 3.843z x =-，因此红铃虫的产卵数对温度的非线性回归方程为0.272 3.843x y e -=. ⑤ 利用回归方程探究非线性回归问题，可按“作散点图→建模→确定方程”这三个步骤进行. 其关键在于如何通过适当的变换，将非线性回归问题转化成线性回归问题. 三、合作探究 例 2.：炼钢厂出钢时所用的盛钢水的钢包,在使用过程中,由于钢液及炉渣对包衬耐火材料的侵蚀,使其容积不断增大,请根据表格中的数据找出使用次数 x 与增大的容积y 之间的关系.
非线性回归分析常见曲线及方程
非线性回归分析常见曲 线及方程 Document serial number【UU89WT-UU98YT-UU8CB-UUUT-UUT108】
非线性回归分析 回归分析中，当研究的因果关系只涉及和一个时，叫做一元回归分析；当研究的因果关系涉及因变量和两个或两个以上自变量时，叫做多元回归分析。此外，回归分析中，又依据描述自变量与因变量之间因果关系的表达式是线性的还是非线性的，分为线性回归分析和非线性回归分析。通常线性回归分析法是最基本的分析方法，遇到非线性回归问题可以借助数学手段化为线性回归问题处理 两个现象变量之间的相关关系并非线性关系，而呈现某种非线性的曲线关系，如：双曲线、二次曲线、三次曲线、幂函数曲线、指数函数曲线(Gompertz)、S型曲线(Logistic) 对数曲线、指数曲线等，以这些变量之间的曲线相关关系，拟合相应的回归曲线，建立非线性回归方程，进行回归分析称为非线性回归分析 常见非线性规划曲线 1.双曲线1b a y x =+ 2.二次曲线 3.三次曲线 4.幂函数曲线 5.指数函数曲线(Gompertz) 6.倒指数曲线y=a / e b x其中a>0， 7.S型曲线(Logistic) 1 e x y a b-= + 8.对数曲线y=a+b log x,x>0
9.指数曲线y=a e bx其中参数a>0 1．回归： （1）确定回归系数的命令 [beta，r，J]=nlinfit（x,y,’model’,beta0） （2）非线性回归命令：nlintool（x，y，’model’, beta0，alpha）2．预测和预测误差估计： [Y，DELTA]=nlpredci（’model’, x，beta，r，J） 求nlinfit 或lintool所得的回归函数在x处的预测值Y及预测值的显着性水平为1-alpha的置信区间Y，DELTA. 例2 观测物体降落的距离s与时间t的关系，得到数据如下表，求s 关于t的回归方程2 ?ct =. + bt a s+ 解： 1. 对将要拟合的非线性模型y=a/e b x，建立M文件如下： function yhat=volum(beta,x) yhat=beta(1)*exp(beta(2)./x); 2．输入数据： x=2:16; y=[ 10 ];
非线性回归分析
非线性回归问题, 知识目标：通过典型案例的探究，进一步学习非线性回归模型的回归分析。 能力目标：会将非线性回归模型通过降次和换元的方法转化成线性化回归模型。 情感目标：体会数学知识变化无穷的魅力。 教学要求：通过典型案例的探究，进一步了解回归分析的基本思想、方法及初步应用. 教学重点：通过探究使学生体会有些非线性模型通过变换可以转化为线性回归模型，了解在解决实际问题的 过程中寻找更好的模型的方法. 教学难点：了解常用函数的图象特点，选择不同的模型建模，并通过比较相关指数对不同的模型进行比较. 教学方式：合作探究 教学过程： 一、复习准备： 对于非线性回归问题,并且没有给出经验公式,这时我们可以画出已知数据的散点图,把它与必修模块《数学1》中学过的各种函数（幂函数、指数函数、对数函数等）的图象作比较,挑选一种跟这些散点拟合得最好的函数,然后采用适当的变量代换,把问题转化为线性回归问题,使其得到解决. 二、讲授新课： 1. 探究非线性回归方程的确定： 1. 给出例1：一只红铃虫的产卵数y 和温度x 有关，现收集了7组观测数据列于下表中，试建立y 与x 之间 2. 讨论：观察右图中的散点图，发现样本点并没有分布在某个带状区域内，即两个变量不呈线性相关关系，所以不能直接用线性回归方程来建立两个变量之间的关系. ① 如果散点图中的点分布在一个直线状带形区域，可以选线性回归模型来建模；如果散点图中的点分布在一个曲线状带形区域，就需选择非线性回归模型来建模. ② 根据已有的函数知识，可以发现样本点分布在某一条指数函数曲线y =2C 1e x C 的周围（其中12,c c 是待定的参数），故可用指数函数模型来拟合这两个变量. ③ 在上式两边取对数，得21ln ln y c x c =+ ，再令ln z y =，则21ln z c x c =+， 可以用线性回归方程来拟合. ④ 利用计算器算得 3.843,0.272a b =-=，z 与x 间的线性回归方程为0.272 3.843z x =-$，因此红铃虫的产卵数对温度的非线性回归方程为$0.272 3.843x y e -=. ⑤ 利用回归方程探究非线性回归问题，可按“作散点图→建模→确定方程”这三个步骤进行. 其关键在于如何通过适当的变换，将非线性回归问题转化成线性回归问题. 三、合作探究 例 2.：炼钢厂出钢时所用的盛钢水的钢包,在使用过程中,由于钢液及炉渣对包衬耐火材料的侵蚀,使其容积不断增大,请根据表格中的数据找出使用次数x 与增大的容积y 之间的关系.
非线性回归分析(常见曲线及方程)
非线性回归分析 回归分析中，当研究的因果关系只涉及因变量和一个自变量时，叫做一元回归分析；当研究的因果关系涉及因变量和两个或两个以上自变量时，叫做多元回归分析。此外，回归分析中，又依据描述自变量与因变量之间因果关系的函数表达式是线性的还是非线性的，分为线性回归分析和非线性回归分析。通常线性回归分析法是最基本的分析方法，遇到非线性回归问题可以借助数学手段化为线性回归问题处理 两个现象变量之间的相关关系并非线性关系，而呈现某种非线性的曲线关系，如：双曲线、二次曲线、三次曲线、幂函数曲线、指数函数曲线(Gompertz)、S型曲线(Logistic) 对数曲线、指数曲线等，以这些变量之间的曲线相关关系，拟合相应的回归曲线，建立非线性回归方程，进行回归分析称为非线性回归分析 常见非线性规划曲线 1.双曲线1b a y x =+ 2.二次曲线 3.三次曲线 4.幂函数曲线 5.指数函数曲线(Gompertz) 6.倒指数曲线y=a / e b x其中a>0， 7.S型曲线(Logistic) 1 e x y a b-= + 8.对数曲线y=a+b log x,x>0 9.指数曲线y=a e bx其中参数a>0 1．回归： （1）确定回归系数的命令 [beta，r，J]=nlinfit（x,y,’model’,beta0） （2）非线性回归命令：nlintool（x，y，’model’, beta0，alpha） 2．预测和预测误差估计： [Y，DELTA]=nlpredci（’model’, x，beta，r，J） 求nlinfit 或lintool所得的回归函数在x处的预测值Y及预测值的显著性水平为1-alpha的置信区间Y，DELTA. 例2 观测物体降落的距离s与时间t的关系，得到数据如下表，求s 2 解： 1. 对将要拟合的非线性模型y=a/ e b x，建立M文件volum.m如下：
实验六-用SPSS进行非线性回归分析
实验六用SPSS进行非线性回归分析 例：通过对比12个同类企业的月产量(万台)与单位成本(元)的资料(如图1)，试配合适当的回归模型分析月产量与单位成本之间的关系
图1原始数据和散点图分析 一、散点图分析和初始模型选择 在SPSS数据窗口中输入数据，然后插入散点图(选择Graphs→Scatter命令)，由散点图可以看出，该数据配合线性模型、指数模型、对数模型和幂函数模型都比较合适。进一步进行曲线估计：从Statistic下选Regression菜单中的Curve Estimation命令；选因变量单位成本到Dependent框中，自变量月产量到Independent框中，在Models框中选择Linear、Logarithmic、Power和Exponential四个复选框，确定后输出分析结果，见表1。 分析各模型的R平方，选择指数模型较好，其初始模型为 但考虑到在线性变换过程可能会使原模型失去残差平方和最小的意义，因此进一步对原模型进行优化。 模型汇总和参数估计值 因变量: 单位成本 方程模型汇总参数估计值 R 方 F df1 df2 Sig. 常数b1 线性.912 104.179 1 10 .000 158.497 -1.727 对数.943 166.595 1 10 .000 282.350 -54.059 幂.931 134.617 1 10 .000 619.149 -.556 指数.955 212.313 1 10 .000 176.571 -.018 自变量为月产量。 表1曲线估计输出结果
二、非线性模型的优化 SPSS提供了非线性回归分析工具，可以对非线性模型进行优化，使其残差平方和达到最小。从Statistic下选Regression菜单中的Nonlinear命令；按Paramaters按钮，输入参数A：176.57和B：-.0183；选单位成本到Dependent框中，在模型表达式框中输入“A*EXP(B*月产量)”，确定。SPSS输出结果见表2。 由输出结果可以看出，经过6次模型迭代过程，残差平方和已有了较大改善，缩小为568.97，误差率小于0.00000001， 优化后的模型为： 迭代历史记录b 迭代数a残差平方和参数 A B 1.0 104710.523 176.570 -.183 1.1 5.346E+133 -3455.813 2.243 1.2 30684076640.87 3 476.032 .087 1.3 9731 2.724 215.183 -.160 2.0 97312.724 215.183 -.160 2.1 83887.036 268.159 -.133 3.0 83887.036 268.159 -.133 3.1 59358.745 340.412 -.102 4.0 59358.745 340.412 -.102 4.1 26232.008 38 5.967 -.065 5.0 26232.008 385.967 -.065 5.1 7977.231 261.978 -.038 6.0 797 7.231 261.978 -.038 6.1 1388.850 153.617 -.015 7.0 1388.850 153.617 -.015 7.1 581.073 180.889 -.019 8.0 581.073 180.889 -.019 8.1 568.969 182.341 -.019 9.0 568.969 182.341 -.019 9.1 568.969 182.334 -.019 10.0 568.969 182.334 -.019 10.1 568.969 182.334 -.019 导数是通过数字计算的。 a. 主迭代数在小数左侧显示，次迭代数在小数右侧显示。 b. 由于连续残差平方和之间的相对减少量最多为SSCON = 1.000E-008，因此在 22 模型评估和 10 导数评估之后，系统停止运行。
第八章 回归方程的函数形式
第八章回归方程的函数形式 回忆参数线性模型和变量线性模型（见5.4）。我们所关注的是参数线性模型，而并不要求变量Y与X一定是线性的。 在参数线性回归模型的限制下，回归模型的形式也有多种。 我们将特别讨论下面几种形式的回归模型： (1) 对数线性模型(不变弹性模型) (2) 半对数模型。 (3) 双曲函数模型。 (4) 多项式回归模型。 上述模型的都是参数线性模型，但变量却不一定是线性的。 8.1 三变量线性回归模型 以糖炒栗子需求为例，现在考虑如下需求函数： Y = 2 B i AX( 8 - 1 ) 此处变量Xi是非线性的。但可将式( 8 - 1 )做恒等变换表示成另一种形式： lnYi= lnA+B2lnXi ( 8 - 2 ) 其中，ln表示自然对数，即以e为底的对数；令 B1= lnA ( 8 - 3 ) 可以将式( 8 - 2 )写为： lnYi = B1 + B2lnXi ( 8 - 4 ) 加入随机误差项，可将模型( 8 - 4 )写为： lnYi = B1+B2lnXi+ui ( 8 - 5 ) ( 8 - 5 )是一个线性模型，因为参数B1和B2是以线性形式进入模型的；形如式( 8 - 5 )的模型称为双对数模型或对数-线性( log-linear )模型。 一个非线性模型可以通过适当的变换转变为线性(参数之间)模型的： 令Yi* = lnYi , Xi* = lnXi 则( 8 - 5 )可写为： Yi* = B1 + B2 Xi* + ui ( 8 - 6 ) 这与前面讨论的模型相似：它不仅是参数线性的，而且变形后的变量Y*与X*之间也是线性的。 如果模型( 8 - 6 )满足古典线性回归模型的基本假定，则很容易用普通最小二乘法来估计它，得到的估计量是最优线性无偏估计量。 双对数模型(对数线性模型)的应用非常广泛，原因在于它有一个特性： 斜率B2度量了Y对X的弹性。如果Y代表了商品的需求量，X代表了单位价格， Y代表
多元线性回归模型案例
我国农民收入影响因素的回归分析 本文力图应用适当的多元线性回归模型,对有关农民收入的历史数据和现状进行分析,探讨影响农民收入的主要因素,并在此基础上对如何增加农民收入提出相应的政策建议。?农民收入水平的度量常采用人均纯收入指标。影响农民收入增长的因素是多方面的，既有结构性矛盾因素，又有体制性障碍因素。但可以归纳为以下几个方面：一是农产品收购价格水平。二是农业剩余劳动力转移水平。三是城市化、工业化水平。四是农业产业结构状况。五是农业投入水平。考虑到复杂性和可行性，所以对农业投入与农民收入，本文暂不作讨论。因此，以全国为例，把农民收入与各影响因素关系进行线性回归分析，并建立数学模型。 一、计量经济模型分析 (一)、数据搜集 根据以上分析，我们在影响农民收入因素中引入7个解释变量。即：2x -财政用于农业的支出的比重，3x -第二、三产业从业人数占全社会从业人数的比重，4x -非农村人口比重，5x -乡村从业人员占农村人口的比重，6x -农业总产值占农林牧总产值的比重，7x -农作物播种面积，8x —农村用电量。
资料来源《中国统计年鉴2006》。 (二)、计量经济学模型建立 我们设定模型为下面所示的形式： 利用Eviews 软件进行最小二乘估计，估计结果如下表所示： DependentVariable:Y Method:LeastSquares Sample: Includedobservations:19 Variable Coefficient t-Statistic Prob. C X1 X3 X4 X5 X6 X7 X8 R-squared Meandependentvar AdjustedR-squared 表1最小二乘估计结果 回归分析报告为： () ()()()()()()()()()()()()()()() 2345678 2? -1102.373-6.6354X +18.2294X +2.4300X -16.2374X -2.1552X +0.0100X +0.0634X 375.83 3.7813 2.066618.37034 5.8941 2.77080.002330.02128 -2.933 1.7558.820900.20316 2.7550.778 4.27881 2.97930.99582i Y SE t R ===---=230.99316519 1.99327374.66 R Df DW F ====二、计量经济学检验 (一)、多重共线性的检验及修正 ①、检验多重共线性 (a)、直观法 从“表1最小二乘估计结果”中可以看出，虽然模型的整体拟合的很好，但是x4x6
计量第3章(7节)非线性回归实例
非线性回归实例 例1：此模型用来评价台湾农业生产效率。用台湾1958-1972年农业生产总值（Y t ），劳动力（X 1t ），资本投入（X 2t ）数据为样本得到估计模型： = -3.4 + 1.50 LnX 1t + 0.49 LnX 2t (2.78) (4.80) R 2 = 0.89, F = 48.45 还原后得， = 0.713X 1t 1.50 X 2t 0.49 因为1.50 + 0.49 = 1.99，所以，此生产函数属规模报酬递增函数。当劳动力和资本投入都增加1%时，产出增加近2%。 例2：用天津市工业生产总值（Y t ），职工人数（L t ），固定资产净值与流动资产平均余额（K t ）数据 (1949-1997年) 为样本得估计模型如下： Ln Y t = 0.7272 + 0.2587 Ln L t + 0.6986 LnK t (3.12) (3.08) (18.75) R 2 = 0.98, s.e. = 0.17, DW = 0.42, F = 1381.4 因为0.2587 + 0.6986 = 0.9573，所以此生产函数基本属于规模报酬不变函数。 例3： 中国铅笔需求预测模型 中国从上个世纪30年代开始生产铅笔。1985年全国有22个厂家生产铅笔。产量居世界首位（33.9亿支），占世界总产量的1/3。改革开放以后，铅笔生产增长极为迅速。1979-1983年平均年增长率为8.5%。铅笔销售量时间序列见图1。1961-1964年的销售量平稳状态是受到了经济收缩的影响。文革期间销售量出现两次下降，是受到了当时政治因素的影响。1969-1972年的增长是由于一度中断了的中小学教育逐步恢复的结果。1977-1978年的增长是由于高考正式恢复的结果。1981年中国开始生产自动铅笔，对传统铅笔市场冲击很大。1979-1985年的缓慢增长是受到了自动铅笔上市的影响。 初始确定的影响铅笔销量的因素有全国人口、各类在校人数、设计
非线性回归分析
非线性回归分析(转载) (2009-10-23 08:40:20) 转载 分类：Web分析 标签： 杂谈 在回归分析中，当自变量和因变量间的关系不能简单地表示为线性方程，或者不能表示为可化为线性方程的时侯，可采用非线性估计来建立回归模型。 SPSS提供了非线性回归“Nonlinear”过程，下面就以实例来介绍非线性拟合“Nonlinear”过程的基本步骤和使用方法。 应用实例 研究了南美斑潜蝇幼虫在不同温度条件下的发育速率，得到试验数据如下： 表5-1 南美斑潜蝇幼虫在不同温度条件下的发育速率 温度℃17.5 20 22.5 25 27.5 30 35 发育速率0.0638 0.0826 0.1100 0.1327 0.1667 0.1859 0.1572 根据以上数据拟合逻辑斯蒂模型： 本例子数据保存在DATA6-4.SAV。 1）准备分析数据 在SPSS数据编辑窗口建立变量“t”和“v”两个变量，把表6-14中的数据分别输入“温度”和“发育速率”对应的变量中。 或者打开已经存在的数据文件（DATA6-4.SAV）。 2）启动线性回归过程 单击SPSS主菜单的“Analyze”下的“Regression”中“Nonlinear”项，将打开如图5-1
所示的线回归对话窗口。 图5-1 Nonlinear非线性回归对话窗口 3) 设置分析变量 设置因变量：从左侧的变量列表框中选择一个因变量进入“Dependent(s)”框。本例子选“发育速率[v]”变量为因变量。 4) 设置参数变量和初始值 单击“Parameters”按钮，将打开如图6-14所示的对话框。该对话框用于设置参数的初始值。 图5-2 设置参数初始值
BP神经网络非线性回归研究
（声明：此程序为GreenSim团队的原创作品，我们删除了程序中的若干行，一般人是难以将其补充完整并正确运行的，如果有意购买此程序，请与我们联系，Email：greensim@https://www.360docs.net/doc/4111992318.html,） function [Alpha1,Alpha2,Alpha,Flag,B]=SVMNR(X,Y,Epsilon,C,TKF) %% % SVMNR.m % Support Vector Machine for Nonlinear Regression % ChengAihua,PLA Information Engineering University,ZhengZhou,China % Email:aihuacheng@https://www.360docs.net/doc/4111992318.html, % All rights reserved %% % 支持向量机非线性回归通用程序 % 程序功能： % 使用支持向量机进行非线性回归，得到非线性函数y=f(x1,x2,…,xn)的支持向量解析式，% 求解二次规划时调用了优化工具箱的quadprog函数。本函数在程序入口处对数据进行了% [-1,1]的归一化处理，所以计算得到的回归解析式的系数是针对归一化数据的，仿真测 % 试需使用与本函数配套的Regression函数。 % 主要参考文献: % 朱国强,刘士荣等.支持向量机及其在函数逼近中的应用.华东理工大学学报 % 输入参数列表 % X 输入样本原始数据，n×l的矩阵，n为变量个数，l为样本个数 % Y 输出样本原始数据，1×l的矩阵，l为样本个数 % Epsilon ε不敏感损失函数的参数，Epsilon越大，支持向量越少 % C 惩罚系数，C过大或过小，泛化能力变差 % TKF Type of Kernel Function 核函数类型 % TKF=1 线性核函数，注意：使用线性核函数，将进行支持向量机的线性回归 % TKF=2 多项式核函数 % TKF=3 径向基核函数 % TKF=4 指数核函数 % TKF=5 Sigmoid核函数 % TKF=任意其它值，自定义核函数 % 输出参数列表 % Alpha1 α系数 % Alpha2 α*系数 % Alpha 支持向量的加权系数（α－α*）向量 % Flag 1×l标记，0对应非支持向量，1对应边界支持向量，2对应标准支持向量 % B 回归方程中的常数项 %-------------------------------------------------------------------------- %% %-----------------------数据归一化处理-------------------------------------- nntwarn off X=premnmx(X); Y=premnmx(Y); %%
高考数学复习点拨 非线性回归问题
非线性回归问题 两个变量不呈线性关系，不能直接利用线性回归方程建立两个变量的关系，可以通过变换的方法转化为线性回归模型。分析非线性回归问题的具体做法是： （1）若问题中已给出经验公式，这时可以将变量x 进行置换（换元），将变量的非线性关系转化为线性关系，将问题化为线性回归分析问题来解决． （2）若问题中没有给出经验公式，需要我们画出已知数据的散点图，通过与各种已知函数（如指数函数、对数函数、幂函数等）的图象作比较，选择一种与这些散点拟合得最好的函数，然后采用适当的变量置换，将问题化为线性回归分析问题来解决． 下面举例说明非线性回归分析问题的解法． 例1 在彩色显影中，由经验可知：形成染料光学密度y 与析出银的光学密度x 由公式 e b x y A =（b <0）表示，现测得实验数据如下： 试求对的回归方程． 分析：该例是一个非线性回归分析问题，由于题目中已给定了要求的曲线为e b x y A =（b <0）类型，我们只要通过所给的11对样本数据求出A 和b ，即可确定x 与y 的相关关系的曲线方程． 解：由题意可知，对于给定的公式e b x y A =（b <0）两边取自然对数，得ln ln b y A x =+． 与线性回归方程对照可以看出，只要取1 u x = ，ln v y =，ln a A =，就有v a bu =+，这是v 对u 的线性回归直线方程，对此我们再套用相关性检验，求回归系数b 和a ． 题目中所给数据由变量置换1 u = ，ln v y =变为如表所示的数据： 由于｜r ｜=0.998>0.602，可知u 与v 具有很强的线性相关关系． 再求得0.146b =-，0.548a =， ∴v =0.5480.146u -，把u 和v 置换回来可得0.146 ln 0.548y x =- ， ∴0.1460.1460.1460.5480.548 e 1.73x x x y e e e - - - ===， ∴回归曲线方程为0.1461.73e x y - =． 点评：解决本题的思路是通过适当的变量置换把非线性回归方程转化为线性回归方程，然后再套用线性回归分析的解题步骤． 例2 为了研究某种细菌随时间x 变化的繁殖个数，收集数据如下：
多重共线性和非线性回归的问题
多重共线性和非线性回归的问题 前几天她和我说，在百度里有个人连续追着我的回答，三次说我的回答错了。当时非常惊讶，赶紧找到那个回答的问题，看看那个人是怎么说。最终发现他是说多重共线性和非线性回归的问题，他认为多个自变量进行不能直接回归，存在共线性的问题，需要进行因子分析（或主成分分析）；说非线性回归不能转换成线性回归的方法，这里我详细说说这两方面的问题到底是怎么回事（根据我的理解），我发现很多人很怕这个多重共线性的问题，听到非线性回归，脑袋就更大了。。。 （1）多重共线性问题 我们都知道在进行多元回归的时候，特别是进行经济上指标回归的时候，很多变量存在共同趋势相关性，让我们得不到希望的回归模型。这里经常用到的有三种方法，而不同的方法有不同的目的，我们分别来看看： 第一个，是最熟悉也是最方便的——逐步回归法。 逐步回归法是根据自变量与因变量相关性的大小，将自变量一个一个选入方法中，并且每选入一个自变量都进行一次检验。最终留在模型里的自变量是对因变量有最大显著性的，而剔除的自变量是与因变量无显著线性相关性的，以及与其他自变量存在共线性的。用逐步回归法做的多元回归分析，通常自变量不宜太多，一般十几个以下，而且你的数据量要是变量个数3倍以上才可以，不然做出来的回归模型误差较大。比如说你有10个变量，数据只有15组，然后做拟合回归，得到9个自变量的系数，虽然可以得到，但是精度不高。这个方法我们不仅可以找到对因变量影响显著的几个自变量，还可以得到一个精确的预测模型，进行预测，这个非常重要的。而往往通过逐步回归只能得到几个自变量进入方程中，有时甚至只有一两个，令我们非常失望，这是因为自变量很多都存在共线性，被剔除了，这时可以通过第二个方法来做回归。 第二个，通过因子分析（或主成分分析）再进行回归。 这种方法用的也很多，而且可以很好的解决自变量间的多重共线性。首先通过因子分析将几个存在共线性的自变量合为一个因子，再用因子分析得到的几个因子和因变量做回归分析，这里的因子之间没有显著的线性相关性，根本谈不上共线性的问题。通过这种方法可以得到哪个因子对因变量存在显著的相关性，哪个因子没有显著的相关性，再从因子中的变量对因子的载荷来看，得知哪个变量对因变量的影响大小关系。而这个方法只能得到这些信息，第一它不是得到一个精确的，可以预测的回归模型；第二这种方法不知道有显著影响的因子中每个变量是不是都对因变量有显著的影响，比如说因子分析得到三个因子，用这三个因子和因变量做回归分析，得到第一和第二个因子对因变量有显著的影响，而在第一个因子中有4个变量组成，第二个因子有3个变量组成，这里就不知道这7个变量是否都对因变量存在显著的影响；第三它不能得到每个变量对因变量准确的影响大小关系，而我们可以通过逐步回归法直观的看到自变量前面的系数大小，从而判断自变量对因变量影响的大小。 第三个，岭回归。 通过逐步回归时，我们可能得到几个自变量进入方程中，但是有时会出现自变量影响的方向出现错误，比如第一产业的产值对国民收入是正效应，而可能方程中的系数为负的，这种肯定是由于共线性导致出现了拟合失真的结果，而这样的结果我们只能通过自己的经验去判断。通常我们在做影响因素判断的时候，不仅希望得到各个因素对因变量真实的影响关系，还希望知道准确的影响大小，就是每个自变量系数的大小，这个时候，我们就可以通过岭回归的方法。