变量选择与逐步回归
变量选择与逐步回归
1在建立回归模型时，对自变量进行筛选
2选择自变量的原则是对统计量进行显著性检验
（1）将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著地减少。如果增加一个自变量使SSE的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型
确定引入自变量是否使SSE有显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量
3逐步回归：将向前选择和向后剔除两种方法结合起来筛选自变量。在增加了一个自变量后，它会对模型中所有的变量进行考察，看看有没有可能剔除某个自变量；如果在增加了一个自变量后，前面增加的某个自变量对模型的贡献变得不显著，这个变量就会被剔除；按照方法不停地增加变量并考虑剔除以前增加的变量的可能性，直至增加变量已经不能导致SSE显著减少；在前面步骤中增加的自变量在后面的步骤中有可能被剔除，而在前面步骤中剔除的自变量在后面的步骤中也可能重新进入到模型中。
根据利用spss、筛选出水资源短缺风险敏感因子，见表，从表1中可以看出水资源总量、工业用水、农业用水量、生活用水是资源短缺风险敏感因子。
表1 敏感因子筛选
spss中多元回归分析实例
SPSS中多元回归分析实例在大多数的实际问题中，影响因变量的因素不是一个而是多个，我们称这类回问题为多元回归分析。可以建立因变量y与各自变量xj(j=1,2,3,…,n)之间的多元线性回归模型： Y=b+bx+bx+...+bx+e k210k12其中：b0是回归常数；bk(k=1,2,3,…,n)是回归参数；e是随机误差。 多元回归在病虫预报中的应用实例: 某地区病虫测报站用相关系数法选取了以下4个预报因子；x1为最多连续10天诱蛾量(头)；x2为4月上、中旬百束小谷草把累计落卵量(块)；x3为4月中旬降水量(毫米)，x4为4月中旬雨日(天)；预报一代粘虫幼虫发生量y（头/m2）。分级别数值列成表2-1。 预报量y：每平方米幼虫0~10头为1级，11~20头为2级，21~40头为3级，40头以上为4级。预报因子：x1诱蛾量0~300头为l级，301~600头为2级，601~1000头为3级，1000头以上为4级；x2卵量0~150块为1级，15l~300块为2级，301~550块为3级，550块以上为4级；x3降水量0~10.0毫米为1级，10.1~13.2毫米为2级，13.3~17.0毫米为3级，17.0毫米以上为4级； x4雨日0~2天为1级，3~4天为2级，5天为3级，6天或6天以上为4级。
数据保存在“DATA6-5.SA V”文件中。 1）准备分析数据 在SPSS数据编辑窗口中，创建“年份”、“蛾量”、“卵量”、“降水量”、“雨日”和“幼虫密度”变量，并输入数据。再创建蛾量、卵量、降水量、雨日和幼虫密度的分级变量“x1”、“x2”、“x3”、“x4”和“y”，它们对应的分级数值可以在SPSS数据编辑窗口中通过计算产生。编辑后的数据显示如图2-1。
Matlab多变量回归分析报告材料教程
本次教程的主要内容包含： 一、多元线性回归 2# 多元线性回归：regress 二、多项式回归 3# 一元多项式：polyfit或者polytool 多元二项式：rstool或者rsmdemo 三、非线性回归 4# 非线性回归：nlinfit 四、逐步回归 5# 逐步回归：stepwise 一、多元线性回归 多元线性回归： 1、b=regress(Y, X ) 确定回归系数的点估计值
2、[b, bint,r,rint,stats]=regress(Y,X,alpha)求回归系数的点估计和区间估计、并检验回归模型 ①bint表示回归系数的区间估计. ②r表示残差 ③rint表示置信区间 ④stats表示用于检验回归模型的统计量,有三个数值：相关系数r2、F值、与F对应的概率p 说明：相关系数r2越接近1，说明回归方程越显著；时拒绝H0，F越大，说明回归方程越显著；与F对应的概率p<α时拒绝H0 ⑤alpha表示显著性水平(缺省时为0.05) 3、rcoplot(r,rint)画出残差及其置信区间 具体参见下面的实例演示 4、实例演示，函数使用说明 (1)输入数据 1.>>x=[143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164]'; 2.>>X=[ones(16,1) x]; 3.>>Y=[88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102]'; 复制代码 (2)回归分析及检验 1. >> [b,bint,r,rint,stats]=regress(Y,X) 2. 3. b = 4. 5. -1 6.0730 6.0.7194 7. 8. 9.bint =
分位数回归及其实例
分位数回归及其实例 一、分位数回归的概念 分位数回归(Quantile Regression):是计量经济学的研究前沿方向之一，它利用解释变量的多个分位数（例如四分位、十分位、百分位等）来得到被解释变量的条件分布的相应的分位数方程。与传统的OLS 只得到均值方程相比，它可以更详细地描述变量的统计分布。 传统的线性回归模型描述了因变量的条件分布受到自变量X 的影响过程。普通最dx--乘法是估计回归系数的最基本的方法，它描述了自变量X 对于因变量y 的均值影响。如果模型中的随机扰动项来自均值为零而且同方差的分布，那么回归系数的最dx--乘估计为最佳线性无偏估计(BLUE)；如果近一步随机扰动项服从正态分布，那么回归系数的最dx--乘法或极大似然估计为最小方差无偏估计(M Ⅵ甩)。但是在实际的经济生活中，这种假设常常不被满足，饲如数据出现尖峰或厚尾的分布、存在显著的异方差等情况，这时的最小二乘法估计将不再具有上述优良性且稳健性非常差。最小二乘回归假定自变量X 只能影响因变量的条件分布的位置，但不能影响其分布的刻度或形状的任何其他方面。 为了弥补普通最dx--乘法(0Ls)在回归分析中的缺陷，Koenkel"和Pxassett 于1978年提出了分位数回归(Quantile Regression)的思想。它依据因变量的条件分位数对自变量X 进行回归，这样得到了所有分位数下的回归模型。因此分位数回归相比普通最小二乘回归只能描述自变量X 对于因变量y 局部变化的影响而言，更能精确地描述自变量X 对于因变量y 的变化范围以及条件分布形状的影响。 分位数回归是对以古典条件均值模型为基础的最小二乘法的延伸，用多个分位函数来估计整体模型。中位数回归是分位数回归的特殊情况，用对称权重解决残差最小化问题，而其他的条件分位数回归则用非对称权重解决残差最小化。 一般线性回归模型可设定如下： ()((0)),(0,1).x t t I t ρττ=-<∈ 在满足高斯-马尔可夫假设前提下，可表示如下： 01122(|)...k k E y x x x x αααα=++++ 其中u 为随机扰动项k αααα,...,,,210为待估解释变量系数。这是均值回归（OLS ）模型表达式，类似于均值回归模型，也可以定义分位数回归模型如下： 01122(|)...()y k k u Q x x x x Q ταααατ=+++++ 对于分位数回归模型，则可采取线性规划法（LP ）估计其最小加权绝对偏差，从而得到解释变量的回归系数，可表示如下： 01122min (...)x k k E y x x x ραααα----- 求解得：01122?????(|)y k k Q x a a x a x a x τ=++++
多元线性回归实例分析报告
SPSS--回归-多元线性回归模型案例解析！(一) 多元线性回归,主要就是研究一个因变量与多个自变量之间的相关关系,跟一元回归原理差不多,区别在于影响因素(自变量)更多些而已,例如:一元线性回归方程 为: 毫无疑问,多元线性回归方程应该 为: 上图中的 x1, x2, xp分别代表“自变量”Xp截止,代表有P个自变量,如果有“N组样本,那么这个多元线性回归,将会组成一个矩阵,如下图所示: 那么,多元线性回归方程矩阵形式为: 其中:代表随机误差, 其中随机误差分为:可解释的误差与不可解释的误差,随机误差必须满足以下四个条件,多元线性方程才有意义(一元线性方程也一样) 1:服成正太分布,即指:随机误差必须就是服成正太分别的随机变量。 2:无偏性假设,即指:期望值为0 3:同共方差性假设,即指,所有的随机误差变量方差都相等 4:独立性假设,即指:所有的随机误差变量都相互独立,可以用协方差解释。 今天跟大家一起讨论一下,SPSS---多元线性回归的具体操作过程,下面以教程教程数据为例,分析汽车特征与汽车销售量之间的关系。通过分析汽车特征跟汽车销售量的关系,建立拟合多元线性回归模型。数据如下图所示:
点击“分析”——回归——线性——进入如下图所示的界面:
将“销售量”作为“因变量”拖入因变量框内, 将“车长,车宽,耗油率,车净重等10个自变量拖入自变量框内,如上图所示,在“方法”旁边,选择“逐步”,当然,您也可以选择其它的方式,如果您选择“进入”默认的方式,在分析结果中,将会得到如下图所示的结果:(所有的自变量,都会强行进入) 如果您选择“逐步”这个方法,将会得到如下图所示的结果:(将会根据预先设定的“F统计量的概率值进行筛选,最先进入回归方程的“自变量”应该就是跟“因变量”关系最为密切,
多元回归分析总结
1. 对于多元共线性问题产生的根源，可以从两 个方面考虑: 1、由 变量性质引起 2、由数据问题引起 （情况一:样本含量过小 情况二: 出现强影响观测值 情况三: 时序变量） 1、 由变量性质引起 在进行多元统计分析时，作为自变量的某 些变量高度相关，比如身高、体重和胸 围，变量之间的相关 性是由变量自身的性 质决定的，此时不论数据以什么形式取 得，样本含量是大是小，都会出现自变量 的共线性问题。因 此，变量间自身的性质 是导致多元共线性的重要原因。 2、 情况一:样本含量过小 假设只有两个自变量X1与X2当n2时两 点 总能连成一条直线即使性质上原本并不存在 线性关系的 变量X1与X2由于样本含量问题产 生了共线性。样本含量较小 时，自变量容易 呈现线性关系。 如果研究的自变量个数大 于2设为X1X2，...，XP，虽然各自变量之间没有线性关系， 但如果样本含量n小于模型中自变量的个数，就可能导致多元 共线性问题。 情况二: 出现强影响观测值 进入20世纪80年代后期人们开始关注单个或几个样本点对多重共线性的影 响。研究表明存在两类这样的数据点 或点群:1导致或加剧多重共线性 2 掩盖存在着的多重共线性。a中因异常观测值的出现而掩盖了共线性b中因异常观测 值的出现而产生了共线性。这样的异常观测值称为多元共线性强 影响观测值。显然这种观测值会对设计矩阵的性态产生很大影响 从而影响参数估计。 情况三:时序变量 若建模所用的自变量是时序变量并且 是高阶单整时序变量这种时序变量之 间高度相关必然导致多重共线性。2.多元共线性的表现 (1)模型拟合效果很好，但偏回归系数几乎都 无统计学意义; (2)偏回归系数估计值的方差很大; (3)偏回归系数估计值不稳定，随着样本含量 的增减各偏回归系数发生较大变化或当一个自 变量被引入或剔除时其余变量偏回归系数有很 大变化; (4)偏回归系数估计值的大小与符号可 能与事先期望的不一致或与经验相悖，结 果难以解释。 3.多元共线性的诊断 常用的共线性诊断指标有以下几个: (1)方差膨胀因子 (2)特征根系统(system of eigenvalues) 主要包括条件指数和方差比。
无条件分位数回归文献综述与应用实例上
无条件分位数回归：文献综述与应用实例（上） 朱平芳张征宇 2013-1-7 11:17:39 来源：《统计研究》(京)2012年3期第88～96页 内容提要：条件分位数回归（conditional quantile regression，CQR）方法已成为经济学实证研究的常用方法之一。由于CQR 结果的经济学阐释基于过多甚至是不必要的控制变量，这与人们所关心的问题有可能并不一致。例如，在劳动经济学对教育回报的研究中，无论个体的年龄，性别与家庭特征如何，教育程度对于个人收入的异质性影响是人们关注的重点，即人们想了解收入关于教育程度的无条件分位数估计。本文旨在介绍近年来发展起来的无条件分位数回归（unconditional quantile regression，UQR）技术并梳理相关文献。特别地，本文介绍三种重要的无条件分位数回归模型：Firpo，Fortin和Lemieux（2009）提出的再中心化影响函数（recentered influence function，RIF）回归，Frolich和Melly（2010）提出的无条件分位数处理效应模型与Powell（2010）提出的一般无条件分位数回归。另外，论文还运用一个研究居民收入分配格局变化对其医疗支出影响的实例详细说明了新方法的应用。 关键词：条件分位数回归无条件分位数回归 RIF回归处理效应模型 作者简介：朱平芳（1961-），男，浙江兰溪人，1987年毕业于上海财经大学应用统计专业，获经济学硕士学位，2005年毕业于上海社会科学院经济研究所，获经济学博士学位，现为上海社会科学院数量经济研究中心主任，研究员，博士生导师，兼任中国数量
多重线性回归分析
一、作业 教材P214 三。 二、自我练习 （一）教材P213 一。 （二）是非题 1．当一组资料的自变量为分类变量时，对这组资料不能做多重线性回归分析。( ) 2．若多重线性方程模型有意义．则各个偏回归系数也均有统计学意义。〔) 3．回归模型变量的正确选择在根本上依赖于所研究问题本身的专业知识。（） 4.从各自变量偏回归系数的大小．可以反映出各自变量对应变量单位变化贡献的大小。( ) 5.在多元回归中，若对某个自变量的值都增加一个常数，则相应的偏回归系数不变。( ) （三）选择题 1. 多重线性回归分析中，共线性是指（），导致的某一自变量对Y的作用可以由其他自变量的线性函数表示。 A. 自变量相互之间存在高度相关关系 B. 因变量与各个自变量的相关系数相同 C. 因变量与自变量间有较高的复相关关系 D. 因变量与各个自变量之间的回归系数相同
2. 多重线性回归和Logistic 回归都可应用于（）。 A. 预测自变量 B. 预测因变量Y 取某个值的概率π C. 预测风险函数h D. 筛选影响因素（自变量） 3．在多重回归中，若对某个自变量的值都增加一个常数，则相应的偏回归系数： A．不变 B．增加相同的常数 C．减少相同的常数 D．增加但数值不定 4．在多元回归中，若对某个自变量的值都乘以一个相同的常数k，则： A．该偏回归系数不变 B．该偏回归系数变为原来的 1/k倍 C．所有偏回归系数均发生改变 D．该偏回归系数改变，但数值不定 5．作多重线性回归分析时，若降低进入的F 界值，则进入方程的变量一般会： A．增多 B．减少 C．不变 D．可增多也可减少（四）筒答题 1.为什么要做多重线性回归分析？
第八章 虚拟变量回归 思考题
第八章 虚拟变量回归 思考题 8.1 什么是虚拟变量 ? 它在模型中有什么作用 ? 8.2 虚拟变量为何只选 0 、 1, 选 2 、 3 、 4 行吗 ? 为什么 ? 8.3 对 (8.10) 式的模型 , 如果选择一个虚拟变量 1,01D ?? =??-? 大专及大专以上，高中，高中以下 这样的设置方式隐含了什么假定 ? 这一假定合理吗 ? 8.4 引入虚拟解释变量的两种基本方式是什么 ? 它们各适用于什么情况 ? 8.5 四种加法方式引入虚拟变量会产生什么效应? 8.6 引入虚拟被解释变量的背景是什么?含有虚拟被解释变量模型的估计方法有哪些 ? 8.7 设服装消费函数为 12233t i i i i Y D D X u αααβ=++++ 其中，i X =收入水平 ;Y = 年服装消费支出 ; 1,30D ?=? ?大专及大学以上 ，其他 ；1,20D ?=??女性，其他 试写出不同人群组的服装消费函数模型。 8.8 利用月度数据资料 ,为了检验下面的假设,应引入多少个虚拟解释变量 ? 1) 一年里的 12 个月全部表现出季节模式 ; 2) 只有 2 月、 6 月、 8 月、 10 月和 12 月表现出季节模式。 练习题 8.1 1971 年 ,Sen 和 Sztvastava 在研究贫富国之间期望寿命的差异时 , 利用 101 个国家的数据 , 建立了如下回归模型 []? 2.409.39ln 3.36(ln 7)i i i i Y X D X =-+-- (4.37)(0.857)(2.42) R2=0.752 其中 ,X 是以美元计的人均收入 ;Y 是以年计的期望寿命 ; Sen 和 Srimstava 认为人均收入的临界值为 1097 美元 (ln1097=7), 若人均收入超过 1097 美元 , 则被认定为富国 ; 若人均收入低于1097美元 , 被认定为贫穷国。括号内的数值为对应参数估计值的t 值。 1) 解释这些计算结果。 2) 回归方程中引入(ln 7)i i D X =-的原因是什么?如何解释这个回归解释变量? 3) 如何对贫穷国进行回归 ? 又如何对富国进行回归 ? 4）这个回归结果中可得到的一般结论是什么 ?
分位数回归及其实例
LP )估计其最小加权绝对偏 分位数回归及其实例 一、分位数回归的概念 分位数回归(Quantile Regression):是计量经济学的研究前沿方向之一，它 利用解释变量的多个分位数(例如四分位、十分位、百分位等)来得到被解释变 量的条件分布的相应的分位数方程。与传统的 OLS 只得到均值方程相比，它可 以更详细地描述变量的统计分布。 传统的线性回归模型描述了因变量的条件分布受到自变量 X 的影响过程。 普通最dx--乘法是估计回归系数的最基本的方法，它描述了自变量 X 对于因变 量y 的均值影响。如果模型中的随机扰动项来自均值为零而且同方差的分布， 那 么回归系数的最dx--乘估计为最佳线性无偏估计(BLUE);如果近一步随机扰动 项服从正态分布，那么回归系数的最 dx--乘法或极大似然估计为最小方差无偏 估计(M 切甩)。但是在实际的经济生活中，这种假设常常不被满足，饲如数据出 现尖峰或厚尾的分布、存在显著的异方差等情况，这时的最小二乘法估计将不再 具有上述优良性且稳健性非常差。最小二乘回归假定自变量 X 只能影响因变量 的条件分布的位置，但不能影响其分布的刻度或形状的任何其他方面。 为了弥补普通最dx--乘法(OLs)在回归分析中的缺陷，Koenkel"和Pxassett 于1978年提出了分位数回归(Quantile Regression) 的思想。它依据因变量的条 件分位数对自变量X 进行回归，这样得到了所有分位数下的回归模型。因此分 位数回归相比普通最小二乘回归只能描述自变量 X 对于因变量y 局部变化的影 响而言，更能精确地描述自变量 X 对于因变量y 的变化范围以及条件分布形状 的影响。 分位数回归是对以古典条件均值模型为基础的最小二乘法的延伸， 用多个分 位函数来估计整体模型。中位数回归是分位数回归的特殊情况， 用对称权重解决 残差最小化问题，而其他的条件分位数回归则用非对称权重解决残差最小化。 一般线性回归模型可设定如下： x (t) t( I(t 0)), (0,1). 在满足咼斯-马尔可夫假设前提下，可表示如下: E(y|x) 0 1X 1 2X 2 ... k X k 其中U 为随机扰动项0, 1, 2，…，k 为待估解释变量系数。这是均值回归 (OLS )模型 表达式，类似于均值回归模型，也可以定义分位数回归模型如下: Q y ( |x) 1X 1 2X 2 ... k X k Q u () 对于分位数回归模型，则可采取线性规划法( 差，从而得到解释变量的回归系数，可表示如下： min E x (y 0 必 2 X2 …k Xj
多选项分析及回归分析spss
一、多选项分析 一）问卷中多选项问题的分析 多选项问题的分解通常有2中方法：1、多选项二分法（Multiple Dichotomies Method）； 2、多选项分类法（Multiple Category Method）。 1、多选项二分法（Multiple Dichotomies Method）； 多选项二分法是将多选项问题中的每个答案设为一个SPSS变量，每个变量只有0或1两个取值，分别表示选择个该答案和不选择该答案。 按照多选项二分法可以将居民储蓄调查中村（取）款目的这个多选项问题分解为十一个问题，并设置十一个SPSS变量。 2、多选项分类法（Multiple Category Method） 多选项分类法中，首先应估计多选项问题最多可能出现的答案个数；然后，为每个答案设置一个SPSS变量，变量取值为多选项问题中的可选答案。 按照多选项分类法可将居民储蓄调查中存（取）款目的这个多选项问题分解成三个问题（通常给出的答案数不会超过三个），并设置三个SPSS变量。 以上两种分解方法的选择考虑是否便于分析和是否丢失信息两个方面。 多选项二分法分解问题存在较大的信息丢失，这种方式没有体现选项的顺序，如果问题存在顺序则适合采用分类法。 同时注意自己需要的信息加以选择。 二）多选项分析基本操作 1、多选项分析的基本实现思路
第一、按多选项二分法或多选项分类法将多选项问题分解成若干问题，并设置若干个SPSS变量。 第二、采用多选项频数分析或多选项交叉分组下的频数分析数据。 为了实现第二步，应首先定义多选项选择变量集，即将多选项问题分解并设置成多个变量后，指定这些为一个集合。定义多选项变量集是为了今后多选项频数分析和多选项交叉分组下的频数分析作准备。只有通过定义多选项变量集，SPSS才能确定应对哪些变量取相同值的个案数进行累加。 2、定义多选项选择变量集的基本操作步骤 1）选择菜单Analyze —Multiple Response —Defined Sets，出现如下图所示的窗口。 2）从数值型变量中见进入多选项变量集的变量选择到Variables in Sets框中。 3）在Variables Are Coded AS框中制定多选项变量集中的变量是按照哪种方法分解的。Dichotomies表示以多选项二分法分解，并在Counted Value中输入对那组织进行分析。SPSS 规定等于该值的样本为一组，其余样本为另一组；Categories表示以多选项分类法分解，并在Range框中输入变量取值的最小值和最大值。
统计学多元回归研究分析方法
统计学多元回归分析方法
————————————————————————————————作者：————————————————————————————————日期：
多元线性回归分析 在数量分析中，经常会看到变量与变量之间存在着一定的联系。要了解变量之间如何发生相互影响的，就需要利用相关分析和回归分析。回归分析的主要类型：一元线性回归分析、多元线性回归分析、非线性回归分析、曲线估计、时间序列的曲线估计、含虚拟自变量的回归分析以及逻辑回归分析等。 1.1 回归分析基本概念 相关分析和回归分析都是研究变量间关系的统计学课题。在应用中，两种分析方法经常相互结合和渗透，但它们研究的侧重点和应用面不同。 在回归分析中，变量y称为因变量，处于被解释的特殊地位；而在相关分析中，变量y与变量x处于平等的地位，研究变量y与变量x的密切程度和研究变量x与变量y的密切程度是一样的。 在回归分析中，因变量y是随机变量，自变量x可以是随机变量，也可以是非随机的确定变量；而在相关分析中，变量x和变量y都是随机变量。 相关分析是测定变量之间的关系密切程度，所使用的工具是相关系数；而回归分析则是侧重于考察变量之间的数量变化规律，并通过一定的数学表达式来描述变量之间的关系，进而确定一个或者几个变量的变化对另一个特定变量的影响程度。 具体地说，回归分析主要解决以下几方面的问题。 （1）通过分析大量的样本数据，确定变量之间的数学关系式。
（2）对所确定的数学关系式的可信程度进行各种统计检验，并区分出对某一特定变量影响较为显著的变量和影响不显著的变量。 （3）利用所确定的数学关系式，根据一个或几个变量的值来预测或控制另一个特定变量的取值，并给出这种预测或控制的精确度。 作为处理变量之间关系的一种统计方法和技术，回归分析的基本思想和方法以及“回归（Regression）”名称的由来都要归功于英国统计学F·Galton（1822～1911）。 在实际中，根据变量的个数、变量的类型以及变量之间的相关关系，回归分析通常分为一元线性回归分析、多元线性回归分析、非线性回归分析、曲线估计、时间序列的曲线估计、含虚拟自变量的回归分析和逻辑回归分析等类型。 1.2 多元线性回归 1.2.1 多元线性回归的定义 一元线性回归分析是在排除其他影响因素或假定其他影响因素确定的条件下，分析某一个因素（自变量）是如何影响另一事物（因变量）的过程，所进行的分析是比较理想化的。其实，在现实社会生活中，任何一个事物（因变量）总是受到其他多种事物（多个自变量）的影响。 一元线性回归分析讨论的回归问题只涉及了一个自变量，但在实际问题中，影响因变量的因素往往有多个。例如，商品的需求除了受自身价格的影响外，还要受到消费者收入、其他商品的价格、消费者偏好等因素的影响；影响水果产量的外界因素有平均气温、平均日照
虚拟变量案例-虚拟变量回归案例分析
虚拟变量（dummy variable ） 在实际建模过程中，被解释变量不但受定量变量影响，同时还受定性变量影响。例如需要考虑性别、民族、不同历史时期、季节差异、企业所有制性质不同等因素的影响。这些因素也应该包括在模型中。 由于定性变量通常表示的是某种特征的有和无，所以量化方法可采用取值为1或0。这种变量称作虚拟变量，用D 表示。虚拟变量应用于模型中，对其回归系数的估计与检验方法与定量变量相同。 1． 截距移动 设有模型， y t = β0 + β1 x t + β2D + u t , 其中y t ，x t 为定量变量；D 为定性变量。当D = 0 或1时，上述模型可表达为， β0 + β1x t + u t , (D = 0) y t = (β0 + β2) + β1x t + u t , (D = 1) 020 40 60 20 40 60 X Y 图8.1 测量截距不同 D = 1或0表示某种特征的有无。反映在数学上是截距不同的两个函数。若β2显著不为零，说明截距不同；若β2为零，说明这种分类无显著性差异。 例：中国成年人体重y （kg ）与身高x （cm ）的回归关系如下： –105 + x D = 1 (男) y = - 100 + x - 5D = – 100 + x D = 0 (女) 注意： ① 若定性变量含有m 个类别，应引入m -1个虚拟变量，否则会导致多重共线性，称作虚拟变量陷阱（dummy variable trap ）。 ② 关于定性变量中的哪个类别取0，哪个类别取1，是任意的，不影响检验结果。 ③ 定性变量中取值为0所对应的类别称作基础类别（base category ）。 ④ 对于多于两个类别的定性变量可采用设一个虚拟变量而对不同类别采取赋值不同的方法处理。如： 1 (大学) D = 0 (中学) -1 (小学)。 β0 β0+β2 D = 1 D =0
(整理)常用多变量分析方法
常用多变量分析方法 在社会科学研究中，主要的多变量分析方法包括多变量方差分析（Multivariate analysis of variance，MANOVA）、主成分分析（Principal component analysis）、因子分析（Factor analysis）、典型相关（Canonical correlation analysis）、聚类分析（Cluster analysis）、判别分析（Discriminant analysis）、多维量表分析（Multidimensional scaling），以及近来颇受瞩目的验证性因子分析(Confirmatory factor analysis )或线性结构模型（LISREL）与逻辑斯蒂回归分析等，以下简单说明这些方法的观念和适用时机。 一、多变量方差分析 MANOVA适用于同时探讨一个或多个自变量与两个以上因变量间因果关系的统计方法，依照研究者所操作自变量的个数，可以分为单因素（一个自变量）或多因素（两个以上自变量）MANOVA。进行多变量方差分析时，自变量必须是离散的定类或定序变量，而因变量则必须是定距以上层次的变量。 二、主成分分析 主成分分析的主要功能在分析多个变量间的相关，以建构变量间的总体性指标（overall indicators）。当研究者测量一群彼此间具有高度相关的变量，则在进行显著性检验钱，为避免变量数过多，造成解释上的复杂与困扰，常会先进行主成分分析，在尽量不丧失原有信息的前提下，抽取少数几个主成分，作为代表原来变量的总体性指标，达到资料缩减（data reduction）的功能。进行主成分分析时，并无自变量和因变量的区别，但是所有的变量都必须是定距以上层次变量。 三、因子分析 因子分析与主成分分析常被研究者混用，因为二者的功能都是通过对变量间的相关分析，以达到简化数据功能。但不同的是，主成分分析是在找出变量间最佳线性组合（linear combination）的主成分，以说明变量间最多的变异量；至于因子分析，则在于找出变量间共同的潜在结构（latent structure）或因子，以估计每一个变量在各因子上的负荷量（loading）。进行因子分析时，并无自变量和因变量的区分，但是所有变量都必须是定距以上层次变量。 四、典型相关 典型相关可视为积差相关或多元回归分析的扩展，主要功能在分析两个变量间的相关。进行多元回归分析的目的，是在分析一个或多个自变量与一个因变量间的关系，而典型相关中因变量也可以是多个；也就是说，典型相关的目的在于通过计算得到两个变量线性组合的加权系数。以使（maximum）两个变量间的相关达到最大化。进行典型相关时，并无自变量和因变量的区分，但是所有变量都必须是定距以上层次变量。
分位数回归及应用简介
第21卷第3期2006年5月 统计与信息论坛 Vol.21No.3M ay ,2006 收稿日期:2005-09-09 基金项目:国家自然科学基金(10431010);教育部重点基地重大项目(05JJD910001);中国人民大学应用统计中心资助。作者简介:李育安(1969-),男,湖北省大悟人,副教授,博士,研究方向:复杂数据的统计建模。 统计理论与方法 分位数回归及应用简介 李育安1,2 (1.中国人民武装警察部队学院,河北廊坊065000;2.中国人民大学统计学院,北京100872)摘要:文章介绍了分位数回归法的概念、算法及主流统计软件R 和SA S 计算时的语法,并通过实例与以普通最小二乘法为基础的线性回归进行了对比,展现了分位数回归的巨大魅力。 关键词:最小二乘法;分位数回归;恩格尔曲线 中图分类号:O212.1 文献标识码:A 文章编号:1007-3116(2006)03-0035-05 一、引 言 1870年,英国的高尔顿在研究人类身高的遗传规律时发现:父母是高个子的,其子女的身高有低于父母身高的趋势;相反,父母是矮个子的,其子女的身高却往往有高于父母身高的趋势。从全局来看,高、矮个子人的子女都有!回归?于一般人身高的期 望值。这就是统计学上!回归?的最初涵义。1886年,高尔顿在论文中正式提出了!回归?的概念。经过他的学生皮尔逊多年的进一步的发展后,这个出自于生物统计学领域的概念,便被推广为一般统计方法论的重要概念。 !回归分析?悠久的历史,使其理论完美,计算工具齐全,这其中又以基于最小二乘法的经典线性回归在数据分析中遍地开花。原因不外是最小二乘法的解释与人们的直观想象一致;同时该方法易于计算,有时计算用手工,其优越性在前计算机时代是不言而喻的。尤其是当假设误差是正态分布时,它具有如无偏性与有效等优良性质;但是运用最小二乘法的条件比较高,如线性回归模型要求满足同方差性、随机误差间两两不相关等条件,当需要进行回归系数的显著性推断时,通常还要假设残差服从正态分布。尤其是当分布是重尾或有离群点时,其结果的稳健性较差。在实际问题中,完全满足这些基本假设的情况并不多见,然而一旦违背了某一项基本 假设,那么在应用时就难以得到无偏的、有效的参数估计量。还有,大量的宝贵数据仅仅只能得到一条回归曲线,而一条曲线所能提供的信息毕竟是有限的。所以人们在使用回归分析时,也在不断地探索更新更好的方法,而条件更宽松,挖掘信息更丰富者,当属分位数回归。 自从Koenker 和Bassett(1978) [1] 最早提出线性 分位数回归的理论以后,当时由于分位数回归本身计算的复杂性,所以它没能象经典的回归分析那样迅速普及,但对它的理论研究一直在不断的完善中。随着计算机技术的不断突破,分位数回归软件包现已是主流统计软件R 、SAS 等中的座上客了,分位数回归也就自然而然地成为经济、医学、教育等领域的常用分析工具。 二、分位数回归的概念、性质 对于任意实值随机变量Y ,它的所有性质都可以由Y 的分布函数,即:F(y )=Pr (Y #y ) 来刻画。对于任意的0< <1,定义随机变量Y 的 分位数函数Q ( )为: Q ( )=inf {y :F (y )? } (1) 它完全刻画了随机变量Y 的性质,可以看出[注意:与F -1( )={y :F(y )? }进行比较],存在比例为 的部分小于分位数函数Q( ),而比例为1-
多元回归分析原理及例子
多元回归分析原理 回归分析是一种处理变量的统计相关关系的一种数理统计方法。回归分析的基本思想是: 虽然自变量和因变量之间没有严格的、确定性的函数关系, 但可以设法找出最能代表它们之间关系的数学表达形式。 回归分析主要解决以下几个方面的问题: (1) 确定几个特定的变量之间是否存在相关关系, 如果存在的话, 找出它们之间合适的数学表达式; (2) 根据一个或几个变量的值, 预测或控制另一个变量的取值, 并且可以知道这种预测或控制能达到什么样的精确度; (3) 进行因素分析。例如在对于共同影响一个变量的许多变量(因素)之间, 找出哪些是重要因素, 哪些是次要因素, 这些因素之间又有什么关系等等。 回归分析有很广泛的应用, 例如实验数据的一般处理, 经验公式的求得, 因素分析, 产品质量的控制, 气象及地震预报, 自动控制中数学模型的制定等等。 多元回归分析是研究多个变量之间关系的回归分析方法, 按因变量和自变量的数量对应关系可划分为一个因变量对多个自变量的回归分析(简称为“一对多”回归分析)及多个因变量对多个自变量的回归分析(简称为“多对多”回归分析), 按回归模型类型可划分为线性回归分析和非线性回归分析。 本“多元回归分析原理”是针对均匀设计3.00软件的使用而编制的, 它不是多元回归分析的全面内容, 欲了解多元回归分析的其他内容请参阅回归分析方面的书籍。 本部分内容分七个部分, §1～§4介绍“一对多”线性回归分析, 包括数学模型、回归系数估计、回归方程及回归系数的显著性检验、逐步回归分析方法。“一对多”线性回归分析是多元回归分析的基础, “多对多”回归分析的内容与“一对多”的相应内容类似, §5介绍“多对多”线性回归的数学模型, §6介绍“多对多”回归的双重筛选逐步回归法。§7简要介绍非线性回归分析。 §1 一对多线性回归分析的数学模型 §2 回归系数的最小二乘估计 §3 回归方程及回归系数的显著性检验 §4 逐步回归分析 §5 多对多线性回归数学模型 §6 双重筛选逐步回归 §7 非线性回归模型 1 一对多线性回归分析的数学模型§ 个自变量存在线性关系设随机变量与: , (1.1) 式中为回归系数, 为随机误差。 (1.1)式称为回归方程, 的均值的问题, 即现在解决用估计 , 是与, ,