逻辑回归统计量计算
二元logistic逻辑回归分析 4)
作业二1.这篇论文通过对logistic模型曲线的分析，来确定南丰蜜橘在实际生产条件下栽培管理的关键时期。
研究通过田间试验获得有关资料，借助origin软件建立南丰蜜橘果实生长的logistic模型，利用该模型研究南丰蜜橘果实的生长规律，对制定栽培管理方案以提高果实品质。
首先用originpro8.0的内置函数s logistic对2008年江西农业大学生态园小果系普通南丰蜜橘的试验数据进行logistic曲线拟合和方差分析，并以此方法求解2008年不同南丰蜜橘品系果实生长的logistic方程及其相关性。
用南丰蜜橘小果系ss-28和97-1的logistic方程求解出2009年的预测值，然后用origin软件做预测值与实测值之间的相关性及误差估计。
结果南丰蜜橘果实发育过程中单果重的logistic曲线与试验数据点十分吻合，95%置信带几乎囊括了所有试验数据点。
曲线拟合的回归方程的决定系数Ｒ2达0.989 4，统计量值Ｆ达776.968 9，与Ｆ对应的概率值Ｐ小于0.000 1，表明拟合方程与试验数据点相关性达到极显著水平，故可以使用logistic曲线模拟南丰蜜橘果实的生长动态。
用originpro8.0的内置函数s logistic1方法求解2008年不同南丰蜜橘品(株)系单果重变化的logistic方程及其相关性，其相关系数均大于0.95，说明各方程可较好地预测南丰蜜橘各品(株)系果实的生长动态。
最后是模型验证，以2009年南丰蜜橘小果系ＳＳ-28和97 -1单果重为实测值作为横坐标，以表2中其对应的logistic曲线方程求解相应花后天数的值为预测值，作为纵坐标,用origin软件绘制散点图并作线性拟合。
小果系ＳＳ-28和97 -1预测值与实测值拟合的回归方程的相关系数分别为0.903 3和0.944 4，统计量值Ｆ分别达262.728 8和487.617 6, 标准误差分别为4.506 3和3.268 4，与Ｆ对应的概率值Ｐ均为0，表明拟合方程与试验数据点相关性达到极显著水平，证明可以用logistic曲线预测南丰蜜橘果实的生长动态。
逻辑斯蒂回归模型参数估计
逻辑斯蒂回归模型参数估计逻辑斯蒂回归模型是一种经典的统计学方法，被广泛应用于分类问题的参数估计。
本文将以通俗易懂的语言介绍逻辑斯蒂回归模型参数估计的原理、步骤和指导意义。
逻辑斯蒂回归模型是一种用于解决分类问题的统计模型。
它的核心思想是通过建立一个函数，将输入的特征与输出的概率联系起来。
逻辑斯蒂回归模型的输出是一个概率值，表示样本属于某个类别的可能性。
在逻辑斯蒂回归模型中，参数估计就是为了找到最佳的函数参数，使其能够最好地拟合样本数据。
参数估计的过程是通过最大似然估计方法来进行的。
最大似然估计是一种常用的参数估计方法，它的核心思想是找到使得样本观测概率最大的参数值。
具体来说，在逻辑斯蒂回归模型中，参数估计的步骤如下：首先，我们需要准备训练数据集，包括一组已知类别的样本和其对应的特征。
然后，我们需要选择适当的损失函数，用于衡量模型的拟合程度和预测结果的准确性。
在逻辑斯蒂回归模型中，常用的损失函数是对数似然损失函数。
接下来，我们需要使用优化算法，如梯度下降法，来最小化损失函数。
优化算法的目标是搜索最佳的参数值，使损失函数达到最小值。
在每次迭代中，参数值会根据当前的负梯度方向进行更新，直到达到收敛条件为止。
最后，我们可以使用估计得到的参数值来做预测。
通过将样本特征代入逻辑斯蒂回归函数，可以得到样本属于某个类别的概率值。
根据设定的阈值，我们可以将概率值转换为二分类的预测结果。
逻辑斯蒂回归模型参数估计的意义在于，它可以帮助我们理解变量之间的关系，并且可以用于预测新样本的类别。
通过分析参数的大小和符号，我们可以判断不同特征对于样本分类的重要性。
此外，逻辑斯蒂回归模型还具有一些优点，使其在实际应用中得到广泛使用。
首先，逻辑斯蒂回归模型是一种线性模型，计算效率较高。
其次，逻辑斯蒂回归模型输出的是概率值，可以提供更为精细的预测结果。
总之，逻辑斯蒂回归模型参数估计是一项重要的统计学任务。
通过合理选择损失函数和优化算法，我们可以得到一个较好的模型，用于解决分类问题。
logistic 回归
逻辑回归模型的应用背景 逻辑回归模型的建立 逻辑回归系数的意义 逻辑回归模型的参数估计与统计检验 E-views与逻辑回归分析
பைடு நூலகம்
1，逻辑回归模型的应用背景
上面介绍可知，对于线性概率模型，存在着一些估计方面和 困难。有的问题尽管可以用适当的方法加以弥补，如扰动 项的异方差性，可以加权最小二乘法加以弥补；又如对于 不在[0,1]内的情况，可以利用人工变量，但这种方式存 在着很大的主观性。这能做一些弥补，但效果不理想。 除此之外，更深层次的问题是模型的经济意义不能很好体现 。也就是说，线性概率模型并不能准确恰当地分析和反映 二元离散选择问题。例如：购买住房，通常收入很高或很 低时，收入增加对于购买住房的可能性不会有太大的影响 ，而收入中等时，收入增加对购买住房的影响可能性会很 大。也就是说，购买住房的可能性与收入之间应该是一种 非线性关系。
逻辑回归系数的意义
考虑更为一般的模型：
Logit p=β0+β1x1+β2x2+β3x3
x2为年龄；x3为居住地（1为城市，0为农村） 数值型变量的回归系数的意义： 当其他解释变量保持不变时，解释变量x2（年龄）每变化一个单位，即x2+1时， 使原来的发生比扩大（或缩小）exp(β2） OR=odds(x2+1)/odds(x2)=eβ0+β1x1+β2（x2+1）+β3x3/eβ0+β1x1+β2x2+β3x3=eβ2 odds(x2+1)=eβ2odds(x2)
逻辑回归系数的意义
1，发生比【Odds】
事件A发生的概率P=p(y=1); 时间A不发生的概率1-P=P(y=0)
发生比odds（A）=P/（1-P），也称为相对风险,即时间发生与不发生所 对应的概率之比。
逻辑回归 回归系数 知乎
逻辑回归回归系数知乎逻辑回归是一种常用的机器学习算法，其主要用途是用于分类问题。
通过这篇文章，我们将全面介绍逻辑回归的原理、回归系数的意义以及如何应用于实际问题，希望能给读者带来一些启发和指导。
首先，让我们来了解逻辑回归的原理。
顾名思义，逻辑回归是一种回归模型，但它的输出并不是连续值而是离散值（通常为0或1）。
具体来说，逻辑回归使用S形函数（也称为逻辑函数）将输入的特征与概率值联系起来，然后根据概率值进行分类预测。
这个S形函数的形式是：$$P(y=1|X) = \frac{1}{1+\exp(-\theta^TX)}$$其中，$P(y=1|X)$表示样本为正样本的概率，$\theta$表示回归系数，$X$表示输入的特征向量。
接下来，我们来解释一下回归系数的意义。
回归系数可以告诉我们对应的特征对最终分类的贡献有多大。
具体来说，回归系数是带有正负号的，正数表示该特征对应样本为正样本的概率的增加有正向影响，负数表示有负向影响。
同时，回归系数的绝对值越大，表示该特征对最终分类的影响越大。
那么，如何应用逻辑回归到实际问题中呢？首先，我们需要收集足够的训练样本和对应的标签。
然后，我们可以使用常见的机器学习库或者编程语言来实现逻辑回归算法。
在实现过程中，我们需要将输入的特征进行预处理（例如归一化、标准化等），然后使用梯度下降等优化算法来求解最优的回归系数。
在应用逻辑回归时，我们还需要注意一些问题。
首先，逻辑回归对特征之间的线性关系敏感，如果特征之间存在非线性关系，我们可能需要进行特征工程来提取更加有用的特征。
其次，逻辑回归对异常值也比较敏感，因此在训练模型之前，我们需要对数据进行异常值处理。
最后，为了保证模型的泛化能力，我们需要进行模型的评估和调优，例如使用交叉验证等方法来评估模型在未见过的数据上的表现，并通过调整超参数来优化模型的性能。
总结一下，逻辑回归是一种常用的分类算法，其回归系数可以帮助我们理解特征在分类中的作用。
逻辑回归的回归系数的正负
逻辑回归的回归系数的正负引言逻辑回归是一种常用的分类算法，在许多实际问题中都有广泛的应用。
在逻辑回归模型中，回归系数的正负对于预测结果的解释和理解非常重要。
本文将深入探讨逻辑回归的回归系数的正负对模型的影响。
逻辑回归简介逻辑回归是一种广义线性模型，用于解决二分类问题。
在逻辑回归中，我们试图建立一个能够将输入变量映射到输出变量的函数，这个函数的输出是一个概率值，表示样本属于某个类别的概率。
逻辑回归的模型可以表示为：P(y=1|x)=11+e−βT x其中，P(y=1|x)表示样本属于类别1的概率，x是输入变量，β是回归系数。
回归系数的正负对模型的影响逻辑回归模型中的回归系数对于模型的预测能力有重要的影响。
回归系数的正负决定了自变量对因变量的影响方向，下面我们将详细讨论回归系数的正负对模型的影响。
正系数的影响当回归系数为正时，自变量的增加会导致因变量的增加。
这意味着，自变量与因变量之间存在正相关关系。
具体来说，当自变量的值增加时，逻辑回归模型中的概率值也会增加，即样本属于类别1的概率增加。
这种情况常常出现在我们对某个因素的增加会增加样本属于某个类别的概率的情况下，比如在预测某个产品的销量时，如果产品的价格越高，销量越大，那么价格就是一个正系数。
负系数的影响当回归系数为负时，自变量的增加会导致因变量的减少。
这意味着，自变量与因变量之间存在负相关关系。
具体来说，当自变量的值增加时，逻辑回归模型中的概率值会减少，即样本属于类别1的概率减少。
这种情况常常出现在我们对某个因素的增加会减少样本属于某个类别的概率的情况下，比如在预测某个疾病的发生率时，如果某个因素的增加会降低疾病的发生率，那么这个因素就是一个负系数。
回归系数的解释回归系数的正负不仅仅对模型的预测能力有影响，还可以用于解释模型的结果。
在逻辑回归中，回归系数可以解释自变量对因变量的影响强度和方向。
强度的解释回归系数的绝对值大小可以反映自变量对因变量的影响强度。
逻辑回归参数估计
逻辑回归参数估计逻辑回归是一种广泛应用于分类问题的机器学习算法，其主要用于找到一个决策边界，以将不同类别的数据点分开。
而逻辑回归的模型参数估计，是让这种算法可以通过训练数据学习从输入特征中的提取信息，进行分类预测。
本文将对逻辑回归的参数估计进行详细的介绍。
### 逻辑回归的基本原理逻辑回归是一种基于概率的分类算法，在二分类问题中，我们需要计算两种不同的概率。
一种是正例概率，表示给定一个样本，它属于正例的概率。
另一种是反例概率，表示给定一个样本，它属于反例的概率。
两种概率的和为1。
逻辑回归利用Sigmoid 函数将任意值压缩到0和1之间，从而得到一个概率值。
Sigmoid 函数的数学形式为：$$Sigmoid(z) = \dfrac{1}{1+e^{-z}}$$z是逻辑回归模型的线性加权和，定义为：$$z = \beta_0 + \beta_1 x_1 + \beta_2 x_2+ \cdots +\beta_n x_n$$这里，$x_1,x_2,\cdots,x_n$是自变量，即特征输入，每个特征都有一个对应的系数权重$\beta_i$，$\beta_0$是截距，表示当所有特征都为0时的输出值。
逻辑回归将这个线性加权和通过Sigmoid 函数转换成0-1之间的概率值。
如果这个概率大于等于0.5，则我们将样本标记为正例；否则，我们将其标记为反例。
现在，我们需要估计模型中的参数$\beta_0, \beta_1, \beta_2,\cdots,\beta_n$，以便逻辑回归模型能够通过输入特征进行分类。
采用逻辑回归的目的是使得模型具有对新输入数据进行足够准确分类的能力。
逻辑回归参数的估计一般采用最大似然估计方法。
考虑训练数据集$D=\{(x_i,y_i)|i=1,2,\cdots,n\}$，$x_i$是$n$个样本中第$i$个样本的自变量(特征)，$y_i$是这个样本对应的标注结果，$y_i\in \{0,1\}$。
逻辑回归分析课件
7.8.2 SPSS中实现过程
研究问题 在一次关于某城镇居民上下班使用交通工 具的社会调查中，因变量y =1表示居民主要乘 坐公共汽车上下班；y =0表示主要骑自行车 上下班；自变量x1表示被调查者的年龄；x2表 示被调查者的月收入；x3表示被调查者的性别 （x3=1为男性，x3=0为女性）x3在这里是一个 虚拟变量。 试建立y与自变量间的Logistic回归，数据如 表7-7所示。
如果该p值小于给定的显著性水平（如 =0.05），则拒绝因变量的观测值与模型预测 值不存在差异的零假设，表明模型的预测值与 观测值存在显著差异。如果值大于，我们没有 充分的理由拒绝零假设，表明在可接受的水平 上模型的估计拟合了数据。
7．Wald统计量（回归系数的非零检 验）
Wald统计量用于判断一个变量是否应该包 含在模型中，其检验步骤如下。 （1）提出假设。 （2）构造Wald统计量。 （3）作出统计判断。
然而，在许多实际问题中，我们需要研究的响 应变量不是区间变量而是顺序变量或名义变量 这样的属性变量。
比如在致癌因素的研究中，我们收集了若干 人的健康记录，包括年龄、性别、抽烟史、 日常饮食以及家庭病史等变量的数据。响应 变量在这里是一个两点（0-1）分布变量， Y=1（一个人得了癌症），Y=0（没得癌症）。 如果我们按照（1）建立一般线性模型：
同时，经过变换得到的模型也解决了（2）中， 概率的预测值可能是[0,1]之外的数的缺陷。
（3）式建立的模型，我们称为logistic模型 （逻辑回归模型）。
我们在学习交叉列联表的相关知识的时候，提 到过优势或发生比（odds ）和优势比或发生 比率（odds ratio）的概念 是事件发生于不发生的概率之比 那么逻辑模型就可以写成
ln p logit( p) 0 1 X 1 2 X 2 k X k .......( 3) 1 p
格兰杰因果关系检验的lr统计量
格兰杰因果关系检验的lr统计量格兰杰因果关系检验是统计学中常用的一种因果关系检验方法。
它基于逻辑回归的方法，通过计算逻辑回归的统计量，判断两个变量之间是否存在因果关系。
其中，逻辑回归的统计量就是LR统计量。
下面，本文将从以下几个方面进行介绍和解析：1. 什么是格兰杰因果关系检验？格兰杰因果关系检验是一种通过统计分析的方法来验证两个变量之间是否存在因果关系的方法。
它是基于逻辑回归模型的方法，所以也称为逻辑回归检验。
通过检验逻辑回归模型的统计量，判断是否有显著性差异，进而判断两个变量之间是否具有因果关系。
2. 如何计算LR统计量？在逻辑回归模型中，LR统计量表示的是模型的拟合程度。
它的计算公式为：LR = -2*log(Likelihood Ratio)其中，Likelihood Ratio表示的是拟合优度比，也就是新模型相对于原始模型的拟合优度，采用对数的形式进行计算。
最终，通过计算LR统计量，来判断两个变量之间是否存在因果关系。
3. 如何判断两个变量之间是否存在因果关系？在逻辑回归模型中，计算LR统计量的过程中，需要设定一些假设，用来判断两个变量之间是否存在因果关系。
具体可以分为以下几种情况：（1）零假设：即两个变量之间不存在因果关系，H0: β = 0。
（2）备择假设：即两个变量之间存在因果关系，H1: β ≠ 0。
（3）置信区间：使用置信区间来估计参数的范围，从而判断是否有显著性差异。
（4）显著性水平：通常使用5%作为显著性水平，即在这个水平下，假设成立的概率要小于5%。
4. 什么情况下适用格兰杰因果关系检验？格兰杰因果关系检验通常适用于因果关系比较明显的情况，如产品销售量和广告投入等有明确关联的场景。
但是，需要注意的是，逻辑回归模型在样本量太小的情况下容易出现过拟合的情况，所以在使用逻辑回归模型时，需要考虑样本量的大小，以及是否存在非线性的影响因素。
5. 总结格兰杰因果关系检验是一种适用广泛的因果关系检验方法，它基于逻辑回归的方法，通过计算LR统计量，来判断两个变量之间是否存在因果关系。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
逻辑回归模型作者：zgw21cn来源：博客园发布时间：2008-08-29 17:21 阅读：8993 次原文链接[收藏] 1.逻辑回归模型1.1逻辑回归模型考虑具有p个独立变量的向量,设条件概率为根据观测量相对于某事件发生的概率。
逻辑回归模型可表示为（1.1）上式右侧形式的函数称为逻辑函数。
下图给出其函数图象形式。
其中。
如果含有名义变量，则将其变为dummy变量。
一个具有k个取值的名义变量，将变为k-1个dummy变量。
这样，有（1.2）定义不发生事件的条件概率为（1.3）那么，事件发生与事件不发生的概率之比为（1.4）这个比值称为事件的发生比(the odds of experiencing an event),简称为odds。
因为0<p<1,故odds>0。
对odds取对数，即得到线性函数，（1.5）1.2极大似然函数假设有n个观测样本，观测值分别为设为给定条件下得到的概率。
在同样条件下得到的条件概率为。
于是，得到一个观测值的概率为（1.6）因为各项观测独立，所以它们的联合分布可以表示为各边际分布的乘积。
（1.7）上式称为n个观测的似然函数。
我们的目标是能够求出使这一似然函数的值最大的参数估计。
于是，最大似然估计的关键就是求出参数，使上式取得最大值。
对上述函数求对数（1.8）上式称为对数似然函数。
为了估计能使取得最大的参数的值。
对此函数求导，得到p+1个似然方程。
（1.9），j=1,2,..,p.上式称为似然方程。
为了解上述非线性方程，应用牛顿－拉斐森(Newton-Raphson)方法进行迭代求解。
1.3牛顿－拉斐森迭代法对求二阶偏导数，即Hessian矩阵为（1.10）如果写成矩阵形式，以Ｈ表示Hessian矩阵，Ｘ表示（1.11）令（1.12）则。
再令(注：前一个矩阵需转置)，即似然方程的矩阵形式。
得牛顿迭代法的形式为（1.13）注意到上式中矩阵Ｈ为对称正定的，求解即为求解线性方程ＨＸ＝Ｕ中的矩阵Ｘ。
对Ｈ进行cholesky分解。
最大似然估计的渐近方差（asymptotic variance）和协方差(covariance)可以由信息矩阵（information matrix）的逆矩阵估计出来。
而信息矩阵实际上是二阶导数的负值，表示为。
估计值的方差和协方差表示为，也就是说，估计值的方差为矩阵Ｉ的逆矩阵的对角线上的值，而估计值和的协方差为除了对角线以外的值。
然而在多数情况，我们将使用估计值的标准方差，表示为，for j=0,1,2,…,p （1.14）２.显著性检验下面讨论在逻辑回归模型中自变量是否与反应变量显著相关的显著性检验。
零假设：＝0（表示自变量对事件发生可能性无影响作用）。
如果零假设被拒绝，说明事件发生可能性依赖于的变化。
2.1 Wald test对回归系数进行显著性检验时，通常使用Wald检验，其公式为（2.1）其中, 为的标准误差。
这个单变量Wald统计量服从自由度等于１的分布。
如果需要检验假设：＝0,计算统计量（2.2）其中，为去掉所在的行和列的估计值，相应地，为去掉所在的行和列的标准误差。
这里，Wald统计量服从自由度等于p的分布。
如果将上式写成矩阵形式，有（2.3）矩阵Ｑ是第一列为零的一常数矩阵。
例如，如果检验，则。
然而当回归系数的绝对值很大时，这一系数的估计标准误就会膨胀，于是会导致Wald 统计值变得很小，以致第二类错误的概率增加。
也就是说，在实际上会导致应该拒绝零假设时却未能拒绝。
所以当发现回归系数的绝对值很大时，就不再用Wald统计值来检验零假设，而应该使用似然比检验来代替。
2.2似然比（Likelihood ratio test）检验在一个模型里面，含有变量与不含变量的对数似然值乘以-2的结果之差，服从分布。
这一检验统计量称为似然比(likelihood ratio)，用式子表示为（2.4）计算似然值采用公式（1.8）。
倘若需要检验假设：＝0,计算统计量（2.5）上式中，表示＝0的观测值的个数，而表示＝１的观测值的个数，那么n就表示所有观测值的个数了。
实际上，上式的右端的右半部分表示只含有的似然值。
统计量G服从自由度为p的分布2.3 Score检验在零假设：＝0下，设参数的估计值为，即对应的＝0。
计算Score统计量的公式为（2.6）上式中，表示在＝0下的对数似然函数（1.9）的一价偏导数值，而表示在＝0下的对数似然函数（1.9）的二价偏导数值。
Score统计量服从自由度等于１的分布。
2.4模型拟合信息模型建立后，考虑和比较模型的拟合程度。
有三个度量值可作为拟合的判断根据。
(1)-2LogLikelihood(2.7)(2) Akaike信息准则（Akaike Information Criterion,简写为AIC）(2.8)其中Ｋ为模型中自变量的数目，Ｓ为反应变量类别总数减１，对于逻辑回归有S=2-1=1。
-2LogL的值域为0至，其值越小说明拟合越好。
当模型中的参数数量越大时，似然值也就越大，-2LogL就变小。
因此，将２(K+S)加到AIC公式中以抵销参数数量产生的影响。
在其它条件不变的情况下，较小的AIC值表示拟合模型较好。
(3)Schwarz准则这一指标根据自变量数目和观测数量对-2LogL值进行另外一种调整。
SC指标的定义为(2.9)其中ln(n)是观测数量的自然对数。
这一指标只能用于比较对同一数据所设的不同模型。
在其它条件相同时，一个模型的AIC或SC值越小说明模型拟合越好。
3.回归系数解释3.1发生比odds=[p/(1-p)]，即事件发生的概率与不发生的概率之比。
而发生比率(odds ration),即(1)连续自变量。
对于自变量，每增加一个单位，odds ration为(3.1)(2)二分类自变量的发生比率。
变量的取值只能为0或1，称为dummy variable。
当取值为1，对于取值为0的发生比率为(3.2)亦即对应系数的幂。
(3)分类自变量的发生比率。
如果一个分类变量包括m个类别，需要建立的dummy variable的个数为m-1,所省略的那个类别称作参照类(reference category)。
设dummy variable为，其系数为，对于参照类，其发生比率为。
3.2 逻辑回归系数的置信区间对于置信度１-，参数的100%（１-）的置信区间为（3.3）上式中，为与正态曲线下的临界Ｚ值（critical value）, 为系数估计的标准误差，和两值便分别是置信区间的下限和上限。
当样本较大时，＝0.05水平的系数的95%置信区间为（3.4）4.变量选择4.1前向选择（forward selection）：在截距模型的基础上，将符合所定显著水平的自变量一次一个地加入模型。
具体选择程序如下（1）常数（即截距）进入模型。
（2）根据公式（2.6）计算待进入模型变量的Score检验值，并得到相应的P值。
（3）找出最小的p值，如果此p值小于显著性水平,则此变量进入模型。
如果此变量是某个名义变量的单面化(dummy)变量，则此名义变量的其它单面化变理同时也进入模型。
不然，表明没有变量可被选入模型。
选择过程终止。
（4）回到(2)继续下一次选择。
4.2 后向选择（backward selection）：在模型包括所有候选变量的基础上，将不符合保留要求显著水平的自变量一次一个地删除。
具体选择程序如下(1) 所有变量进入模型。
(2) 根据公式（2.1）计算所有变量的Wald检验值，并得到相应的p值。
(3) 找出其中最大的p值，如果此P值大于显著性水平，则此变量被剔除。
对于某个名义变量的单面化变量，其最小p值大于显著性水平，则此名义变量的其它单面化变量也被删除。
不然，表明没有变量可被剔除，选择过程终止。
(4) 回到(2)进行下一轮剔除。
4.3逐步回归(stepwise selection)(1)基本思想：逐个引入自变量。
每次引入对Ｙ影响最显著的自变量，并对方程中的老变量逐个进行检验，把变为不显著的变量逐个从方程中剔除掉，最终得到的方程中既不漏掉对Ｙ影响显著的变量，又不包含对Ｙ影响不显著的变量。
(2)筛选的步骤：首先给出引入变量的显著性水平和剔除变量的显著性水平，然后按下图筛选变量。
(3)逐步筛选法的基本步骤逐步筛选变量的过程主要包括两个基本步骤：一是从不在方程中的变量考虑引入新变量的步骤；二是从回归方程中考虑剔除不显著变量的步骤。
假设有p个需要考虑引入回归方程的自变量.①设仅有截距项的最大似然估计值为。
对p个自变量每个分别计算Score检验值，设有最小p值的变量为，且有，对于单面化(dummy)变量，也如此。
若，则此变量进入模型，不然停止。
如果此变量是名义变量单面化(dummy)的变量，则此名义变量的其它单面化变量也进入模型。
其中为引入变量的显著性水平。
②为了确定当变量在模型中时其它p-1个变量也是否重要，将分别与进行拟合。
对p-1个变量分别计算Score检验值，其p值设为。
设有最小p值的变量为，且有.若，则进入下一步，不然停止。
对于单面化变量，其方式如同上步。
③此步开始于模型中已含有变量与。
注意到有可能在变量被引入后，变量不再重要。
本步包括向后删除。
根据(2.1)计算变量与的Wald检验值，和相应的p值。
设为具有最大p值的变量，即=max(),.如果此p值大于，则此变量从模型中被删除，不然停止。
对于名义变量，如果某个单面化变量的最小p值大于，则此名义变量从模型中被删除。
④如此进行下去，每当向前选择一个变量进入后，都进行向后删除的检查。
循环终止的条件是：所有的p个变量都进入模型中或者模型中的变量的p值小于，不包含在模型中的变量的p值大于。
或者某个变量进入模型后，在下一步又被删除，形成循环。