Logistic回归模型

Logistic 回归模型1 Logistic 回归模型的基本知识 1.1 Logistic 模型简介主要应用在研究某些现象发生的概率p ，比如股票涨还是跌，公司成功或失败的概率，以及讨论概率p 与那些因素有关。

显然作为概率值，一定有10≤≤p ，因此很难用线性模型描述概率p 与自变量的关系，另外如果p 接近两个极端值，此时一般方法难以较好地反映p 的微小变化。

为此在构建p 与自变量关系的模型时，变换一下思路，不直接研究p ，而是研究p 的一个严格单调函数)(p G ，并要求)(p G 在p 接近两端值时对其微小变化很敏感。

于是Logit 变换被提出来：ppp Logit -=1ln)( （1）其中当p 从10→时，)(p Logit 从+∞→∞-，这个变化范围在模型数据处理上带来很大的方便，解决了上述面临的难题。

另外从函数的变形可得如下等价的公式：XT X T T eep X ppp Logit βββ+=⇒=-=11ln)( （2）模型(2)的基本要求是，因变量（y ）是个二元变量，仅取0或1两个值，而因变量取1的概率)|1(X y P =就是模型要研究的对象。

而T k x x x X ),,,,1(21 =，其中i x 表示影响y 的第i 个因素，它可以是定性变量也可以是定量变量，Tk ),,,(10ββββ =。

为此模型(2)可以表述成：kx k x kxk x k k ee p x x p p βββββββββ+++++++=⇒+++=- 11011011011ln （3）显然p y E =)(，故上述模型表明)(1)(ln y E y E -是k x x x ,,,21 的线性函数。

此时我们称满足上面条件的回归方程为Logistic 线性回归。

Logistic 线性回归的主要问题是不能用普通的回归方式来分析模型，一方面离散变量的误差形式服从伯努利分布而非正态分布，即没有正态性假设前提；二是二值变量方差不是常数，有异方差性。

不同于多元线性回归的最小二乘估计法则(残差平方和最小)，Logistic 变换的非线性特征采用极大似然估计的方法寻求最佳的回归系数。

因此评价模型的拟合度的标准变为似然值而非离差平方和。

定义1 称事件发生与不发生的概率比为 优势比(比数比 odds ratio 简称OR)，形式上表示为OR=kx k x e pp βββ+++=- 1101 （4） 定义2 Logistic 回归模型是通过极大似然估计法得到的，故模型好坏的评价准则有似然值来表征，称-2ˆln ()L β为估计值βˆ的拟合似然度，该值越小越好，如果模型完全拟合，则似然值ˆ()L β为1，而拟合似然度达到最小，值为0。

其中ˆ()lnL β表示βˆ的对数似然函数值。

定义3 记)ˆ(βVar 为估计值βˆ的方差-协方差矩阵，21)]ˆ([)ˆ(ββVar S =为βˆ的标准差矩阵，则称 k i S w iii i ,,2,1,]ˆ[2 ==β （5）为iβˆ的Wald 统计量，在大样本时，i w 近似服从)1(2χ分布，通过它实现对系数的显著性检验。

定义4 假定方程中只有常数项0β，即各变量的系数均为0，此时称20ˆˆ2[ln ()ln ()]L L χββ=-- （6） 为方程的显著性似然统计量，在大样本时，2χ近似服从)(2k χ分布。

1.2 Logistic 模型的分类及主要问题根据研究设计的不同，Logistic 回归通常分为成组资料的非条件Logistic 回归和配对资料的条件Logistic 回归两种大类。

还兼具两分类和多分类之分，分组与未分组之分，有序与无序变量之分。

具体如下： 两分类非条件Logistic 回归：分组数据的Logistic 回归，未分组数据的Logistic 回归； 多分类非条件Logistic 回归：无序变量Logistic 回归，无序变量Logistic 回归； 条件Logistic 回归：1:1型、1:M 型和M:N 型Logistic 回归。

关于Logistic 回归，主要研究的内容包括： 1． 模型参数的估计及检验 2． 变量模型化及自变量的选择 3． 模型评价和预测问题 4． 模型应用2 Logistic 模型的参数估计及算法实现2.1 两分类分组数据非条件Logistic 回归因变量(反应变量)分为两类，取值有两种，设事件发生记为y=1，不发生记为 y=0，设自变量T k x x x X ),,,(21 =是分组数据，取有限的几个值；研究事件发生的概率)|1(X y P =与自变量X 的关系，其Logistic 回归方程为：k k x x X y P X y P βββ+++=== 110)|0()|1(ln 或 kx k x kxk x ee X y P ββββββ+++++++== 1101101)|1( 例2.1.1 分组数据[1] 在一次住房展销会上，与房地产商签订初步购房意向书的有n=325人，在随后的3个月时间内，只有一部分顾客购买了房屋。

购买房屋的顾客记为1，否则记为0。

以顾客的年家庭收入(万元)作为自变量X ,对数据统计后如表2.1.1所示，建立Logistic 回归模型。

例2.1.2 药物疗效数据[2] 为考察某药物疗效，随机抽取220例病人并分配到治疗组和对照组，治疗组采用治疗药物，对照组采用安慰剂。

治疗一段时间后观察病人的疗效，得到表2.1.2数据。

设y 为疗效指标(y=1 有效，y=0无效)，1x 为治疗组指标(1为治疗组，0为对照组)，2x 为年龄组指标(1为>45岁，0为其他)。

表2.1.2 药物疗效数据上述两个例子数据都是经过统计加工后的分组数据，对此类数据进行Logistic 回归，首先要明确应变量对应事件的发生概率如何确定和进行Logit 变换，其次才能建立Logistic 回归。

为便于数据处理，我们将此类数据的格式作个约定，排列格式为（组序号，自变量X ，该组事件发生数，该组总例数）。

表2.1.3 分组数据的标准格式表2.1.1 改造表表2.1.2 改造表 经过改造后，可得我们关心的事件的发生的频率为 n i n m p i ,,2,1,ii==该组总例数该组发生事件数。

其中n 为分组数，然后作Logit 变换，即iii i p p p Logit p -==1ln )(~。

变换后的数据，形式上已经可以采用一般的线性回归的处理方式来估计回归参数了。

此时方程变为：∑==+=k j ij j i n i x p 10,,2,1,~ββ 当然这样处理并没有解决异方差性，当i n 较大时，i p ~的近似方差为： )(,)1(1)~(i i i i i i y E n p D =-≈πππ （7）所以选择权重 n i p p n i i i i ,,2,1),1( =-=ω，最后采用加权最小二乘法估计参数。

注意，分组数据的Logistic 回归只适用于大样本分组数据，对小样本的为分组数据不适用，并且以组数n 为回归拟合的样本量，明显降低了拟合精度，在实际应用中必须谨慎。

求解算法及步骤：1．依据分组数据的标准格式，计算频率i p 、Logit 变换i p ~和权重i ω 2．构建加权最小二乘估计：∑∑∑∑====--=--ni kj ij j i i i i ni kj ij j i i x y x y 11201120)(min )(min βωβωωββω （8）令 i i i y y ω=*，T ik i i i i i x x X ),,,(1*ωωω =，T k ),,,(10ββββ =则方程又变成一般的线性回归模型：∑=-ni i T i X y12**)(minβ （9）3．构造增广矩阵21****][+⨯+k k T TY X X X 利用消去法得]ˆ)ˆ([ββVar I =矩阵，得到估计βˆ其中2,1++K K I 为残差平方和SE , 回归方差1ˆ2--=k n SE σ各系数检验采用 )1(~ˆˆ--=k n t I t ii i i σβ总平方和∑∑∑===-=ni ni ini ii i i y y ST 112122)()(ωωω，回归平方和SE ST SR -=总平方和求解相当于拟合i i y ωβ*0*=方程的残差平方和，故得上式ST所以方程的检验为)1,(~)1/(/----=k n k F k n SE kSR F例2.1.1的求解过程如下（由LLLStat 统计软件计算）：表2.1.4 数据Logit 变换及权重家庭年收入x 实际购买mi 签订意向ni 比例pi 逻辑变换Logit 权重ni*pi(1-pi) 1.500000 8 25 0.320000 -0.753772 5.440000 2.500000 13 32 0.406250 -0.379490 7.718750 3.500000 26 58 0.448276 -0.207639 14.344828 4.500000 22 52 0.423077 -0.310155 12.692308 5.500000 20 43 0.465116 -0.139762 10.697674 6.500000 22 39 0.564103 0.257829 9.589744 7.500000 16 28 0.571429 0.287682 6.857143 8.500000 12 21 0.571429 0.287682 5.142857 9.500000 10 150.6666670.6931473.333333表2.1.5 回归模型基本信息总样本 9 求解方法 加权最小二乘 仅常数项beta0 -0.095029 方程F 统计量 51.982160 F 分布自由度 1,7 方程检验p 值 0.000176 总平方和 8.798294 回归平方和 7.754112 残差平方和 1.044181表2.1.6 分组Logistic 回归系数检验序号均值 回归系数 系数标准误 t 统计量 自由度df 检验P 值 常数项2.837815 -0.848882 0.113578 -7.473994 7 0.000056 家庭年收入x14.901140 0.149323 0.020711 7.209865 70.000056表2.1.7 1][-X X T0.086479 -0.014517-0.014517 0.002876本例Logistic 模型的回归方程：xe x e pi 149323.0848882.0149323.0848882.01ˆ+-+-+=对于多分类无序自变量的Logistic 回归，即某个自变量为m 个水平的名义变量（如治疗方法A,B,C ），只需要引入m -1（2个）个哑变量，然后采用上述方法进行分析。