第八讲 离散因变量模型(LPM,Probit,Logit)
解释概率模型：Logit,Probit以及其他广义线性模型
主讲人：xxx 2018.12.17
1
目录
1 介绍
2 广义线性模型和对其系数的解释
3 二分的logit和probit模型
44 序列logit和probit模型
5 有序logit和probit模型
6 多类别logit模型 7 条件logit模型
8 泊松回归模型
9
总结
2
一、介绍
在社会学家的工具箱里，最基本的统计方法就是对一个连续的线性的因变量(或者可以转化成线 性的)进行回归分析。然而很多社会科学家研究的对象是无法用经典的回归模型来分析的，因为很多 的态度、行为、特点，决定以及事件(无论本质上是连续的或者不连续的)是用离散的.虚拟的、序列 的或者简单来说，非连续的方法来测量的。
对比为了避孕而进行了绝育手术和 没有进行绝育手术，婚姻状况变量的 估计值为-2.80。取指数后所得出的结 果是0.061。相较不去绝育而言，未婚 女性做避孕手术的比数只是已婚女性 做这个手术比数的0.061倍
连续变量：年龄
40
给定自变量后的预测概率 我们可以根据等式6.1和等式6.2计算出预测 概率，如右图，我们也可以画出概率的条形 图如下图。
多类别logit模型：
[6.1]
[6.2]
37
在使用多类别logit模型时，一个重要的问
等式6.1和等式6.2可以推出如下:
题就是在无关选择之间独立性的假设，或者称
做IIA。简单来说，IIA的特性明确了每任意两
个选择(回答类别)的概率的比例都不应系统性
多类别logit的关系函数：
地受到其他任何选择的影响。这是一个非常重 要的前提假设，每当使用本章里面定义的多类
划分处理此类数据的一些统计模型常常根据数据的种类来代表和讨论，比如“二分数据分析”、 “序列数据分析”、“类别数据分析”或者“离散选择分析”，或者作为一个特别的模型，比方说 logit或者probit 模型。这些相关联的统计方法的共同特点就是它们都是对某事件的概率来建模。因此， 在本书里，我将所有分析事件概率的统计模型统一称为“ 概率模型”。我们讨论的概率模型包括二 分的，序列的，有序的logit和probit，多类别logit，条件logit，以及泊松回归模型。
probit模型与logit模型
probit模型与logit模型2013-03-30 16:10:17probit模型是一种广义的线性模型。
服从正态分布。
最简单的probit模型就是指被解释变量Y是一个0,1变量，事件发生地概率是依赖于解释变量，即P（Y=1）=f(X)，也就是说,Y=1的概率是一个关于X的函数，其中f(.)服从标准正态分布。
若f（.)是累积分布函数，则其为Logistic模型Logit模型（Logit model，也译作“评定模型”，“分类评定模型”，又作Logistic regression，“逻辑回归”）是离散选择法模型之一，属于多重变量分析范畴，是社会学、生物统计学、临床、数量心理学、市场营销等统计实证分析的常用方法。
逻辑分布（Logistic distribution）公式P(Y=1│X=x)=exp(x’β)/1+exp(x’β)其中参数β常用极大似然估计。
Logit模型是最早的离散选择模型，也是目前应用最广的模型。
Logit模型是Luce（1959）根据IIA特性首次导出的；Marschark（1960）证明了Logit模型与最大效用理论的一致性；Marley （1965）研究了模型的形式和效用非确定项的分布之间的关系，证明了极值分布可以推导出Logit 形式的模型；McFadden（1974）反过来证明了具有Logit形式的模型效用非确定项一定服从极值分布。
此后Logit模型在心理学、社会学、经济学及交通领域得到了广泛的应用，并衍生发展出了其他离散选择模型，形成了完整的离散选择模型体系，如Probit模型、NL模型（Nest Logit model）、Mixed Logit模型等。
模型假设个人n对选择枝j的效用由效用确定项和随机项两部分构成：Logit模型的应用广泛性的原因主要是因为其概率表达式的显性特点，模型的求解速度快，应用方便。
当模型选择集没有发生变化，而仅仅是当各变量的水平发生变化时（如出行时间发生变化），可以方便的求解各选择枝在新环境下的各选择枝的被选概率。
第八章 离散因变量模型
第八章离散因变量模型离散（分类）因变量模型（Models with Discrete /Categorical Dependent Variables）分为二元选择模型（Binary Choice Models）和多类别选择（反应）模型（Multicategory Choice /Polytomous Response Models）。
在多类别选择模型中，根据因变量的反应类别（response category）是否排序，又分为无序选择模型（Multinominal Choice Models）和有序选择模型（Ordered Choice Models）（也称有序因变量模型Ordered Dependent Variable Models、有序类别模型Ordered Category Models等）一、二元选择模型设因变量1、线性概率模型（LPM模型）如果采用线性模型，给定，设某事件发生的概率为P i，则有所以称之为线性概率模型。
不足之处：1、不能满足对自变量的任意取值都有。
2、3、所以线性概率模型不是标准线性模型。
给定，为使，可对建立某个分布函数，使的取值在（0，1）。
2、Logit模型（Dichotomous/ Binary Logit Model）Logit模型是离散（分类）因变量模型的常用形式，它采用的是逻辑概率分布函数（Cumulative Logistic Probability Function）（e为自然对数的底），逻辑曲线如图4-1所示。
其中，二元Logit模型是掌握多类别Logit模型的基础。
图4-1 逻辑曲线（Logit Curve）以二元选择问题为例，设因变量有0和1两个选择，由自变量来决定选择的结果。
为了使二元选择问题的研究成为可能，首先建立随机效用模型：令表示个体i选择=1的效用，表示个体i选择=0的效用，显然当时，选择结果为1，反之为0。
将两个效用相减，即得随机效用模型：，记为（4-1）当时，，则个体i选择=1的概率为：若的概率分布为Logistic分布，则有即（4-2）式（4-2）即为最常用的二元选择模型——Logit模型。
logit 和probit模型的系数解释 -回复
logit 和probit模型的系数解释-回复Logit和Probit模型是常用的二元选择模型，用于分析二元变量的选择行为。
它们通常用于解释个体在做出选择时的决策，可以帮助我们理解各种影响因素对选择行为的影响。
在这篇文章中，我将逐步回答有关Logit和Probit模型的系数解释的问题，介绍这两个模型的基本原理、模型形式、系数解释和使用注意事项，以及如何解读模型中的系数。
首先，让我们从基本原理开始，了解Logit和Probit模型的背后逻辑。
Logit 和Probit模型都属于广义线性模型（Generalized Linear Models），它们基于一个相似的假设：选择行为是一个概率事件，可以由一组解释变量进行解释。
这些解释变量可以是个体特征（如年龄、性别、教育水平等），也可以是一些特定的因素（如收入水平、市场利率等）。
模型的目的是通过对这些解释变量的分析，预测和解释个体做出选择的概率。
接下来，让我们详细了解Logit和Probit模型的模型形式。
Logit模型使用的是逻辑函数（Logistic Function），而Probit模型使用的是标准正态分布的累积分布函数。
具体来说，Logit模型的形式为：p(y=1 x) = F(xβ) = 1 / (1 + e^(-xβ))其中，p(y=1 x)表示个体在给定解释变量x的情况下选择y=1的概率，F(x β)表示Logistic函数，x是解释变量的值，β是模型的系数。
相比之下，Probit模型的形式稍有不同：p(y=1 x) = Φ(xβ)其中，Φ(xβ)表示标准正态分布的累积分布函数，其他符号的含义与Logit 模型相同。
两个模型的模型形式不同，但它们都具有类似的特点：在x 趋近于正无穷时，概率趋近于1，而在x 趋近于负无穷时，概率趋近于0。
这种形式可以帮助我们理解个体选择行为的变化趋势。
现在让我们转向系数解释的问题。
模型的系数代表着解释变量对选择行为的影响程度。
第八章离散因变量模型
第⼋章离散因变量模型第⼋章离散因变量模型离散（分类）因变量模型（Models with Discrete /Categorical Dependent Variables）分为⼆元选择模型（Binary Choice Models）和多类别选择（反应）模型（Multicategory Choice /Polytomous Response Models）。
在多类别选择模型中，根据因变量的反应类别（response category）是否排序，⼜分为⽆序选择模型（Multinominal Choice Models）和有序选择模型（Ordered Choice Models）（也称有序因变量模型Ordered Dependent Variable Models、有序类别模型Ordered Category Models等）⼀、⼆元选择模型设因变量1、线性概率模型（LPM模型）如果采⽤线性模型，给定，设某事件发⽣的概率为P i，则有所以称之为线性概率模型。
不⾜之处：1、不能满⾜对⾃变量的任意取值都有。
2、3、所以线性概率模型不是标准线性模型。
给定，为使，可对建⽴某个分布函数，使的取值在（0，1）。
2、Logit模型（Dichotomous/ Binary Logit Model）Logit模型是离散（分类）因变量模型的常⽤形式，它采⽤的是逻辑概率分布函数（Cumulative Logistic Probability Function）（e为⾃然对数的底），逻辑曲线如图4-1所⽰。
其中，⼆元Logit模型是掌握多类别Logit模型的基础。
图4-1 逻辑曲线（Logit Curve）以⼆元选择问题为例，设因变量有0和1两个选择，由⾃变量来决定选择的结果。
为了使⼆元选择问题的研究成为可能，⾸先建⽴随机效⽤模型：令表⽰个体i选择=1的效⽤，表⽰个体i选择=0的效⽤，显然当时，选择结果为1，反之为0。
将两个效⽤相减，即得随机效⽤模型：，记为（4-1）当时，，则个体i选择=1的概率为：若的概率分布为Logistic分布，则有即（4-2）式（4-2）即为最常⽤的⼆元选择模型——Logit模型。
probit logit 解析表达式
probit logit 解析表达式
Probit模型和Logit模型是二项式回归模型的两种常见形式，用于分析二分类问题。
它们的表达式如下：
1. Probit模型表达式：
Probit模型使用累积标准正态分布函数（cumulative standard normal distribution function）来建模概率。
对于观测变量y的概率p，Probit模型的表达式为：
P(y=1|x) = Φ(β₀ + β₁x₁ + β₂x₂ + ... + β_kx_k)
其中，Φ代表标准正态分布函数，β₀、β₁到β_k表示模型的参数，x₁到x_k是自变量。
2. Logit模型表达式：
Logit模型使用逻辑函数（logistic function）来建模概率。
对于观测变量y的概率p，Logit模型的表达式为：
P(y=1|x) = 1 / (1 + exp(-(β₀ + β₁x₁ + β₂x₂ + ... + β_kx_k)))其中，exp表示指数函数，β₀、β₁到β_k表示模型的参数，x₁到x_k是自变量。
这两个模型的主要区别在于建模概率的函数形式不同。
Probit 模型使用标准正态分布函数，而Logit模型使用逻辑函数。
在实际应用中，选择哪种模型取决于具体情况和问题需求。
probit logit 解析表达式
probit logit 解析表达式摘要：1.Probit模型与Logit模型的区别2.Probit与Logit模型的解析表达式3.两种模型在实际应用中的优缺点正文：一、Probit模型与Logit模型的区别Probit模型与Logit模型都属于概率模型，用于预测分类变量。
两者的主要区别在于，Logit模型是基于逻辑斯蒂函数，而Probit模型是基于正态分布。
二、Probit与Logit模型的解析表达式1.Logit模型的解析表达式：Logit模型，又称逻辑回归模型，其解析表达式为：P(Y=1|X)=1/(1+exp(-β0-β1X))其中，Y为二分类变量（0或1），X为解释变量，β0和β1为模型参数。
2.Probit模型的解析表达式：Probit模型，其解析表达式为：P(Y=1|X)=Φ[β0+β1X]其中，Y为二分类变量（0或1），X为解释变量，β0和β1为模型参数。
Φ()为标准正态分布函数。
三、两种模型在实际应用中的优缺点1.Logit模型的优点：（1）Logit模型具有较强的解释能力，可以通过系数估计解释变量对分类变量的影响程度。
（2）Logit模型具有较好的拟合效果，尤其是在样本量较大时。
2.Logit模型的缺点：（1）Logit模型对样本量要求较高，当样本量较小时，预测效果可能不佳。
（2）Logit模型对于多重共线性较为敏感，过多的解释变量可能导致模型不稳定。
3.Probit模型的优点：（1）Probit模型具有良好的稳定性，即使样本量较小，预测效果也相对较好。
（2）Probit模型对多重共线性不敏感，可以包含较多的解释变量。
4.Probit模型的缺点：（1）Probit模型的解析表达式较为复杂，不易解释。
（2）Probit模型对异常值较为敏感，可能导致模型不稳定。
综上所述，根据实际问题和数据特点，可以选择合适的模型进行预测。
probit logit 解析表达式
probit logit 解析表达式摘要：1.引言2.Probit模型与Logit模型的区别3.Probit与Logit模型的解析表达式4.解析表达式的应用与解释5.结论正文：作为一名数据分析师，我们常常会遇到需要对二分类问题进行建模的情况，其中最为常见的两种方法就是Probit模型和Logit模型。
这两种模型在实际应用中都有着广泛的应用，但其原理和表现形式却有所不同。
接下来，我们将详细介绍这两种模型的解析表达式，并分析它们在实际问题中的可读性和实用性。
一、Probit模型与Logit模型的区别1.概率单位不同：Probit模型的概率单位是标准正态分布，而Logit模型的概率单位是逻辑斯蒂函数。
2.解释变量处理方式不同：Probit模型要求解释变量满足正态分布，而Logit模型则没有这个要求。
3.参数估计方法不同：Probit模型通常使用最大似然估计，而Logit模型则使用最大似然估计或贝叶斯估计。
二、Probit与Logit模型的解析表达式1.Probit模型：Probit模型的解析表达式为：P(Y=1|X)=Φ[β0+β1X1+...+βkXk]其中，Φ()表示标准正态分布的累积分布函数，β0、β1、...、βk为模型参数。
2.Logit模型：Logit模型的解析表达式为：P(Y=1|X)=exp(β0+β1X1+...+βkXk)/(1+exp(β0+β1X1+...+βkXk))其中，exp()表示自然对数的底数，β0、β1、...、βk为模型参数。
三、解析表达式的应用与解释1.模型评估：通过观察解析表达式，我们可以对模型的拟合效果进行评估。
一般来说，解析表达式中的参数β1、...、βk表示了解释变量对响应变量的影响程度，β1、...、βk的系数越大，说明解释变量对响应变量的影响越大。
2.预测分析：利用解析表达式，我们可以对未来的观测值进行预测。
例如，在Probit模型中，我们可以通过计算P(Y=1|X)来预测个体在某一特定条件下选择某一分类的概率；在Logit模型中，我们可以通过计算P(Y=1|X)来预测个体是否会选择某一分类。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
= F ( X i B) [1 − F ( X i B)]
∂E ( yi X i ) ∂F ( X i B ) ∂P r= = = 斜率： 斜率： ∂x j ∂x j ∂x j dF ( X i B ) ∂ ( X i B ) = = f ( X i B)β j d ( X iB) ∂x j
分布函数F的选取 （四） 分布函数 的选取
选取分布函数F的原则： 选取分布函数 的原则： 的原则
0 ≤ F ( X i B) ≤ 1
X iB → +∞
F ( X i B) → 1
X i B → −∞
F是单调函数 是单调函数
F ( X i B) → 0
按照上述原则F取作累计分布函数。 按照上述原则 取作累计分布函数。 取作累计分布函数 下面介绍三种不同分布函数下的计量模型： 下面介绍三种不同分布函数下的计量模型： LPM, Probit, Logit
注：括号里是p值。 括号里是 值
p ln( ) = −242.4576 + 0.6771Score − 0.4766 D1 1− p
(0.052) (0.052) (0.873) 值进行判断， （4）检验：可以直接根据括弧里的 p 值进行判断，也可以 ）检验： 利用正态分布表查临界值进行检验。 利用正态分布表查临界值进行检验。
E ( yi X i )
P( yi = 0 X i ) = 1 − pi
= 1* P( yi = 1 X i ) + 0 * P( yi = 0 X i ) = 1 ∗ pi + 0 ∗ (1 − pi ) = pi
yi = E ( yi X i ) + ε i = pi + ε i = X i B + ε i
得到： 得到：
pi Λ( X iB) = = e XiB 1 − pi 1 − Λ ( X i B )
yi 取1或0
取值范围
Li = X i B + ε i
pi ∈ [ 0,1]
pi 其中 Li = ln 1 − pi
机会比率odds 机会比率
ห้องสมุดไป่ตู้
Li ∈ ( −∞, +∞ )
P为y取1时的概率 为 取 时的概率
* i
∗ i
y i = 1( y i∗ > 0) y i = 0( y i∗ ≤ 0)
选择1 选择
不选择1 选择0） 不选择 （选择 ）
（二） 二元选择的经济计量一般模型
P ( y i = 1 X i ) = P ( y i* > 0 ) = P ( ε i* > − X i Β ) = 1 − P ( ε i* ≤ − X i Β ) = 1 − F (− X iΒ ) = F (X iΒ )
2、对Logit模型系数的解释： 、 模型系数的解释： 模型系数的解释
∂L = ∂x j ∂ ln( p ∆ odds ) ∂ ln( odds ) 1− p = ≅ odds = β j ∂x j ∂x j ∆x j
当 xj 增加一个单位时机会比率的增长率为
β
j
例1： ： 南开大学国际经济研究所1999级研究生考试分 级研究生考试分 南开大学国际经济研究所 数及录取情况见数据表（ 数及录取情况见数据表（N = 95）。 ）。
定义变量： 定义变量： Y ：考生录取为 ，未录取为 ； 考生录取为1，未录取为0； SCORE ：考生考试分数； 考生考试分数； D1：应届生为 ，非应届生为 。 ：应届生为1，非应届生为0。
数据表
obs 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 Y 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 1 0 0 0 0 0 0 0 0 0 SCORE 401 401 392 387 384 379 378 378 376 371 362 362 361 359 358 356 356 355 354 354 353 350 349 349 348 D1 1 0 1 0 1 0 0 0 1 0 0 1 1 1 1 1 1 1 1 0 1 0 0 0 1 obs 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 Y 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 SCORE 347 347 344 339 338 338 336 334 332 332 332 331 330 328 328 328 321 321 318 318 316 308 308 304 303 D1 1 1 1 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 1 0 1 0 1 0 1 obs 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 Y 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 SCORE 303 299 297 294 293 293 292 291 291 287 286 286 282 282 282 278 275 273 273 272 267 266 263 261 260 D1 1 1 1 0 1 1 0 1 1 1 1 0 1 1 0 0 0 0 1 1 0 1 1 1 0 obs 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 Y 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 SCORE 256 252 252 245 243 242 241 239 235 232 228 219 219 214 210 204 198 189 188 182 166 123 D1 0 0 1 1 1 0 0 1 0 0 1 1 1 1 1 1 0 1 1 1 1 0
E ( yi X i ) = 1 ∗ P + 0 ∗ (1 − P ) = F ( X i Β )
F (− t ) = 1 − F (t )
Y = E (Y X ) + ε
总体回归模型
Y = F ( XB ) + ε
样本回归模 型 y = F(X
i
i
B ) + ε i ( i = 1, 2......n )
eZ F (Z ) = = Λ(Z ) Z 1+ e
eZ f (Z ) = F ' (Z ) = = Λ( Z )(1 − Λ(Z )) Z 2 (1 + e )
模型 yi = Λ ( X i B ) + ε i 线性化 pi = Λ( X i B)
eZ ∵ Λ(Z ) = 1 + eZ pi ln( ) = XiB 1 − pi
（1）模型 ）
Y
=β +β
1
2
Score + β D1 + ε
3
法估计。 （2）估计：用 logit 法估计。 ）估计：
Y = Λ ( β ′x ) + ε
Stata 命令：logit y score d1
Number of obs LR chi2(2) Prob > chi2 Pseudo R2 = = = = 97 72.11 0 0.9006
模型形如： 模型形如：
调用数据库和程序E:\logit） （调用数据库和程序 模型结果： 模型结果：
Logit estimates
Log likelihood =
-3.979482
y
Coef.
Std. Err. 0.348036 2.984581 124.5184
z 1.95 -0.16 -1.95
第九章 离散因变量模型
实际经济分析当中的离散变量问题 对于单个方案的取舍购买决策、职业的选择、 对于单个方案的取舍购买决策、 职业的选择 、贷 款决策； 款决策； 对于两个方案的选择。例如， 对于两个方案的选择。 例如 ，两种出行方式的选 两种商品的选择。 择 ， 两种商品的选择 。 由决策者的属性和备选方 案的属性共同决定。 案的属性共同决定。 农业经济分析当中的离散因变量问题 农民技术采用、 农民技术采用、农村选举等等
1
y
* i
XiB ≥ 1
i
=
y
0
0 < XiB < 1 XiB ≤ 0
LPM在实际的回归当中应用很少，用于理论模型的比较。 在实际的回归当中应用很少，用于理论模型的比较。 在实际的回归当中应用很少
2、 Logit 模型 、
（1） Logit 模型的分布函数 ） 如果选择
1 0.8 0.6 0.4 0.2 0 0 5 10 15 20 25 30
xj
对响应概率(p)的偏效应： 对响应概率 的偏效应： j 的偏效应 β LPM的估计方法：OLS 的估计方法： 的估计方法
线性概率模型存在的问题及适用性
随机误差项是异方差： 随机误差项是异方差：Var (ε i ) = pi (1 − pi ) 办法：可用 估计。 办法：可用WLS估计。 估计 拟合值可能不在0－ 之间 有可能大于1或小于 之间， 或小于0: 拟合值可能不在 －1之间，有可能大于 或小于 办法：强令预测值相应等于 或 进行约束估计。 办法：强令预测值相应等于0或1 进行约束估计。
eZ 1 1 = 1− = F (Z ) = 1 + eZ 1 + eZ 1 + e− Z
Logistic分布函数 分布函数
具有以上分布函数的二元选择模型称为Logit模型。 模型。 具有以上分布函数的二元选择模型称为 模型