第6章 逻辑斯蒂回归模型
第六章 Logistic回归《统计学习方法》课件
多项logistic回归模型
二、最大熵模型
最大熵原理 最大熵模型的定义 最大熵模型的学习 极大似然估计
最大熵原理
最大熵模型(Maximum Entropy Model)由最大熵原理推 导实现。
最大熵原理： 学习概率模型时，在所有可能的概率模型(分布)中，熵
最大的模型是最好的模型，表述为在满足约束条件的模 型集合中选取熵最大的模型。 假设离散随机变量X的概率分布是P(X)， 熵：
且： |X|是X的取值个数，X均匀分布时右边等号成立。
例子：
假设随机变量X有5个取值{A,B,C,D,E},估计各个值的概 率。
解：满足 P(A)+P(B)+P(C)+P(D)+P(E)=1 等概率估计： 加入一些先验：
于是：
例子：
假设随机变量X有5个取值{A,B,C,D,E},估计各个值的概 率。
似然函数是统计模型中参数的函数。给定输出x时，关于参 数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X 的概率：L(θ|x)=P(X=x|θ)
似然函数的重要性不是它的取值，而是当参数变化时概率 密度函数到底是变大还是变小。
极大似然函数：似然函数取得最大值表示相应的参数能够 使得统计模型最为合理
目录
1. 逻辑斯蒂回归模型 2. 最大熵模型 3. 模型学习的最优化方法
一、逻辑斯蒂回归
逻辑斯蒂分布 二项逻辑斯蒂回归 似然函数 模型参数估计 多项logistic回归
回归
面积 销售价钱 (m^2) （万元） 123 250 150 320 87 160 102 220 ……
回归
回归：广义线性模型（generalized linear model） 分类：根据因变量的不同
多项逻辑斯蒂回归模型
多项逻辑斯蒂回归模型多项逻辑斯蒂回归模型（Multinomial Logistic Regression Model）是一种分类模型，用于将多个类别分别分配给一组预测变量。
它是逻辑斯蒂回归模型的进化，适用于分类问题中有多个可能的输出类别的情况。
在这个模型中，每个类别的概率是根据预测变量的线性组合计算的。
多项逻辑斯蒂回归采用类似于二项逻辑斯蒂回归（Logistic Regression）的思路来实现对于多个类别的分类，主要通过多个决策边界来实现类别的划分。
假设多项逻辑斯蒂回归模型有k个类别，对于第j个类别，其概率为：P(Y = j|X) = e^(β_j*X)/（∑_i=1^k e^(β_i*X)）其中，β_j是与第j个类别关联的系数，X是特征矩阵，Y是响应变量。
通过这个公式可以得出每个类别的概率，然后根据概率大小判断属于哪一个类别。
多项逻辑斯蒂回归模型经常用于文本分类、医疗诊断、人脸识别等领域。
文本分类是多项逻辑斯蒂回归模型的一个应用场景。
在文本分类中，每个文本可以被分配到多个类别中的一个或多个，因此需要使用多项逻辑斯蒂回归模型对文本进行分类。
在医疗诊断中，多项逻辑斯蒂回归模型可以用于根据多项指标来预测一种疾病的可能性。
模型可以用于心脏病、癌症和糖尿病等疾病的诊断。
在人脸识别中，多项逻辑斯蒂回归模型可以用于将人脸分配到不同的类别中，例如年龄、性别、种族等。
需要注意的是，多项逻辑斯蒂回归模型的特征矩阵中一般需要进行独热编码（One-Hot Encoding），目的是为了将离散型变量映射成一个向量，从而在模型中进行计算。
同时，在多项逻辑斯蒂回归模型中，也需要进行特征选择和模型评估。
总之，多项逻辑斯蒂回归模型是一种用于多分类问题的回归模型，具有很好的解释性和灵活性，在许多领域都有广泛的应用。
逻辑斯蒂（logistic）回归深入理解、阐述与实现
逻辑斯蒂（logistic）回归深⼊理解、阐述与实现第⼀节中说了，logistic 回归和线性回归的区别是：线性回归是根据样本X各个维度的Xi的线性叠加（线性叠加的权重系数wi就是模型的参数）来得到预测值的Y，然后最⼩化所有的样本预测值Y与真实值y'的误差来求得模型参数。
我们看到这⾥的模型的值Y是样本X各个维度的Xi的线性叠加，是线性的。
Y=WX (假设W>0),Y的⼤⼩是随着X各个维度的叠加和的⼤⼩线性增加的，如图（x为了⽅便取1维）：然后再来看看我们这⾥的logistic 回归模型，模型公式是：，这⾥假设W>0,Y与X各维度叠加和（这⾥都是线性叠加W）的图形关系，如图（x为了⽅便取1维）：我们看到Y的值⼤⼩不是随X叠加和的⼤⼩线性的变化了，⽽是⼀种平滑的变化，这种变化在x的叠加和为0附近的时候变化的很快，⽽在很⼤很⼤或很⼩很⼩的时候，X叠加和再⼤或再⼩，Y值的变化⼏乎就已经很⼩了。
当X各维度叠加和取⽆穷⼤的时候，Y趋近于1，当X各维度叠加和取⽆穷⼩的时候，Y趋近于0.这种变量与因变量的变化形式就叫做logistic变化。
（注意不是说X各个维度和为⽆穷⼤的时候，Y值就趋近1，这是在基于W>0的基础上，（如果W<0,n那么Y趋近于0）⽽W是根据样本训练出来，可能是⼤于0，也可能是⼩0，还可能W1>0，W2<0…所以这个w值是样本⾃动训练出来的，也因此不是说你只要x1，x2，x3…各个维度都很⼤，那么Y值就趋近于1，这是错误的。
凭直觉想⼀下也不对，因为你连样本都还没训练，你的模型就有⼀个特点：X很⼤的时候Y就很⼤。
这种强假设肯定是不对的。
因为可能样本的特点是X很⼤的时候Y就很⼩。
）所以我们看到，在logistic回归中，X各维度叠加和（或X各维度）与Y不是线性关系，⽽是logistic关系。
⽽在线性回归中，X各维度叠加和就是Y，也就是Y与X就是线性的了。
混合效应逻辑斯蒂回归模型的原理及其应用
混合效应逻辑斯蒂回归模型的原理及其应用
混合效应逻辑斯蒂回归模型是一种广义线性模型，它可以用于建立二分类或多分类的
预测模型。
与传统的逻辑斯蒂回归模型不同，混合效应逻辑斯蒂回归模型考虑了被观察单
位之间的相关性，采用了混合效应的方法来消除这种相关性的影响，从而提高了模型的准
确性和稳定性。
混合效应逻辑斯蒂回归模型的原理是将线性预测函数扩展到包含固定效应和随机效应。
固定效应是指在样本中所有观测量之间共享的影响因素，如环境、训练、学历等；而随机
效应是指在样本中不同个体之间的特定影响因素，如体重、年龄、性别等。
这种方法可以
将不同个体之间的差异归因于随机效应，从而提高模型的准确性。
混合效应逻辑斯蒂回归模型的应用非常广泛，尤其是在医学、社会科学、教育和生态
学领域。
例如，在医学领域，混合效应逻辑斯蒂回归模型可以用于评估不同药物的疗效，
发现与健康相关的因素，或预测病人的死亡率。
在社会科学领域，混合效应逻辑斯蒂回归
模型可以用于预测贫困、失业或犯罪率等社会问题。
在教育领域，混合效应逻辑斯蒂回归
模型可以用于评估教学质量、课程难度和学生表现等方面。
总之，混合效应逻辑斯蒂回归模型是一种有效的建模方法，它可以用于处理具有相关
性的数据，并且可以应用于许多领域。
随着数据科学的快速发展，混合效应逻辑斯蒂回归
模型将在未来继续发挥重要作用。
逻辑斯蒂回归参数估计
逻辑斯蒂回归参数估计
逻辑斯蒂回归（Logistic Regression）是一种常见的分类模型，它使用一个逻辑函数对输入特征进行建模并预测输出类别。
在给定训练数据和标签的情况下，我们可以通过最大似然估计方法来估计逻辑斯蒂回归模型的参数。
假设我们有一个二分类问题，输入特征为 x，标签为 y，逻辑斯蒂回归模型可以表示为：
h(x) = P(y=1|x) = 1 / (1 + exp(-wx))
h(x) 是通过逻辑函数（sigmoid函数）将输入特征与权重参数 w 结合后的预测结果。
我们的目标是通过最大似然估计方法来估计参数 w。
为了方便计算，我们引入对数似然函数：
L(w) = sum(y*log(h(x)) + (1-y)*(1-log(h(x))))
接下来，我们可以使用梯度下降算法来最大化对数似然函数，从而估计出参数 w。
梯度下降算法的更新规则如下：
w := w + alpha * sum((y - h(x)) * x)
alpha 是学习率，用于控制更新的步长。
通过重复执行上述更新规则，直到满足终止条件（如达到最大迭代次数或参数收敛），我们就可以得到逻辑斯蒂回归模型的参数估计值 w。
需要注意的是，在进行参数估计时，我们需要对输入特征进行适当的预处理（如标准化、归一化等），以确保模型的准确性和稳定性。
以上便是逻辑斯蒂回归参数估计的基本原理和方法，希望对您有所帮助。
logistic回归模型分析和总结
含有名义数据的logit
含有名义数据的logit
• 例：某地25岁及以上人中各类婚姻状况居民的死
亡情况见表，试建立死亡率关于年龄和婚姻状况
的logit模型。
ln p 1 p
A 1M1
2M 2
3M3
• 其中，A表示年龄(取中值)，M1、M2、M3表示婚 姻状况
• 于是，估计的logit方程为：
多项logit模型
【例】研究三个学校、两个课程计划对学生偏好何 种学习方式的影响。调查数据见表:
• 其中，三个学校对应两个哑变量x1和x2，两个课 程计划为常规(x3=1)和附加(x3=0)，学习方式分 为：自修(y=1)、小组(y=2)、上课(y=3)
• 从题目可以看出，响应变量是学习方式有三类， 属于多项逻辑斯蒂回归问题。于是，建模为：
ln ln
p1 p3 p2 p3
10 11x1 12 x2 13 x3 20 21x1 22 x2 23x3
多项logit模型
多项logit模型
• 应用统计软件可以得到模型的参数估计和回归方程：
ln
p1 p3
0.5931.134 x1 0.618 x3
ln
p2 p3
0.603 0.635 x3
ln p A E
1 p
• 其中A为年龄，E为文化程度
含有有序数据的logit
含有有序数据的logit
• 于是，估计的logit方程为：
ln p 11.637 0.124A 0.164E 1 p
• 其中，年龄的系数0.124，说明年龄越大死亡率会 越高；
• 文化程度的系数-0.164，说明文化程度与死亡率 呈负相关，文化程度越高，死亡率越低。
十三、logistic回归模型
非条件logistic回归
模型简介
❖
简单分析实例
内
容
哑变量设置
提
自变量的筛选方法与逐步回归
要
模型拟合效果与拟合优度检验
模型的诊断与修正
条件logistic回归
模型简介
对分类变量的分析，当考察的影响因素较少，且也为分类 变量时，常用列联表（Contingency Table）进行整理，并 用2检验或分层2检验进行分析，但存在以下局限性：
.184
Wal d 6.391
30.370 6.683 4.270
33.224
df 1 1 1 1
1
Sctep lwt
3
ptl
-.015
.007
5.584
1
.728
.327
4.961
1
ht
1.789
.694
6.639
1
Constant
.893
.829
1.158
1
a. Variable(s) entered on step 1: ptl.
模型拟合效果检验
结果分析
Area Under the Curv e
Test Result Variable(s): Predicted probability
Area Std. Errora
.708
.043
Asymptotic Sigb. .000
Asymptotic 95% Confidence Interval
❖ 给出了模型拟合过程中每一步的-2log（L）及 两个伪决定系数。
逐步回归
结果分析
Variables in the Equation
logistic回归分析PPT优秀课件
2
logistic回归:不仅适用于病因学分析，也可用于其他方面的研究，研 究某个二分类（或无序及有序多分类）目标变量与有关因素的关 系。
logistic回归的分类： （1）二分类资料logistic回归： 因变量为两分类变量的资料，可用
非条件logistic回归和条件logistic回归进行分析。非条件logistic回 归多用于非配比病例-对照研究或队列研究资料，条件logistic回归 多用于配对或配比资料。 （2）多分类资料logistic回归： 因变量为多项分类的资料，可用多 项分类logistic回归模型或有序分类logistic回归模型进行分析。
比较
调查方向：收集回顾性资料
人数 暴露
疾病
a/(a+b) c/(c+d)
a
+
b
-
病例
c
病例对照原理示意图
6
是否暴露 暴露组 未暴露组 合计
病例 a c a+c
对照 b d b+d
合计 a+b(n1) c+d(n2) n
比数比（odds ratio、OR）：病例对照研究中表示疾病与暴露间
联系强度的指标，也称比值比。
相对危险度RR的本质是暴露组与非暴露组发病率之比或发病概率 之比。但病例对照研究不能计算发病率，只能计算比值比OR值。 OR与RR的含义是相同的，也是指暴露组的疾病危险性为非暴露组 的多少倍。当疾病发病率小于5%时，OR是RR的极好近似值。
OR>1,说明 该因素使疾病的危险性增加，为危险因素；
OR<1,说明 该因素使疾病的危险性减小，为保护因素；
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Logistic回归模型
实践中， (x)通常随着 x 连续增长或连续下 降，其直观的曲线形态是S型。
• 一般有这种形状的数学函数 有 以下形式：
(x) exp( x) 1 exp( x)
• 称作logistic回归函数。 • 把以上函数线性化可以得到：
Logistic回归模型
【例6.1】一般认为，体质指数越大(BMI≥25)， 表示某人越肥胖。根据3983人的体检结果有 388人肥胖，肥胖组中患心血管病的数据见表 6.1，试建立体质指数与患心血管病概率的 logistic回归模型。
【解】根据题目知道是一元逻辑斯蒂回归问题。 运用统计软件可以对参数进行估计得到：
ln( pˆ2
/
(1
pˆ2 ))
ln( pˆ1
/
(1
pˆ1))
ln
pˆ 2 pˆ1
/ /
(1 (1
pˆ2 ) pˆ1)
0.2570
pˆ2 / (1 pˆ2 ) e0.2570 1.293 pˆ1 / (1 pˆ1)
含有名义数据的logit
前例中的协变量为定量数据，logistic回归模型 的协变量可以是定性名义数据。这就需要对名 义数据进行赋值。
其中，0, 1,L , k 是待估参数。根据上式可以
得到优势的值： p e0 1x1L k xk
1 p
可以看出，参数 i是控制其它x 时 xi每增加 一个单位对优势产生的乘积效应。
概率p的值：
e0 1x1 L k xk p 1 e0 1x1L k xk
Logistic回归模型
最简单的logit线性模型为：
ln
p 1 p
x
则优势为：
p e x e (e )x
1 p
以上指数关系说明： x每增加1个单位，优
势 此变时为的原概来率的 应为e：倍p ；1eexx
Logistic回归模型
多元logistic模型参数的估计
采用极大似然估计方法
假设n次观测中，对应(xi1,L , xik )的观测有 n个i ，
ln p A E
1 p
其中A为年龄，E为文化程度
含有有序数据的logit
于是，估计的logit方程为：
ln p 11.637 0.124A 0.164E 1 p
其中，年龄的系数0.124，说明年龄越大死 亡率会越高；
文化程度的系数-0.164，说明文化程度与死 亡率呈负相关，文化程度越高，死亡率越 低。
第六章 逻辑斯蒂回归
Logistic回归模型
对列联表的分析，独立性检验可以初步了解属 性之间是否相互独立，或是否相关；通过列联 表的相合性检验，可以进一步知道属性之间的 相合情况，包括方向和程度； Logistic模型可 以更进一步拟合属性变量之间的函数关系，以 描述变量之间的相互影响。
列联表中的数据是以概率的形式把属性变量联 系起来的，而概率p的取值在0与1之间，因此， 要把概率p (x)与 x 之间直接建立起函数关系
ˆ0 6.0323, ˆ1 0.2570
于是logit模型为： ln pˆ 6.0323 0.2570 BMI
1 pˆ
Logistic回归模型
由得到的模型可知，
患病概率为：
6.03230.257BMI
pˆ 1 e e6.03230.257BMI
当体质指数BMI变化1单位时，对数优势比将增 加0.2570，优势比将增加 e0.2570 1.293即：
其中观测值为1的有 ri 个，观测值为0的有ni ri
个，则参数0, 1,L , k的似然函数：
0 1xi1 L k xik
ri
e 1 t
1 e 1 e i1
0 1xi1 L k xik
ni ri 0 1xi1 L k xik
可以使用迭代法求出参数的ML估计
由于计算的复杂性，可以利用统计软件得到。
ln
(x) 1 (x)
x
Logistic回归模型
因此，人们通常把p的某个函数f(p)假设为 变量的函数形式，取 f ( p) ln (x) ln p
1 (x) 1 p
称之为logit函数，也叫逻辑斯蒂变换。 因此，逻辑斯蒂变换是取列联表中优势的
对数。当概率在0-1取值时，Logit可以取任 意实数，避免了线性概率模型的结构缺陷。 类似的处理还有probit变换和双对数变换。
其中probit变换是将概率变换为标准正态分布的 z 值，
形式为： probit[ (x)] x
Logistic回归模型
双对数变换的形式为： f ( p) ln(ln(1 p))
以上变换中以logit变换应最为广泛。
假设响应变量Y是二分变量，令p P(Y 1) ,影响 Y的因素有k个x1,L xk ，则称：
ln p 1 p
g ( x1 ,L
, xk )
为二分数据的逻辑斯蒂回归模型，简称逻辑斯 蒂回归模型。其中的k个因素称为逻辑斯蒂回 归模型的协变量。
Logistic回归模型
最重要的逻辑斯蒂回归模型是logistic线性
回归模型，多元logit模型的形式为：
ln p 1 p
0 1x1 L
k xk
含有名义数据的logit
例：某地25岁及以上人中各类婚姻状况居 民的死亡情况见表6.2，试建立死亡率关于 年龄和婚姻状况的logit模型。
ln p 1 p
A 1M1
2M 2
3M3
其中，A表示年龄，M1、M2、M3表示婚姻 状况Βιβλιοθήκη 于是，估计的logit方程为：
ln
pˆ 1 pˆ
11.536
通常某个名义数据有k个状态，则定义个变量 M1,L , Mk1代表前面的k-1状态，最后令k-1变量 均为0或-1来代表第k个状态。
如婚姻状况有四种状态：未婚、有配偶、丧偶 和离婚，则可以定义三个指示变量M1、M2、 M3，用(1,0,0)、 (0,1,0) 、(0,0,1) 、(0,0,0)或(1,-1,-1)来对以上四种状态赋值。
0.124A
0.711M1
0.423M 2
0.021M 3
含有有序数据的logit
Logit模型的协变量也可以是有序数据 对有序数据的赋值可以按顺序用数0,1,2,3,4分
别表示 【例5.8】某地某年各类文化程度的死亡人数见
表5.33，试建立logit模型。 建立死亡率关于年龄和文化程度的logit模型