第16章 logistic回归
logistic回归
b'j 来计算标准化回归系数
,式中bj是我们通常所指的回
3 1.8138
归参数，即偏回归系数；Sj为第j自变量的标准差；S是
logistic随机变量分布函数的标准差，为 /
每个参数的以e为底的指数就是每个自变量对应的优势比（ odds
ratio，OR），即 ORj＝exp(bj)，ORj值的100（1-α）％可信区间为： exp[bj±1.96 SE（bj）] （16-7）
自变量 (x)
累计发病率P（%）
Logit值
2.3 2.6 2.8 2.9 3.0 3.08
0.1537 0.3829 0.6383 0.7779 0.8519 0.8519
-1.71 -0.48 0.57 1.25 1.75 1.75
Logit=Ln[p/(1-p)]
剂量与效应关系的“S”型曲线
线的形状与方向。随着X的增加，正β值对应的曲线呈上升趋势（见图
16-1），负β值对应的曲线是下降趋势。β＝0时，S形曲线变成水平直 线，表示π与自变量X无关；β的绝对值增加，曲线形状逐渐陡峭；β的 绝对值减少，曲线形状逐渐平坦。 当预报概率π为0.5时，由式（16-2）可得对应的X＝-β0/β，实例有X ＝-（-1.4351）/1.6582＝0.8655。此X值有时被称为中效水平 （median effective level，EL50），代表了二种结局出现的概率各为 50
logistic回归分析
0
1X1
2X2
mXm
10
若 Z 0 1X1 2 X 2 m X m 则 P 1 1 eZ
1P
00..55
0
Z
-4 -3 -2 -1 0 1 2 3 4
图16-1 logistic函数的图形
11
2.模型参数的意义
ln P 1 P
0
1X1
2X2
mXm
logitP
常数项β0表示暴露剂量为0时个体发病与
20
二、logistic回归模型的参数估计
数据格式： 同多元线性回归分析的数据格式 参数估计：
最大似然估计(maximum likelihood
estimate,MLE)法 可利用统计软件实现。
21
优势比估计： 某一因素两个不同水平优势比的估计值为
OR j exp bj C1 C0
Xj只有两个水平时ORj的1-α可信区间为：
研究二分类或多分类观察结果与一些影响
因素之间关系的一种多变量分析方法。
7
一、基本概念
二分类变量
连续变量
因变量Y=
1 0
阳性率P:(0,1)
ln
P 1-P
:
(,
)
Logit变换
8
ln P 1 P
0
1X1
2X2
mXm
P
1
1 exp[(0 1 X1 2 X 2 L m X m )]
32
33
34
Variables in the Equation
S1ta ep
x6 Constant
S2tb ep
x5 x6
Constant
B 2.826 -.523 1.828 3.059
逻辑曲线(Logistic回归)
逻辑回归的参数解释
β0
截距，表示当所有解释变量x都为0时， logit P的估计值。
β1, β2, ..., βp
斜率，表示各解释变量对logit P的影 响程度。
逻辑回归的假设条件
线性关系
假设自变量与因变量之间存在线性关系，即因变 量的变化可以被自变量的线性组合所解释。
误差项同分布
假设误差项服从同一分布，通常是正态分布。
评估指标
根据任务类型选择合适的评估指标，如准确率、召回率、F1分数等。
模型比较
将新模型与其他同类模型进行比较，了解其性能优劣。
04 逻辑回归的优缺点
优点
分类性能好
逻辑回归模型在二分类问题上 表现优秀，分类准确率高。
易于理解和实现
逻辑回归模型形式简单，参数 意义明确，方便理解和实现。
无数据分布假设
总结词
在某些情况下，逻辑回归可能不是解决回归问题的最佳选择，此时可以考虑其他替代方 案。
详细描述
当因变量是连续变量，且自变量和因变量之间的关系非线性时，线性回归可能不是最佳 选择。此时可以考虑使用其他回归模型，如多项式回归、岭回归、套索回归等。另外， 当自变量和因变量之间的关系不确定时，可以考虑使用支持向量回归等模型进行预测。
06 总结与展望
总结
应用广泛
逻辑回归模型在许多领域都有广泛的应用，如医学、金融、市场 营销等，用于预测和解释二元分类结果。
理论基础坚实
基于概率和统计理论，逻辑回归模型能够提供可靠的预测和解释， 尤其是在处理小样本数据时。
灵活性和可解释性
模型参数可以解释为对结果概率的影响程度，这使得逻辑回归成为 一种强大且易于理解的工具。
在二分类问题中，逻辑回归通过将线性回归的输出经过逻辑函数转换，将连续的预测值转换为概率形式，从而实 现对因变量的二分类预测。逻辑函数的形式为1 / (1 + e ^ (-z))，其中z为线性回归的输出。
整理logistic回归分析
2）Wald检验
大城小事
20
例表16-1吸烟、饮酒与食管癌资料 （SAS软件计算）
1.对建立的整个模型做检验。 ln ( p) 0 .9 0 9 90 .8 8 5 6x10 .5 2 6 1 x2 1p
Testing Global Null Hypothesis: BETA=0
Test Chi-Square DF Pr
似然比 68.5457 2 <.0001
计分检验 67.0712 2 <.0001
Wald检验 64.2784 2 <.0001
大城小事
21
2.检验二：
检验模型中某β是否对Y有作用。
检验假设： H0 :j 0 H1 : j 0
检验统计量：主要为Wald检验（SAS软件）
2 ( bj )2
-3 -2 -1 0 1
Z值 23
图16-1 Logistic回大归城小函事 数的几何图形 7
几个logistic回归模型方程
p1P(y1/x1)1 ee00 xx
e0x P (y0/x1)11e0x1p1
e0 p0P(y1/x0)1e0
Odds Ratio Estimates
Point 95% Wald
Effect Estimate Confidence Limits
吸烟x1 2.424 1.807 3.253
饮酒x2 1.692 1.244 大城2.小3事03
23
似然比检验（讲义）
对某个β做检验，检验统计量（G）
G2(lnL1lnL0)
3.多元线性回归结果 Yˆ 不能回答“发生与
否”
logistic回归方法补充多元线性回归的不足
logistic回归的模型公式
logistic回归的模型公式Logistic回归模型是一种经典的统计学习方法，用于解决二分类问题。
它通过建立一个逻辑回归方程，预测某个样本属于某一类别的概率。
本文将介绍Logistic回归模型的原理和应用，并探讨其优缺点。
一、Logistic回归模型的原理Logistic回归模型是建立在线性回归模型的基础上，通过引入一个非线性函数（称为Logistic函数或Sigmoid函数）将线性回归的输出结果转化为概率值。
Logistic函数的数学表达式为：f(x) = 1 / (1 + e^(-x))，其中e为自然对数的底。
该函数的特点是输出值在0和1之间，可以用来表示某个事件发生的概率。
在Logistic回归模型中，假设有n个自变量（特征）x1,x2,...,xn，对应的回归系数为β1,β2,...,βn。
模型的方程可以表示为：P(y=1|x) = f(β0 + β1x1 + β2x2 + ... + βnxn)，其中P(y=1|x)表示样本属于正例的概率。
为了估计回归系数，通常采用最大似然估计方法。
具体来说，我们希望通过最大化似然函数来找到最优的回归系数，使得模型对观测数据的拟合度最高。
然后，利用估计得到的回归系数，我们可以对新的样本进行预测，并给出其属于正例的概率。
二、Logistic回归模型的应用Logistic回归模型有广泛的应用领域，尤其在医学、金融、市场营销等领域中得到了广泛的应用。
在医学领域，Logistic回归模型常用于疾病风险预测和诊断模型的建立。
例如，可以利用患者的年龄、性别、血压等特征来预测患者患某种疾病的风险。
在金融领域，Logistic回归模型可以用于信用评分和违约预测。
银行可以根据客户的个人信息和历史信用记录，利用Logistic回归模型来评估客户的信用风险，并据此决定是否给予贷款。
在市场营销领域，Logistic回归模型可以用于客户分类和市场细分。
根据客户的购买行为、兴趣爱好等特征，可以预测客户对某种产品或服务的购买概率，进而制定相应的市场营销策略。
logistic回归模型统计描述
logistic回归模型统计描述在统计学中，logistic回归模型是一种常用的分类方法，它适用于将自变量与离散的二分类因变量相关联的情况。
本文将会详细介绍logistic回归模型的原理、概念以及应用，并解释如何利用该模型进行统计推断与预测。
一、logistic回归模型的原理与概念1.1 逻辑函数与S型曲线在logistic回归模型中，我们使用逻辑函数（logistic function）将自变量的线性组合转换为一个介于0和1之间的概率值。
逻辑函数（也称为sigmoid函数）是一个S型曲线，它可以表示如下：f(z) = 1 / (1 + e^(-z))其中，f(z)表示逻辑函数的输出值，e为自然对数的底，z为自变量的线性组合。
1.2 线性组合与logit函数在logistic回归模型中，自变量的线性组合表示为：z = β0 + β1x1 + β2x2 + ... + βnxn其中，zi表示第i个样本的线性组合值，β0、β1、β2...βn为模型的参数，xi为自变量的取值。
1.3 参数的解释与推断在logistic回归模型中，参数的解释通常使用odds ratio（比率几率）来进行推断。
比率几率表示的是某个事件的成功概率与失败概率之间的比值。
对于一个二分类事件，比率几率可以表示为：odds = p / (1 - p)其中，p为事件成功的概率。
通过对比两种不同情况下的比率几率，可以推断参数对于事件发生的影响程度。
二、logistic回归模型的应用2.1 数据准备在使用logistic回归模型时，首先需要准备好相关的数据。
通常情况下，我们将数据集分为训练集和测试集，用于模型的训练与验证。
2.2 模型拟合与参数估计使用logistic回归模型进行拟合时，通常采用最大似然估计法。
最大似然估计法旨在选择最适合观测到的数据的参数值，使得观测到的数据的概率最大化。
2.3 模型评估与优化在模型拟合完成后，我们需要对模型进行评估与优化。
logistic回归
l o g i s t i c回归-CAL-FENGHAI.-(YICAI)-Company One1定性资料的回归分析------Logistic 回归Logistic 模型的主要用途：1. 用作影响因素分析2.作为判别分析方法 第一节 二分类变量的logistic 回归逻辑回归区别于线性回归，最主要的特点就一个：它的因变量是0-1型数据。
啥是0-1型数据？就是这个数据有且仅有两个可能的取值。
数学上为了方便，把其中一个记作0，另外一个记作1.例1：购买决定：我是买呢还是买呢还是买呢如果您的决策永远是：买、买、买，这不是0-1数据。
我们说的购买决策是：买还是不买定义：1=购买，0=不购买。
这个关于购买决定的0-1变量老牛了。
为啥？因为它支撑了太多的重要应用。
例如，我生产了一瓶矿泉水，叫做“农妇山泉有点咸”，到底卖给谁呢为此，我们需要做市场定位。
什么是市场定位市场定位从回归分析的角度看，就是想知道：谁会买这个产品谁不会买或者说：谁购买这个产品的可能性大，谁购买的可能性小。
这样我们就可以瞄准可能性最高的一批人，他们就构成了我的目标市场。
这就是我们通常所说的市场定位。
令Y 表示购买决定，那么影响它的因素有很多。
比如，消费者自己的人口特征1X 、消费者过去的购买记录是2X 、来自社交网络朋友的行为信息3X 、产品自己的特征4X 、产品正在承受的市场手段策略（例如：促销）5X 、竞争对手的市场动作6X 等等。
一．模型建立 理论回归模型：01122ln...,1p p px x x pββββ=+++-其中1(1,...,)p p p y x x ==。
注：1pp- 称为优势(odds), 表示某个事件的相对危险度. 获得容量为n 的样本()12,,,,1,...,i i ip i x x x y i n =后可得样本回归模型：01122ln,1ii i p ip ip x x x p ββββ=+++-其中1(1,...,)i i p p p y x x ==，1,...,i n =。
logistic回归计算讲解
logistic回归计算讲解Logistic回归是一种广泛用于分类问题的机器学习算法。
它可以用于二分类问题，也可以通过一些修改用于多分类问题。
下面是Logistic回归的计算过程的简要讲解：1. 数据准备：首先，收集和准备用于训练和测试的数据集。
每个数据样本应该包括特征和对应的类别标签。
特征可以是连续值或离散值。
2. 特征缩放：如果特征具有不同的量纲或取值范围，可以对特征进行缩放，以便更好地使用Logistic回归算法。
常见的缩放方法包括标准化和归一化。
3. 参数初始化：初始化Logistic回归模型的参数，通常为权重（也称为系数）和偏置（也称为截距）。
4. 假设函数：定义Logistic回归的假设函数，它将特征值映射到预测的类别概率。
通常使用sigmoid函数作为Logistic回归的假设函数。
5. 成本函数：使用成本函数（也称为损失函数）来度量模型预测的错误程度。
对于Logistic回归，常用的成本函数是逻辑损失函数（Log Loss）或交叉熵损失函数。
6. 梯度下降：使用梯度下降算法或其他优化算法来最小化成本函数，从而找到最佳的模型参数。
梯度下降算法通过计算参数的梯度，沿着梯度的反方向更新参数，逐步调整参数值以降低成本。
7. 模型训练：使用训练数据集来训练Logistic回归模型。
通过迭代优化算法来更新参数，重复计算成本函数和梯度下降步骤，直到达到停止条件（如达到最大迭代次数或成本函数的变化很小）。
8. 模型预测：使用训练好的Logistic回归模型来进行预测。
将新的输入特征传递给假设函数，计算预测的类别概率。
通常，如果概率大于一个阈值，将样本预测为正类；否则，预测为负类。
常见的阈值是0.5。
以上是Logistic回归算法的主要计算步骤。
在实践中，还需要考虑特征选择、模型评估和调优等方面，以获得更好的分类性能。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
mi1
mi0
Ti
调整后的 OM RH ((acii bdiiN Nii))
2020/8/11
20
调整年龄后的OR值
ORMH((990120//1111))11((120990//1111))11 2
不调整年龄的OR＝23.45
2020/8/11
21
SPSS执行
2020/8/11
22
年龄 <40岁
比例（1-P(E))的比例。
Odds=P(E)/1-P(E)
2020/8/11
9
例：有人做宫外孕与腹部手术的病例对 照研究，试问腹部手术史与宫外孕的发
生是否有关？
分组
有腹部手术史
宫外孕组
55
对照组
120
无腹部手术 史
199
593
2020/8/11
10
优势比odds ratio,OR
▪ 患者与非患者某因素优势的比值被称作优势比（比数 比）。 OR=odds1/odds0
V alue
Odds Ratio f or 手 术 (有 / 无)
1.366
For cohort 组 别 = 宫 外 孕
组
1.251
For cohort 组 别 = 对 照 组 .916
N of Valid Cases
967
95% Confidence Interval
Low er
Upper
.955
2020/8/11
16
例：在心血管疾病与口服避孕药(OC)关系的研究中， 年龄为一混杂因素，将年龄分为 40岁和<40岁两 个层。计算调整年龄后，心血管疾病与OC使用的 OR并做假设检验。(此数据为构造的)
<40岁
40岁
合计
分层
病例 对照 病例 对照 病例 对照
O 有 90 C无 9
10 2 9 92 19 2 10 90 19 92
>=40岁
Risk Estimat e
SPSS结果 95% Confi dence Inter val
Value
Lower
Upper
Odds Ratiofor 病 例 (对照 / 病例)
2.000
.378
10.578
For cohort 口 服 避孕药 =无
1.833
.448
7.511
For cohort 口 服 避孕药 =有
18
OeRf/D920* *190501
OR 9*904.051 df/E 2*10
2020/8/11
19
Mantel-Haenszel分层分析法
用于控制一个或多个 混杂因素，然后估计 研究因素与疾病的相 对危险度或比数比
暴露 非暴露
合计
混杂因素第i层 病例 对照 合计
ai
bi
Ni1
ci
di
Ni0
注意： ▪ 这是样本率计算得到的样本指标存在抽样误差； ▪ 只有前瞻性研究(队列研究cohort）才能得到率的指标，
因为观察了所有可能得病的样本或总体。所以该指标常 用。
2020/8/11
8
优势odds与优势比odds ratio
优势（比势）为某病患者（或非患者） 某暴露因素存在的比例P(E)和不存在的
2020/8/11
12
OR1 OR1
无关
有关11
危险因素 保护因素
2020/8/11
13
OR值的95%CI公式：
O Rexp 1.96a 1b 11 cd 1
95%CI： 1.37exp1.96515119911205193 [0.96,1.96]
2020/8/11
14
Ris k Estimate
（1）全局择优法 （2）逐步选择法
前进法、后退法、逐步回归法 4 操作
2020/8/11
3
资料的分类
连续性 分类资料
二分类 多分类
有序的多分类 无序的多分类
2020/8/11
4
基本概念
1 病例对照研究(case-control study)、队列研 究(cohort study)
2 暴露(exposure) 3 优势比，比数比(odds ratio,OR ), 相对危
.917
.706
1.190
N of Valid Cases
111
Odds Ratiofor 病 例 (对照 / 病例)
OR1=2，OR2=2，不调整年龄的OR＝23.45。
2020/8/11
17
混杂因素的判断
▪ 要从两方面考虑: (E为暴露因素，F为可疑混杂 因素，D为疾病)
（A）与暴露因素有关，但不是其结果。
即：
OR 1 ef /D
（B）在非暴露人群中，该因素是疾病发生的 “危险因素”。
OR 1 df/E
2020/8/11
吸烟 不吸烟 合计
病人 非病人 合计 231 125 356 183 296 479 414 421 835
2020/8/11
7
计算举例
▪ 例3-3某锡矿的矿工肺癌发病率308.39/10万，
非矿工的肺癌发病率为25.48/10万，试计算发
病的相对危险度。
RR=308.39/25.48=12.10
第十六章 logistic回归分析
陈炳 为
多元线性回归回顾
1 模型的建立 Ŷ=a+b1X1+…+bnXn
资料中要求： ➢ Y变量服从正态分布 ➢ X变量为可精确测量
2020/8/11
2
2 模型的检验: (1) 方程的检验
方差分析法、决定系数、复相关系数 （2）自变量检验的方法
偏回归平方和、t检验、标准化回归系数 3 自变量选择方法
例 病人有腹部手术的优势 odds1=55/199=0.276
非病人有腹部手术史的优势 Odds0=120/593=0.202
OR=odds1/Odds0=0.276/0.202=1.366
2020/8/11
11
病例中暴露的比例
OR
病例中非暴露的比 对照中暴露的比例
对照中非暴露的比
OR ad5* 55931.37 bc 12*1 099
1.952
.974 .822
1.606 1.020
2020/8/11
15
混杂因素(confounding factor)
▪ 定义：混杂因素指干扰了所研究的因素与 疾病发生相关程度测定的非研究因素。
▪ 如： 抽烟与肺癌关系的研究中，若抽烟 组年龄与不抽烟组的年龄分布不同，则年 龄就成为一个混杂因素。
险度 (relative risk, RR)
2020/8/11
5
危险度（risk):指发生某有害事件的概率。 常用总体的发病率(incidence of a disease)，
患病率(prevalence rate)，死亡率(death rate)表示。
2020/8/11
6
▪ 如吸烟者的肺癌患病 率高，对一个在吸烟 但没患肺癌的人可以 说他的肺癌的危险性 高。