7多元Logistic回归分析演示教学
合集下载
《Logistic回归》课件
公式
f(x)=1/(1+e^-x)其中，x是一个实数，源自表示 自然对数的底数。特点
• 输出范围在0-1之间，代 表了一个概率值；
• 函数有单峰性，中心对 称，可以确定最大值和
• 最在小输值入；接近0时函数近 似于线性函数。
应用场景：二元Logistic回归
乳腺癌预测
贷款审核
二元Logistic回归被广泛应用于医 学界用于识别患有乳腺癌的女性。
数据预处理
4
的潜在关系和规律。
对需要进行缩放、归一化、标准化等处
理的变量进行预处理。
5
模型拟合
将数据划分训练集和测试集，通过模型 对训练集进行拟合，并评估模型预测能 力。
模型评估方法
混淆矩阵
将预测结果与真实结果进行比对，计算假正率、假负率、真正率和真负率等指标。
ROC曲线
通过绘制真正率与假正率的曲线，评估模型的预测能力。
AUC指标
ROC曲线下的面积就是AUC，AUC越大说明模型预测结果越准确。
常见模型优化方法
1 数据增强
通过合成数据或者样本扩 增等方法，增加数据量， 提高模型泛化性能。
2 特征选择
选择对于问题最重要的变 量，避免过拟合。
3 模型集成
通过结合多个模型的结果， 提高整体预测能力。
应用探索：Logistic回归的扩展
2 作用
通过逻辑函数将线性变量转化为概率值，从 而进行二元分类。
3 优点
简单易懂、易于解释和使用，对于大规模数 据集有效率。
4 缺点
只适用于二元分类问题，并且在分类较为复 杂的非线性问题上表现较差。
sigmoid函数
介绍
sigmoid函数是Logistic回归模 型中核心的激活函数，将输入 值映射到0-1的概率分布区间内。
logistic回归 ppt课件
比值比
OR=[P１/(1-P１)]/[P２/(1-P２)]
比值比 Odds Ratio
Odds=P/(1-P) 暴露组： P=a/(a+b) 1-P= b/(a+b) Odds=a/b 非暴露组：P=c/(c+d) 1-P= d/(c+d) Odds=c/d
病例 对照
暴露组
非暴露组
a c
b d
P ad 1 /(1 P 1) OR P0 /(1 P0 ) bc
相同，如下表： X1 暴露（X2=1） 非暴露（X2=0） X1 X1 X2 X2+1 X2 X3 X3 X3
Logistic回归系数与OR的关系：
P * ) exp b0 b1 x1 b2 ( x2 1) b3 x3 暴露： ( 1 P expb0 b1x1 b2 x 2 b3x3 b2
当年龄为a时， odds(Y=1|age=a) = exp(-4.353 + 0.038 a) 当年龄为a+1， odds(Y=1|age=a+1) = exp(-4.353 + 0.038 (a+1))
P ) exp b 0 b1x1 b 2 x 2 b 3 x 3 非暴露：( 1 P
p * ( ) 1 p exp(b 2 ) OR p 1 p
例：log odds (Y=1) = - 4.353 + 0.038 age
Ｙ：妇女是否患有骨质疏松，Y=1为是，Y=0为否
1 ， 2 ….. m分别为m个自变量的回归系数。 P ln( ) 取值：-∞ ~ +∞ 1 P
Logistic回归模型的函数
1.00
logistic回归分析PPT优秀课件
（2）线性回归分析：由于因变量是分类变量，不能满足 其正态性要求；有些自变量对因变量的影响并非线性。
2
logistic回归:不仅适用于病因学分析，也可用于其他方面的研究，研 究某个二分类（或无序及有序多分类）目标变量与有关因素的关 系。
logistic回归的分类： （1）二分类资料logistic回归： 因变量为两分类变量的资料，可用
非条件logistic回归和条件logistic回归进行分析。非条件logistic回 归多用于非配比病例-对照研究或队列研究资料，条件logistic回归 多用于配对或配比资料。 （2）多分类资料logistic回归： 因变量为多项分类的资料，可用多 项分类logistic回归模型或有序分类logistic回归模型进行分析。
比较
调查方向：收集回顾性资料
人数 暴露
疾病
a/(a+b) c/(c+d)
a
+
b
-
病例
c
病例对照原理示意图
6
是否暴露 暴露组 未暴露组 合计
病例 a c a+c
对照 b d b+d
合计 a+b(n1) c+d(n2) n
比数比（odds ratio、OR）：病例对照研究中表示疾病与暴露间
联系强度的指标，也称比值比。
相对危险度RR的本质是暴露组与非暴露组发病率之比或发病概率 之比。但病例对照研究不能计算发病率，只能计算比值比OR值。 OR与RR的含义是相同的，也是指暴露组的疾病危险性为非暴露组 的多少倍。当疾病发病率小于5%时，OR是RR的极好近似值。
OR>1,说明 该因素使疾病的危险性增加，为危险因素；
OR<1,说明 该因素使疾病的危险性减小，为保护因素；
2
logistic回归:不仅适用于病因学分析，也可用于其他方面的研究，研 究某个二分类（或无序及有序多分类）目标变量与有关因素的关 系。
logistic回归的分类： （1）二分类资料logistic回归： 因变量为两分类变量的资料，可用
非条件logistic回归和条件logistic回归进行分析。非条件logistic回 归多用于非配比病例-对照研究或队列研究资料，条件logistic回归 多用于配对或配比资料。 （2）多分类资料logistic回归： 因变量为多项分类的资料，可用多 项分类logistic回归模型或有序分类logistic回归模型进行分析。
比较
调查方向：收集回顾性资料
人数 暴露
疾病
a/(a+b) c/(c+d)
a
+
b
-
病例
c
病例对照原理示意图
6
是否暴露 暴露组 未暴露组 合计
病例 a c a+c
对照 b d b+d
合计 a+b(n1) c+d(n2) n
比数比（odds ratio、OR）：病例对照研究中表示疾病与暴露间
联系强度的指标，也称比值比。
相对危险度RR的本质是暴露组与非暴露组发病率之比或发病概率 之比。但病例对照研究不能计算发病率，只能计算比值比OR值。 OR与RR的含义是相同的，也是指暴露组的疾病危险性为非暴露组 的多少倍。当疾病发病率小于5%时，OR是RR的极好近似值。
OR>1,说明 该因素使疾病的危险性增加，为危险因素；
OR<1,说明 该因素使疾病的危险性减小，为保护因素；
掌握多元logistic回归分析，看这篇就够了
掌握多元logistic回归分析，看这篇就够了01. 概念多元 logistics 回归(multinomial logistics regression)又称多分类logistics 回归。
医学研究、社会科学领域中，存在因变量是多项的情况，其中又分为无序（口味：苦、甜、酸、辣；科目：数学、自然、语文、英语）和有序（辣度：微辣、中辣、重辣）两类。
对于这类数据需要用多元 logistics 回归。
多元logistics 回归实际就是多个二元logistics 回归模型描述各类与参考分类相比各因素的作用。
如，对于一个三分类的因变量（口味：酸、甜、辣），可建立两个二元logistics回归模型，分别描述酸味与甜味相比及辣味与酸味相比，各口味的作用。
但在估计这些模型参数时，所有对象是一起估计的，其他参数的意义及模型的筛选等与二元logistics类似。
02.条件因变量：三个及以上分类变量自变量：分类或连续变量协变量：分类变量03.案例及操作【例】为了研究饮食口味偏好的影响因素，分析年龄、婚姻情况、生活态度在饮食口味类型偏好（1=酸、2=甜、3=辣）中的作用，共挑选被试30人，结果见下表，试进行多元logistics回归。
说明：本案例数据纯属编造，结论不具有参考性和科学性，仅供操作训练使用。
⑴ 建立数据文件口味偏好,sav，见下图每个被试有一个口味偏好因变量taste和3个自变量age、married、inactive。
⑵对口味偏好 taste 加权单击【数据】→【加权个案】，打开加权个案对话框，加权口味偏好，见下图(3)选择【分析】→【回归】→【多项logistics】，打开多项logistics回归主对话框，见图。
⌝【因变量】：分类变量，本例选择“taste”⌝【因子】：可选择多个变量作为因子，本例选择“age”、“married”、“inactive”⌝【协变量】：可选择多个变量作为协变量，本例未选择(4)单击【参考类别】按钮，打开参考类别对话框，见图⌝【参考类别】：可选择【第一类别】、【最后类别】或【定制】，本例选择【最后类别】⌝【类别顺序】：可选择【升序】或【降序】(5)单击【模型】按钮，打开模型对话框，见下图：本例主要考察自变量age、married、inactive的主效应，暂不考察它们之间的交互作用，然后点击【继续】；(6)单击【statistics】按钮，打开统计对话框，见图：设置模型的统计量。
《多元Logistic回归》课件
交叉验证是一种评估模型泛化能力的手段，通过将数据集 分成训练集和验证集，反复训练和验证模型，以获得更可 靠的评估结果。常用的交叉验证方法有k-fold交叉验证、 留出交叉验证等。
03
多元Logistic回归的实现步 骤
数据预处理：特征选择、缺失值处理等
特征选择
选择与目标变量相关的特征，去除无关 或冗余特征，提高模型的预测性能。
多元Logistic回归与一元Logistic回归的区别
一元Logistic回归只涉及一个自变量，而多元 Logistic回归涉及多个自变量。
多元Logistic回归能够同时处理多个特征，更准确 地描述数据的复杂关系，提高预测精度。
多元Logistic回归需要更多的数据和计算资源，因 为需要迭代计算每个特征与因变量言 • 多元Logistic回归的原理 • 多元Logistic回归的实现步骤 • 多元Logistic回归的优缺点 • 多元Logistic回归的案例分析 • 总结与展望
01
引言
多元Logistic回归的定义
多元Logistic回归是一种用于处理分 类问题的统计方法，它通过将多个自 变量与因变量之间的关系转换为概率 形式，从而对因变量进行预测。
结果。
它能够提供每个类别的预测概率 ，这在某些情况下非常有用，例 如在医学诊断中确定疾病的风险
。
多元Logistic回归在处理分类问 题时具有较高的预测精度和稳定
性。
缺点
多元Logistic回归对数据的分布 假设较为严格，通常要求数据 呈正态分布或近似正态分布。
它还假设自变量与因变量之间 存在线性关系，这在某些情况 下可能不成立，导致模型的预
案例三：用户点击率预测
总结词
用户点击率预测是多元Logistic回归在互联 网广告领域的典型应用，通过分析用户行为 和广告特征，预测用户是否会点击广告。
多元线性回归与Logistic回归共37页PPT
多元线性回归与Logistic回归
21、没有人陪你走一辈子，所以你要 适应孤 独，没 有人会 帮你一 辈子， 所以你 要奋斗 一生。 22、当眼泪流尽的时候，留下的应该 是坚强 。 23、要改变命运，首先改变自己。
24、勇气很有理由被当作人类德性之 首，因 为这种 德性保 证了所 有其余 的德性 。--温 斯顿． 丘吉尔 。 25、梯子的梯阶从来不是用来搁脚的 ，它只 是让人 们的脚 放上一 段时间 ，以便 让别一 只脚能 够再往 上登。
56、书不仅是生活，而且是现在、过 去和未 来文化 生活的 源泉。 ——库 法耶夫 57、生命不可能有两次，但许多人连一 次也不 善于度 过。— —吕凯 特 58、问渠哪得清如许，为有源头活水来 。—— 朱熹 59、我的努力求学没有得到别的好处， 只不过 是愈来 愈发觉 自己的 无知。 ——笛 卡儿
拉
、生活的道路一旦选定，就要勇敢地 走到底 ，决不 回头。 ——左
21、没有人陪你走一辈子，所以你要 适应孤 独，没 有人会 帮你一 辈子， 所以你 要奋斗 一生。 22、当眼泪流尽的时候，留下的应该 是坚强 。 23、要改变命运，首先改变自己。
24、勇气很有理由被当作人类德性之 首，因 为这种 德性保 证了所 有其余 的德性 。--温 斯顿． 丘吉尔 。 25、梯子的梯阶从来不是用来搁脚的 ，它只 是让人 们的脚 放上一 段时间 ，以便 让别一 只脚能 够再往 上登。
56、书不仅是生活，而且是现在、过 去和未 来文化 生活的 源泉。 ——库 法耶夫 57、生命不可能有两次，但许多人连一 次也不 善于度 过。— —吕凯 特 58、问渠哪得清如许，为有源头活水来 。—— 朱熹 59、我的努力求学没有得到别的好处， 只不过 是愈来 愈发觉 自己的 无知。 ——笛 卡儿
拉
、生活的道路一旦选定，就要勇敢地 走到底 ，决不 回头。 ——左
logistic回归分析PPT精品课程课件讲义
问题的提出（续）
• 但在医学研究中常碰到因变量的取值仅有两个, 如是否发病、死亡或痊愈等；
• 分析“母亲怀孕期间体重增加”对“新生儿出 生低体重”的影响
二、概念的引入
• 如按线性回归思想建立模型： P=α +βX • P的意义是发生出生低体重的概率
• 在线性回归模型中,X的取值是任意的,P值可能大 于1或小于0,无法从医学意义进行解释, 显然不适 宜用线性回归建立预测模型。
表明ECG异常者CHD发病是正常者的2.056倍。 (3) 比较各变量对方程贡献的大小: 根据标化的值大小，确定各因素对CHD发病影响的 大小。在此项研究中，危险因素中吸烟对方程贡献最大 ，其他依次为相对体重、年龄、 胆固醇、ECG和BP。
4) 用于预测发病率: 可根据该公式预测某人在不同因素暴露条件下 CHD的发病率。如某受试者A暴露于因素xi的情况 为： X＝(45, 210, 130, 100, 120, 0, 0) 利用该模型计算该受试者A在暴露上述各种研究因 素的条件下，12年间CHD的发病率为： PA1 = 1/{1+exp[-(-13.2573 + 0.1216 x 45 + 0.0070 x 210 + +0.7206 x 0)]} = 1/[1+exp(-2.9813)] = 0.048
小 结
• (1)logistic回归分析要求因变量是二分变量，或任何取值
为0或1的属性数据。
• (2)logistic回归分析中对自变量的正态性、方差齐性不作
要求，对自变量类型也不作要求;
• (3)自变量与因变量(y)之间是非线性关系,但是与logit y之
间应符合线性关系。
1. 定群研究资料分析…弗明汉心脏研究 742 名居住在弗明汉年龄为 40-49 岁的男性，在各自暴露不 同水平的影响因素(详见下表中的7种因素)，经 12年追踪观察 CHD发病情况。根据此742名受试者每人暴露各项因素的水平 和 CHD 发病与否的资料，采用多因素 LOGISTIC 回归模型进
《logistic回归》课件
03
易于理解和实现： 由于基于逻辑函数，模型输出结 果易于解释，且实现简单。
Logistic回归的优势与不足
• 稳定性好： 在数据量较小或特征维度较高 时，Logistic回归的预测结果相对稳定。
Logistic回归的优势与不足
01
不足：
02
对数据预处理要求高： 需要对输入数据进行标准化或归一化处理，以 避免特征间的尺度差异对模型的影响。
模型假设
01
线性关系
因变量与自变量之间存在线性关系 。
无自相关
因变量与自变量之间不存在自相关 。
03
02
无多重共线性
自变量之间不存在多重共线性，即 自变量之间相互独立。
随机误差项
误差项是独立的，且服从二项分布 。
04
模型参数求解
最大似然估计法
通过最大化似然函数来求解模型参数。
梯度下降法
通过最小化损失函数来求解模型参数。
特征选择与降维
在处理大数据集时，特征选择和降维是提高模 型性能和可解释性的重要手段。
通过使用诸如逐步回归、LASSO回归等方法， 可以自动选择对模型贡献最大的特征，从而减 少特征数量并提高模型的泛化能力。
降维技术如主成分分析（PCA）可以将高维特 征转换为低维特征，简化数据结构并揭示数据 中的潜在模式。
迭代法
通过迭代的方式逐步逼近最优解。
牛顿法
利用牛顿迭代公式求解模型参数。
模型评估指标
准确率
正确预测的样本数占总样本数的比例 。
精度
预测为正例的样本中实际为正例的比 例。
召回率
实际为正例的样本中被预测为正例的 比例。
F1分数
精度和召回率的调和平均数，用于综 合评估模型性能。
易于理解和实现： 由于基于逻辑函数，模型输出结 果易于解释，且实现简单。
Logistic回归的优势与不足
• 稳定性好： 在数据量较小或特征维度较高 时，Logistic回归的预测结果相对稳定。
Logistic回归的优势与不足
01
不足：
02
对数据预处理要求高： 需要对输入数据进行标准化或归一化处理，以 避免特征间的尺度差异对模型的影响。
模型假设
01
线性关系
因变量与自变量之间存在线性关系 。
无自相关
因变量与自变量之间不存在自相关 。
03
02
无多重共线性
自变量之间不存在多重共线性，即 自变量之间相互独立。
随机误差项
误差项是独立的，且服从二项分布 。
04
模型参数求解
最大似然估计法
通过最大化似然函数来求解模型参数。
梯度下降法
通过最小化损失函数来求解模型参数。
特征选择与降维
在处理大数据集时，特征选择和降维是提高模 型性能和可解释性的重要手段。
通过使用诸如逐步回归、LASSO回归等方法， 可以自动选择对模型贡献最大的特征，从而减 少特征数量并提高模型的泛化能力。
降维技术如主成分分析（PCA）可以将高维特 征转换为低维特征，简化数据结构并揭示数据 中的潜在模式。
迭代法
通过迭代的方式逐步逼近最优解。
牛顿法
利用牛顿迭代公式求解模型参数。
模型评估指标
准确率
正确预测的样本数占总样本数的比例 。
精度
预测为正例的样本中实际为正例的比 例。
召回率
实际为正例的样本中被预测为正例的 比例。
F1分数
精度和召回率的调和平均数，用于综 合评估模型性能。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
9
第二节 Logistic 回归分析的数学模型
(1) 二值一元logistic回归模型：
令y是1,0变量，x是任 意变量，p=p(y=1|x) ，那么，二值变量y关于 变量x的一元logistic 回归 模型是：
p
1
p=p(x)
0.5
0 -α /β
x
变 量 p与 x的 关 系
其中，α和β是未知参数或待估计的回归系数。该模型描述 了y取某个值（这里y=1)的概率p与自变量x之间的关系。
Response Profile
Ordered
Total
Value
Y Count
Weight
1
1
2
20.00000
2
0
2 275.00000
17
Model Fitting Information and Testing Global Null Hypothesis BETA=0
Intercept
Intercept
3
医学研究中经常遇到分类型变量
• 二分类变量： o 生存与死亡 o 有病与无病 o 有效与无效 o 感染与未感染
• 多分类有序变量： o 疾病程度（轻度、中度、重度） o 治愈效果（治愈、显效、好转、无效）
• 多分类无序变量： o 手术方法（A、B、C） o 就诊医院（甲、乙、丙、丁）
5
医学研究者经常关心的问题
• 哪些因素导致了人群中有的人患胃癌而有的人不患胃癌? • 哪些因素导致了手术后有的人感染，而有的人不感染？ • 哪些因素导致了某种治疗方法出现治愈、显效、好转、无
效等不同的效果?
是回归分析问题: Y=f(x)
6
如何解决这样的问题？
不能直接分析 变量y与x的关系
y取某个值的概 率变量p与x 的 关系
10
(2) 二值多元logistic回归模型： 令y是1,0变量，x1,x2,…,xk是任意k个变量； p=p(y=1|x1,x2,…,xk)，那么，变量y关于变量x1,x2,…,xk 的k元logistic回归模型是：
注意：对于二值Logistic回归模型，Y=0的模型是：
p = p(y=0|x1,…,xk ) = 1 - p(y=1|x1,…,xk)
>
0 (≤
7
4163
46
25239
53
242
15
data eg7_1a; input y x wt @@; cards;
11 7 1 0 13 0 1 46 0 0 229 ; run; proc logistic descending ;
model y=x ; weight wt; run;
SAS程序
多元统计分析方法
The Methods of Multivariate Statistical Analysis
1
第七章
多元Logistic 回归分析
Multiple Logistic Regression Analysis
2
主要内容
➢ Logistic 回归分析的基本概念 ➢ Logistic 回归分析的数学模型 ➢ Logistic 回归模型的建立和检验 ➢ Logistic 回归系数的解释 ➢ 配对病例-对照数据的logistic回归分析
Logistic回归模型
y=f(x) y=1,0 x任意
p=p(y=1|x)=f(x) 0≤p≤1, x任意
存在，且不唯一
7
第一节 Logistic 回归分析的概念
1、什么是Logistic 回归分析？ 研究因变量y取某个值的概率变量p与 自变量x的依存关系。 p=p(y=1|x)=f(x)
8
2、Logistic回归分析的分类
Analysis of Maximum Likelihood Estimates
Parameter Standard Wald
Pr > Standardized
Variable DF Estimate Error Chi-Square Chi-Square Estimate
INTERCPT 1 -2.8688 0.2851 101.2408 0.0001
16
The LOGISTIC Procedure Data Set: WORK.EG7_1A Response Variable: Y Response Levels: 2 Number of Observations: 4 Weight Variable: WT Sum of Weights: 295 Link Function: Logit
P3 = p(y=3) =1-P2 独立概率模型
13
第三节 Logistic回归分析方法步骤
1、估计参数 ---- 最大似然法 2、检验参数的显著性
H0: βj=0 vs H1: βj≠0 3、检验模型的显著性
H0: β1=…=βk=0 vs H1: βj≠0 4、解释参数的实际意义
14
例1、自变量是二值分类型变量 某医院为了研究导致手术切口感染的原因，收集了295例手术 者情况，其中，手术时间小于或等于5小时的有242例，感染者 13例；手术时间大于5小时的有53例，感染者7例。试建立手术 切口感染(y)关于手术时间(x)的logistic回归模型。
11
Logistic 回归模型的另外一种形式 它给出变量z=logit(p)关于x 的线性函数。
12
(3) 多值logi模型是：
P1 = p(y=1) = P1 P1=
P2=
P2 = p(y=2) =P2-P1
P3= p(y≤3 | x) = 1 - P2 累积概率模型
• 按数据的类型：
Logistic回归分析
o 非条件logistic回归分析（成组数据）
o 条件logistic回归分析（配对病例-对照数据）
• 按因变量取值个数：
o 二值logistic回归分析
o 多值logistic回归分析
• 按自变量个数：
o 一元logistic回归分析
o 多元logistic回归分析
and
Criterion
Only
Covariates Chi-Square for Covariates
AIC
148.262
146.686
.
SC
147.648
145.458
.
-2 LOG L
146.262
142.686
3.576 with 1 DF (p=0.0586)
Score
.
.
4.224 with 1 DF (p=0.0399)