B有序多分类Logistic回归模型
Link：
二、SPSS操作与结果解释 建立数据文件，Weight
性别 男 X1=0 女 X1=1
治疗方法 新药疗法(X2=0) 传统疗法(X2=1) 新药疗法(X2=0) 传统疗法(X2=1)
疗效（Y） 痊愈2 有效1 无效0 5 2 7 1 0 10 16 5 6 6 7 19
AnalyzeRrgressionOrdinal
OrdinalRegression
表1 性别和两种疗法对某病疗效的影响
性别
男
治疗方法
新药疗法(X2=0)
疗效（Y） 痊愈2 有效1 无效0 5 2 7
X1=0 传统疗法(X2=1)
女 新药疗法(X2=0)
1
16
0
5
10
6
X1=1 传统疗法(X2=1)
6
7
19
一、用途和基本原理
用途：分析1个有序多分类应变量与多个自
二分类logistic回归模型
P ln X X ... X 0 1 1 2 2 m m 1 P
Ordinal logistic回归模型（SPSS） 无效0，有效1，痊愈2
P ( Y j ) ln X X ... X 0 j 1 1 2 2 m m 1 P ( Y j )
Output
Test of parallel lines: 不管反应变量的分割点在什 么位置，模型中各自变量的系数都保持不变
Location （默认）
Scale（默认）
单击OK
说明各种取值水平组合中有多少其观 察频数为0。如果有连续性变量，这个 比例会较大。
Warn i n gs
ห้องสมุดไป่ตู้
Ther e are 1 ( 8.3%) c ell s variabl e values ) w ith zer o
无效的概率 ln ( X X ) 1 1 1 2 2 1 无效的概率
无效和有效的概率 ln ( X X ) 2 1 1 2 2 1 无效和有效的概率
Ordinal Model
无效的概率 ln ( X X ) 1 1 1 2 2 1 无效的概率
无效和有效的概率 ln ( X X ) 2 1 1 2 2 1 无效和有效的概率
Larger coefficients （i） indicate an association
with larger scores（Y1：无效；2：有效；3：显 效）. When you see a positive coefficient for a dichotomous factor, you know that higher scores are more likely for the first category (category 2 is the reference category ). A negative coefficient tells you that lower scores are more likely. For a continuous variable, a positive coefficient tells you that as the values of the variable increase, the likelihood of larger scores increases.
Ordinal logistic回归模型
应变量Y 有3个等级：无效0、有效1、治愈2
影响因素：性别X1（0男；1女）；治疗方法 X2 （ 0新药； 1传统） ；取值大的类别为参 照组。 某分类变量的回归系数为正时，则暴露组 （如新药）为更高的等级（如治愈）的可能 性大于参照组（传统药） 某连续变量的回归系数为正时，则随着该变 量的变量值增加，应变量为更高等级的可能 性也增加。
logit：用于反应变量各取值水平发生概率
相近的资料 Complementary：用于反应变量取值水平 高的水平发生概率高的资料 Negative：用于反应变量取值水平低的水平 发生概率高的资料 Probit：用于潜在变量服从正态分布的资料 Cauchit：用于潜在变量存在很多极端值的 资料
变量之间的关联 基本原理：
无效0，有效1，痊愈2无效与有效痊愈，
依次将应变量按不同的取值水平分割成两个等 级，对这两个等级建立反应变量为二分类的 logistic回归模型。 不管模型中反应变量的分割点在什么位置，模 型中各自变量的回归系数 i 都保持不变，所改 变的只有常数项。
无效有效与痊愈，可建立两个方程。两个方 程的常数项不同，但回归系数相同。
Factor 与 Covariate
自变量是分类变量，选入Factor栏，取值大
的类别为参照组。 自变量是计量资料，选入Covariate栏。
分别单击：Options, Output, Location, Scale
Options （默认）
Link：
logit：Evenly distributed categories Complementary：Higher categories more
变量各水平的例数
Case Processing Summary N y 无效 有效 治愈 新疗法 传统疗法 男性 女性 42 14 28 41 43 25 59 84 0 84 Marginal Perc entage 50.0% 16.7% 33.3% 48.8% 51.2% 29.8% 70.2% 100.0%
Logistic 回归模型
• 反对数变换得到 OR e1
11
实例1
研究急性心肌梗塞(AMI)患病与饮酒 的关系， 采用横断面调查。
饮酒 不饮酒 合计
(X=1) (X=0)
患病(y=1) 55 74 129
未患病(y=0) 104663 212555 317218
合计
104718 21262Odds分别为
O R e1e1 .7 9 1 7 5 96
95% CI=(4.3, 8.5)
34
实例3：Logistic模型的交互作用
• 由于本例模型为
L o g i t( P ) 0 1 x 1 2 x 2 3 x 1 x 2
• 3，P＝，差别有统计学意义，可以认为吸烟 和家属史对患肺癌有交互作用。
33
实例3：Logistic模型的交互作用
• 由于本例模型为 L o g i t( P ) 0 1 x 1 2 x 2 3 x 1 x 2
• 对于无家属史，x2=0代入模型，得到
Logit(P)01x1
• 由回归系数与OR的关系，得到吸烟的：
2
数据分析的背景
• 单因素的分类资料统计分析，一般采用 Pearson 2进行统计检验，用Odds Ratio 及其95%可信区间评价关联程度。
• 考虑多因素的影响，对于反应变量为分 类变量时，用线性回归模型P=a+bx就不 合适了，应选用Logistic回归模型进行统 计分析。
3
Logistic回归模型
• 在本例中，对于同为吸烟或不吸烟的对象 而言(x2相对固定不变)，
• 饮酒(x1=1)的对数Odds为
L o g (O d d s x 1 1 )0 1 2 x 2
• 不饮酒(x1=0)的对数Odds为
多分类Logistic回归教程与结果解读
Logistic回归分析（logit回归）一般可分为3类，分别是二元Logistic回归分析、多分类Logistic回归分析和有序Logistic回归分析。
logistic回归分析类型如下所示。
Logistic回归分析用于研究X对Y的影响，并且对X的数据类型没有要求，X可以为定类数据，也可以为定量数据，但要求Y必须为定类数据，并且根据Y的选项数，使用相应的数据分析方法。
如果Y有两个选项，如愿意和不愿意、是和否，那么应该使用二元Logistic回归分析(SPSSAU【进阶方法->二元logit】)；如果Y有多个选项，并且各个选项之间可以对比大小，例如，1代表“不愿意”，2代表“无所谓”，3代表“愿意”，这3个选项具有对比意义，数值越高，代表样本的愿意程度越高，那么应该使用多元有序Logistic回归分析(SPSSAU【进阶方法->有序logit】)；如果Y有多个选项，并且各个选项之间不具有对比意义，例如，1代表“淘宝”，2代表“天猫”，3代表“京东”，4代表“亚马逊中国”，数值仅代表不同类别，数值大小不具有对比意义，那么应该使用多元无序Logistic回归分析(SPSSAU 【进阶方法->多分类logit】)。
1、多分类logistic回归分析基本说明只要是logistic回归，都是研究X对于Y的影响，区别在于因变量Y上，logistic回归时，因变量Y是看成定类数据的，如果为二元（即选项只有2个），那么就是二元logistic回归； 如果Y是多个类别且类别之间无法进行对比程度或者大小，则为多分类logistic 回归；如果Y是多个类别且类别之间可以对比程度大小（也称为定量数据，或者有序定类数据），此时则使用有序logistic回归。
多分类logistic回归的难点在于：因变量为类别数据，研究X对Y的影响时，如果为类别数据，那么不能说越如何越如何，比如不能说越满意越愿意购买；而只能说相对小米手机来说，对于手机外观越满意越愿意购买苹果手机。
有序logit回归
有序logit回归前言Logistic模型属于非线性回归分析，它的研究主要是针对于因变量二分类或多分类变量结果与某些影响因素之间的一种多重回归方法，本学堂已有推文已经介绍了Logistic回归的作用，在这里就不再赘述。
我们常见的因变量为二分类变量，即因变量只有两种取值，如某病发生记为1，不发生记为，这或许是平常最常见也是使用最多的形式。
但是Logistic回归还包括条件Logistic回归，有序Logistic 回归，无序多分类Logistic回归。
这次我将给大家分享的是有序Logistic回归。
有序Logistic回归应用条件1. 与二分类Logistic不同的是，有序Logistic回归适用于因变量为等级或者程度差别的资料，如因变量满意度分为不满意记为1，满意记为2，非常满意记为3。
2. 自变量可以使任意类型的变量，如定量变量、二分类变量、无序多分类变量或者是有序分类变量等等。
有序Logistic回归注意事项1. 对于自变量的取值要求、样本含量的计算、变量的选择等方面与二分类一致，在这里就不赘述。
2. 有序Logistic回归独有的一个对于模型的检验是平行性假设检验，我将在后面讲解模型的时候阐述。
如果平行性假设不成立，就换用其他不需要进行平行性假设的模型，或者使用无序多分类Logistic 回归。
3. 按照OR的意义，常指病例组中暴露人数与非暴露人数的比值除以对照组中暴露人数与非暴露人数的比值，OR=1，表示该因素没有作用，OROR>1，表示该因素为危险因素，其是流行病学研究的一个常用指标。
我们常常对因变量Y的赋值要根据专业知识，将最有利的等级赋予最高等级，最不利的赋予最低等级，如因变量满意度分为不满意记为1，满意记为2，非常满意记为3。
有序Logistic回归几种模型实现有序Logistic回归的模型有很多种，我列出我所见过的四种模型，欢迎大家补充。
1.累积Logit模型：因变量Y包含g个类别，自变量X包含m个，为各自变量的回归系数。
多分类有序反应变量Logistic回归及其应用
3、社会心理因素：老年人的心理状态、生活环境、生活习惯等也会对其睡 眠质量产生影响。例如，孤独、抑郁、生活压力等心理问题可能导致睡眠障碍。
有序多分类Logistic回归分析
为了探讨上述因素对老年人睡眠质量的影响，我们采用有序多分类Logistic 回归分析方法进行建模和分析。有序多分类Logistic回归是一种统计方法，它能 够根据有序类别变量的取值来估计多个类别的影响因素，并计算各因素的影响方 向和作用大小。
还应注意其他潜在影响因素的作用，以便更好地预防和改善公务员的亚健康 状况。
谢谢观看
பைடு நூலகம்
（2）数据拟合：将数据带入Logistic回归模型，用最大似然估计法对模型 参数进行估计。
（3）模型评估：通过交叉验证、准确率、AUC值等指标对模型进行评估，判 断其预测性能。
（4）模型优化：根据模型评估结果，对模型进行优化调整，包括特征选择、 参数调整等。
3、结果解读
多分类有序反应变量Logistic回归的结果解读包括以下几个方面：
影响因素
老年人睡眠质量受到多种因素的影响，包括身体健康状况、药物使用、社会 心理因素等。
1、身体健康状况：老年人往往存在各种健康问题，如慢性疾病、疼痛、呼 吸困难等，这些疾病会直接或间接影响睡眠质量。
2、药物使用：部分老年人在日常生活中需要使用药物来控制血压、治疗疼 痛等。然而，某些药物可能导致不良反应，从而影响睡眠质量。
1、因变量的处理：将亚健康状况分为5个等级（非常健康、健康、轻微不健 康、不健康、非常不健康），并将其作为有序分类变量进行统计处理。
2、自变量的选择：选择工作压力、生活方式、心理状况等作为自变量，并 将其进行标准化处理，以便进行比较和分析。
3、模型的建立：采用有序多分类logistic回归分析方法，建立模型并拟合 数据。通过模型的结果，可以观察各个自变量对因变量的影响程度及比较各个自 变量之间的相对重要性。
Logistic回归模型
Logistic 回归模型1 Logistic 回归模型的基本知识 1.1 Logistic 模型简介主要应用在研究某些现象发生的概率p ，比如股票涨还是跌，公司成功或失败的概率，以及讨论概率p 与那些因素有关。
显然作为概率值，一定有10≤≤p ，因此很难用线性模型描述概率p 与自变量的关系，另外如果p 接近两个极端值，此时一般方法难以较好地反映p 的微小变化。
为此在构建p 与自变量关系的模型时，变换一下思路，不直接研究p ，而是研究p 的一个严格单调函数)(p G ，并要求)(p G 在p 接近两端值时对其微小变化很敏感。
于是Logit 变换被提出来：ppp Logit -=1ln)( （1）其中当p 从10→时，)(p Logit 从+∞→∞-，这个变化范围在模型数据处理上带来很大的方便，解决了上述面临的难题。
另外从函数的变形可得如下等价的公式：XT X T T eep X ppp Logit βββ+=⇒=-=11ln)( （2）模型(2)的基本要求是，因变量（y ）是个二元变量，仅取0或1两个值，而因变量取1的概率)|1(X y P =就是模型要研究的对象。
而T k x x x X ),,,,1(21 =，其中i x 表示影响y 的第i 个因素，它可以是定性变量也可以是定量变量，Tk ),,,(10ββββ =。
为此模型(2)可以表述成：kx k x kxk x k k ee p x x p p βββββββββ+++++++=⇒+++=- 11011011011ln （3）显然p y E =)(，故上述模型表明)(1)(ln y E y E -是k x x x ,,,21 的线性函数。
此时我们称满足上面条件的回归方程为Logistic 线性回归。
Logistic 线性回归的主要问题是不能用普通的回归方式来分析模型，一方面离散变量的误差形式服从伯努利分布而非正态分布，即没有正态性假设前提；二是二值变量方差不是常数，有异方差性。
logistic回归模型方程
logistic回归模型方程Logistic回归模型方程是一种常用的分类算法，它可以将数据分为两个或多个类别。
在这篇文章中，我们将介绍Logistic回归模型方程的基本概念和应用。
Logistic回归模型方程是一种基于概率的分类算法，它可以将数据分为两个或多个类别。
在Logistic回归模型中，我们使用一个S形函数来将输入变量映射到输出变量。
这个S形函数被称为Logistic 函数，它的形式如下：$$P(y=1|x)=\frac{1}{1+e^{-\beta_0-\beta_1x_1-\beta_2x_2-...-\beta_px_p}}$$其中，$P(y=1|x)$表示当输入变量为$x$时，输出变量为1的概率。
$\beta_0,\beta_1,\beta_2,...,\beta_p$是模型的参数，$x_1,x_2,...,x_p$是输入变量。
Logistic回归模型的训练过程是通过最大化似然函数来确定模型参数的。
似然函数是一个关于模型参数的函数，它描述了给定模型参数下观察到数据的概率。
在Logistic回归模型中，似然函数的形式如下：$$L(\beta)=\prod_{i=1}^{n}P(y_i|x_i;\beta)^{y_i}(1-P(y_i|x_i;\beta))^{1-y_i}$$其中，$n$是样本数量，$y_i$是第$i$个样本的输出变量，$x_i$是第$i$个样本的输入变量。
最大化似然函数的过程可以使用梯度下降等优化算法来实现。
Logistic回归模型可以应用于许多分类问题，例如垃圾邮件分类、疾病诊断等。
在这些问题中，我们需要将输入变量映射到输出变量，以便进行分类。
Logistic回归模型可以通过学习输入变量和输出变量之间的关系来实现这一目标。
Logistic回归模型方程是一种常用的分类算法，它可以将数据分为两个或多个类别。
在Logistic回归模型中，我们使用一个S形函数来将输入变量映射到输出变量。
logistic回归
比较
以上三种方法中，在多数情况下，似然比 检验是最有效的检验，记分检验一般与它相 一致。但两者计算量均较大；
Wald检验主要用于对单个回归系数的检验， 但是Wald检验未考虑各因素间的综合作用， 比较保守，在因素间有共线性存在时,结果不 像其它两者可靠。
Logistic回归
一般过程
Logistic回归
统计学概念
队列研究 病例对照研究 危险度 相对危险度（RR） 比数比或优势比（OR）
队列研究
也称前瞻性研究、随访研究等。是一种由因及果的 研究，在研究开始时，根据以往有无暴露经历，将研 究人群分为暴露人群和非暴露人群，在一定时期内， 随访观察和比较两组人群的发病率或死亡率。如果两 组人群发病率或死亡率差别有统计学意义，则认为暴 露和疾病间存在联系。
Logistic回归
ROC曲线
涵义与起源
ROC【receiver(relative) operating characteristic的缩
写，译为“接受者工作特征”】
ROC曲线研究历史
1950’s
雷达信号观测能力评价
1960’s中期
实验心理学、心理物理学
1970’s末与1980’s初 诊断医学
ROC曲线
对照
Logistic回归
比数比
是否暴露 暴露组 未暴露组 合计
病例 a c a+c
对照 b d b+d
合计 a+b(n1) c+d(n2) n
比数比（odds ratio、OR）：病例对照研究中表示疾病与暴露间
联系强度的指标，也称比值比。
比数（odds）：发生率与未发生率之比。即阳性率/阴性率。
logistic回归模型的分类及主要问题
Logistic回归模型的分类及主要问题一、引言逻辑回归是一种广泛应用于分类问题的统计方法，用于预测某个实例属于特定类别的概率。
尽管其简单易懂并具有很好的可解释性，但在应用过程中仍然会遇到一些问题。
本文将详细讨论逻辑回归模型的分类及其主要问题。
二、逻辑回归模型的分类1. 二元逻辑回归：这是最简单也是最常见的逻辑回归形式，用于解决二分类问题（例如，电子邮件是否为垃圾邮件）。
在这种模型中，我们尝试找到一条线或一个超平面，以最大化正类和负类之间的分离度。
2. 多项式逻辑回归：当与线性回归模型相比，数据的特性更复杂时，可以使用多项式逻辑回归。
在这种情况下，我们使用非线性函数来映射自变量和因变量之间的关系。
3. 次序逻辑回归：当输出变量是有序的（例如，评级为1到5）时，可以使用次序逻辑回归。
这种模型可以估计有序概率比（OR），即成功的概率与失败的概率之比。
三、逻辑回归模型的主要问题1. 多重共线性：逻辑回归模型假设自变量之间不存在线性关系。
然而，在现实世界的数据集中，这种假设往往不成立，导致多重共线性问题。
多重共线性会导致模型系数的不稳定，影响模型的解释性和预测准确性。
2. 类别不平衡：在处理类别不平衡的数据时，逻辑回归模型可能会遇到问题。
例如，在垃圾邮件检测中，垃圾邮件的数量通常远少于非垃圾邮件。
这种情况下，模型可能会过于倾向于预测为非垃圾邮件，导致预测性能下降。
3. 忽略交互效应：逻辑回归模型默认自变量之间没有交互效应。
然而，在现实中，自变量之间可能存在复杂的交互关系。
忽略这些交互效应可能会导致模型的预测性能下降。
4. 精度-复杂性权衡：逻辑回归模型的一个关键问题是找到精度和复杂性之间的最佳平衡。
一方面，我们希望模型尽可能精确；另一方面，我们也希望模型尽可能简单，以便解释和应用。
然而，过度复杂的模型可能会导致过拟合，而过于简单的模型则可能无法捕捉到数据的真实结构。
四、总结逻辑回归是一种强大的分类工具，但在使用过程中需要注意以上提到的问题。
logistic回归分析
队列研究(cohort study)：也称前瞻性研究、随访研究等。是一种由因及果的研
究，在研究开始时，根据以往有无暴露经历，将研究人群分为暴露人群和非暴 露人群，在一定时期内，随访观察和比较两组人群的发病率或死亡率。如果两 组人群发病率或死亡率差别有统计学意义，则认为暴露和疾病间存在联系。队 列研究验证的暴露因素在研究开始前已存在，研究者知道每个研究对象的暴露 情况。
调查方向：追踪收集资料 暴露 疾病 +
人数
比较
aபைடு நூலகம்
b c
+
研究人群
a/(a+b)
+ -
-
c/(c+d)
d
队列研究原理示意图
暴露组 非暴露组
病例 a c
非病例 b d
合计 n1=a+b n0=c+d
发病率 a/ n1 c/ n0
相对危险度（relative risk， RR）也称危险比（risk ratio） 或率比（rate ratio） RR I e a / n1 、 I e a / n1 、 I 0 c / n2 。
研究，先按疾病状态确定调查对象，分为病例(case)和对照 (control)两组，然后利用已有的记录、或采用询问、填写调查表 等方式，了解其发病前的暴露情况，并进行比较，推测疾病与 暴露间的关系。
调查方向：收集回顾性资料
比较 a/(a+b)
人数 a b c
暴露 +
疾病 病例
+ 对照 -
c/(c+d) d
二、 logistic回归模型的参数估计
logistic 回归模型的参数估计常采用最大似然估计。 其基本思想是先建立似然函数与对数似然函数， 求使对数似然函数最大时的参数值，其估计值即 为最大似然估计值。 建立样本似然函数：
logistic回归分析(2)
8
非条件logistic回归
logit 因变量 自变量,[选择项]
sw logit 因变量 自变量,[选择项]
选择项： or 指定结果中给出OR值，缺失时输出回归系数 pr(#)是剔除变量的P值 pe(#)是选入变量的P值
9
例1(成组病例对照研究) 某单位研究胸膜间皮瘤与接触石 棉的关系，资料见下表。试对其进行分析。
begin with full model
p = 0.7439 >= 0.1100 removing ht
p = 0.1314 >= 0.1100 removing drug
Conditional (fixed-effects) logistic regression Number of obs = 315
4
参数估计与假设检验
参数的估计：极大似然（MLE） 假设检验：
似然比检验: G=-2lnL-(-2lnL’)
Wald检验: z 检验
2 i
(
ˆi SE(ˆi
)
)
2
5
回归系数的解释
回归系数 表示当其它自变量固定不变时， X每改变一个单位，优势对数的改变量（优 势比的对数）。
6
回归系数的解释
7
回归系数的解释
多分类变量：哑变量(dummy variable)
x＝1时： x1＝1， x2＝0， x3＝0， x4＝0 表示A型血 x＝2时： x1＝0， x2＝1， x3＝0， x4＝0 表示B型血 x＝3时： x1＝0， x2＝0， x3＝1， x4＝0 表示AB型血 x＝4时： x1＝0， x2＝0， x3＝0， x4＝1 表示O型血
➢ 回归系数β：表示病例与对照变量值之差与患病 优势的关系，即exp(β)表示病例与对照暴露水平 相差一个单位时患病的优势比。