第六章 非线性回归与logistic回归
合集下载
(整理)第6章回归分析
第6章回归分析变量之间的联系可以分为两类，一类是确定性的，另一类是非确定性的。
确定型的关系是指某一个或某几个现象的变动必然会引起另一个现象确定的变动，他们之间的关系可以使用数学函数式确切地表达出来，即y=f(x)。
当知道x的数值时，就可以计算出确切的y值来。
如圆的周长与半径的关系：周长=2πr。
非确定关系则不然，例如，在发育阶段，随年龄的增长，人的身高会增加。
但不能根据年龄找到确定的身高，即不能得出11岁儿童身高一定就是1米40公分。
年龄与身高的关系不能用一般的函数关系来表达。
研究变量之间既存在又不确定的相互关系及其密切程度的分析称为相关分析。
如果把其中的一些因素作为自变量，而另一些随自变量的变化而变化的变量作为因变量，研究他们之间的非确定因果关系，这种分析就称为回归分析。
在本章，我们将讲解回归分析有关的内容，而在下一章，我们将讲解相关分析的具体操作方法。
在SppS 10.0 For windows中回归分析分为以下几种：（主要讲前三种）●Linear：线性回归分析（data09-03）●Curve Estimation：曲线回归分析（data13-01）●Binary Logistic：二维 Logistic回归分析（data13-02）●Multinomial Logistic：多维Logistic回归分析●Ordinal：Ordinal回归分析●Proibit：概率单位回归分析●Nonlinear：非线性回归分析●Weight Estimation: 加权估测分析●2-Stage Least Squares: 两阶最小二乘分析8.1线性回归（data09-03）一元线性回归方程（卫生统计114～121页）直线回归分析的任务就是根据若干个观测（Xi，yi）i=1～n找出描述两个变量X、y之间关系的直线回归方程y^=a+bx。
y^是变量y的估计值。
求直线回归方程y^=a+bx,实际上是用回归直线拟合散点图中的各观测点。
LOGISTIC回归分析
LOGISTIC回归分析前⾯的博客有介绍过对连续的变量进⾏线性回归分析，从⽽达到对因变量的预测或者解释作⽤。
那么如果因变量是离散变量呢？在做⾏为预测的时候通常只有“做”与“不做的区别”、“0”与“1”的区别，这是我们就要⽤到logistic分析（逻辑回归分析，⾮线性模型）。
参数解释（对变量的评价）发⽣⽐(odds)： ODDS=事件发⽣概率/事件不发⽣的概率=P/(1-P)发⽣⽐率（odds ratio）：odds ratio=odds B/odds A (组B相对于组A更容易发⽣的⽐率）注：odds ratio⼤于1或者⼩于1都有意义，代表⾃变量的两个分组有差异性，对因变量的发⽣概率有作⽤。
若等于1的话，该组变量对事件发⽣概率没有任何作⽤。
参数估计⽅法线性回归中，主要是采⽤最⼩⼆乘法进⾏参数估计，使其残差平⽅和最⼩。
同时在线性回归中最⼤似然估计和最⼩⼆乘发估计结果是⼀致的，但不同的是极⼤似然法可以⽤于⾮线性模型，⼜因为逻辑回归是⾮线性模型，所以逻辑回归最常⽤的估计⽅法是极⼤似然法。
极⼤似然公式：L(Θ)=P(Y1)P(Y2)...p(Y N) P为事件发⽣概率P I=1/(1+E-(α+βX I))在样本较⼤时，极⼤似然估计满⾜相合性、渐进有效性、渐进正太性。
但是在样本观测少于100时，估计的风险会⽐较⼤，⼤于100可以介绍⼤于500则更加充分。
模型评价这⾥介绍拟合优度的评价的两个标准：AIC准则和SC准则，两统计量越⼩说明模型拟合的越好，越可信。
若事件发⽣的观测有n条，时间不发⽣的观测有M条，则称该数据有n*m个观测数据对，在⼀个观测数据对中，P>1-P，则为和谐对（concordant）。
P<1-P,则为不和谐对（discordant）。
P=1-P，则称为结。
在预测准确性有⼀个统计量C=(NC-0.5ND+0.5T)/T，其中NC为和谐对数，ND为不和谐对数，这⾥我们就可以根据C统计量来表明模型的区分度，例如C=0.68，则表⽰事件发⽣的概率⽐不发⽣的概率⼤的可能性为0.68。
非线性回归课件
§8.1 可化为线性回归的曲线回归
C o effi ci en ts
St andardi zed
U ns tandardize Cdoef f icie C oef f icients nts
Model
B Std. ErrorBeta
t
1
(C ons t8a.n1t9) 0 .043
190. 106
《非线性回归》PPT课件
§8.2 多项式回归
称回归模型
yi=β0+β1xi1+β2xi2+β11
x
2 i1
+β22
x
2 i2
+β12xi1xi2+εi
为二元二阶多项式回归模型。
它的回归系数中分别含有两个自变量的线性项系数β1 和β2， 二次项系数β11 和β22，并含有交叉乘积项系数β12。 交叉乘积项表示 x1与 x2的交互作用。
线性回归 y=b0+b1t
Regression Residuals
Analysis of Variance:
DF Sum of Squares
1
9454779005.1
16
1588574273.6
Mean Square 9454779005.1
99285892.1
F
Signif F
95.22782 .0000
Adjus t ed Rof t he
Model R R SquareSquareEs t imD atuerbin-W at s on
1
. 996a . 992
.89.971601E-02
. 616
a.Predic t ors : (C onst ant ), T
《非线性回归》课件
灵活性高
非线性回归模型形式多样，可以根据 实际数据和问题选择合适的模型，能 够更好地适应数据变化。
解释性强
非线性回归模型可以提供直观和易于 理解的解释结果，有助于更好地理解 数据和现象。
预测准确
非线性回归模型在某些情况下可以提 供更准确的预测结果，尤其是在数据 存在非线性关系的情况下。
缺点
模型选择主观性
势。
政策制定依据
政府和决策者可以利用非线性回归模型来评估不同政策方案的影响，从而制定更符合实 际情况的政策。例如，通过分析税收政策和经济增长之间的关系，可以制定更合理的税
收政策。
生物学领域
生态学研究
在生态学研究中，非线性回归模型被广 泛应用于分析物种数量变化、种群动态 和生态系统稳定性等方面。通过建立非 线性回归模型，可以揭示生态系统中物 种之间的相互作用和环境因素对种群变 化的影响。
模型诊断与检验
诊断图
通过绘制诊断图，可以直观地观察模型是否满足回归分析的假设条件，如线性关系、误差同方差性等 。
显著性检验
通过显著性检验，如F检验、t检验等，可以检验模型中各个参数的显著性水平，从而判断模型是否具 有统计意义。
04
非线性回归在实践中的应用
经济学领域
描述经济现象
非线性回归模型可以用来描述和解释经济现象，例如消费行为、投资回报、经济增长等 。通过建立非线性回归模型，可以分析影响经济指标的各种因素，并预测未来的发展趋
VS
生物医学研究
在生物医学研究中，非线性回归模型被用 于分析药物疗效、疾病传播和生理过程等 方面。例如，通过分析药物浓度与治疗效 果之间的关系，可以制定更有效的治疗方 案。
医学领域
流行病学研究
在流行病学研究中，非线性回归模型被用于 分析疾病发病率和死亡率与各种因素之间的 关系。通过建立非线性回归模型，可以揭示 环境因素、生活方式和遗传因素对健康的影 响。
回归分析线性回归Logistic回归对数线性模型
模型
逻辑回归的模型为 (P(Y=1) = frac{1}{1+e^{-z}})，其中 (z = beta_0 + beta_1X_1 + beta_2X_2 + ... + beta_nX_n)。
逻辑斯蒂函数
பைடு நூலகம்
定义
逻辑斯蒂函数是逻辑回归模型中用来描述自变量与因变量之 间关系的函数，其形式为 (f(x) = frac{1}{1+e^{-x}})。
。
在样本量较小的情况下， logistic回归的预测精度可能高 于线性回归。
线性回归的系数解释较为直观 ，而logistic回归的系数解释相 对较为复杂。
对数线性模型与其他模型的比较
对数线性模型假设因变量和自变量之间存在对 数关系，而其他模型的假设条件各不相同。
对数线性模型的解释性较强，可以用于探索自变量之 间的交互作用和效应大小。
THANKS
感谢您的观看
预测市场细分中的消费者行为等。
对数线性模型还可以用于探索性数据分析，以发现数 据中的模式和关联。
Part
04
比较与选择
线性回归与logistic回归的比较
线性回归适用于因变量和自变 量之间存在线性关系的场景， 而logistic回归适用于因变量为
二分类或多分类的场景。
线性回归的假设条件较为严格 ，要求因变量和自变量之间存 在严格的线性关系，而logistic 回归的假设条件相对较为宽松
最小二乘法
最小二乘法是一种数学优化技术，用于最小化预测值与实际观测值之间的平方误差总和。
通过最小二乘法，可以估计回归系数，使得预测值与实际观测值之间的差距最小化。
最小二乘法的数学公式为：最小化 Σ(Yi - (β0 + β1X1i + β2X2i + ...))^2，其中Yi是实际观 测值，X1i, X2i, ...是自变量的观测值。
逻辑回归的模型为 (P(Y=1) = frac{1}{1+e^{-z}})，其中 (z = beta_0 + beta_1X_1 + beta_2X_2 + ... + beta_nX_n)。
逻辑斯蒂函数
பைடு நூலகம்
定义
逻辑斯蒂函数是逻辑回归模型中用来描述自变量与因变量之 间关系的函数，其形式为 (f(x) = frac{1}{1+e^{-x}})。
。
在样本量较小的情况下， logistic回归的预测精度可能高 于线性回归。
线性回归的系数解释较为直观 ，而logistic回归的系数解释相 对较为复杂。
对数线性模型与其他模型的比较
对数线性模型假设因变量和自变量之间存在对 数关系，而其他模型的假设条件各不相同。
对数线性模型的解释性较强，可以用于探索自变量之 间的交互作用和效应大小。
THANKS
感谢您的观看
预测市场细分中的消费者行为等。
对数线性模型还可以用于探索性数据分析，以发现数 据中的模式和关联。
Part
04
比较与选择
线性回归与logistic回归的比较
线性回归适用于因变量和自变 量之间存在线性关系的场景， 而logistic回归适用于因变量为
二分类或多分类的场景。
线性回归的假设条件较为严格 ，要求因变量和自变量之间存 在严格的线性关系，而logistic 回归的假设条件相对较为宽松
最小二乘法
最小二乘法是一种数学优化技术，用于最小化预测值与实际观测值之间的平方误差总和。
通过最小二乘法，可以估计回归系数，使得预测值与实际观测值之间的差距最小化。
最小二乘法的数学公式为：最小化 Σ(Yi - (β0 + β1X1i + β2X2i + ...))^2，其中Yi是实际观 测值，X1i, X2i, ...是自变量的观测值。
第6章逻辑斯蒂回归模型
probit[π ( x)] = α + β x
–其中probit变换是将概率变换为标准正态分布的 z −值， 形式为：
Logistic回归模型
–双对数变换的形式为：
f ( p ) = ln(− ln(1 − p ))
• 以上变换中以logit变换应最为广泛。 • 假设响应变量Y是二分变量，令 p = P(Y = 1) ,影响Y 的因素有k个 x1 ,L xk ，则称：
β • 其中， 0 , β1 ,L , β k 是待估参数。根据上式可以得到 优势的值： p β + β x +L+ β x
1− p
=e
0
1 1
k k
• 可以看出，参数 βi是控制其它 x 时 xi 每增加一个 单位对优势产生的乘积效应。 • 概率p的值： e β + β x +L+ β x
p=
0 1 1 k k
含有名义数据的logit
• 前例中的协变量为定量数据，logistic回归模型的 协变量可以是定性名义数据。这就需要对名义数 据进行赋值。 • 通常某个名义数据有k个状态，则定义个变量 M 1 ,L , M k −1 代表前面的k-1状态，最后令k-1变量均 为0或-1来代表第k个状态。 • 如婚姻状况有四种状态：未婚、有配偶、丧偶和 离婚，则可以定义三个指示变量M1、M2、M3， 用(1,0,0)、 (0,1,0) 、(0,0,1) 、(0,0,0)或(-1,-1,-1) 来对以上四种状态赋值。
G 2 = −2 ∑ 观测值[ln(观测值/拟合值)]
• 卡方的df应等于观测的组数与模型参数的差，较小的统计量的 值和较大的P-值说明模型拟合不错。 • 当至多只有几个解释变量且这些解释变量为属性变量，并且所 有的单元频数不少于5时，以上统计量近似服从卡方分布。
–其中probit变换是将概率变换为标准正态分布的 z −值， 形式为：
Logistic回归模型
–双对数变换的形式为：
f ( p ) = ln(− ln(1 − p ))
• 以上变换中以logit变换应最为广泛。 • 假设响应变量Y是二分变量，令 p = P(Y = 1) ,影响Y 的因素有k个 x1 ,L xk ，则称：
β • 其中， 0 , β1 ,L , β k 是待估参数。根据上式可以得到 优势的值： p β + β x +L+ β x
1− p
=e
0
1 1
k k
• 可以看出，参数 βi是控制其它 x 时 xi 每增加一个 单位对优势产生的乘积效应。 • 概率p的值： e β + β x +L+ β x
p=
0 1 1 k k
含有名义数据的logit
• 前例中的协变量为定量数据，logistic回归模型的 协变量可以是定性名义数据。这就需要对名义数 据进行赋值。 • 通常某个名义数据有k个状态，则定义个变量 M 1 ,L , M k −1 代表前面的k-1状态，最后令k-1变量均 为0或-1来代表第k个状态。 • 如婚姻状况有四种状态：未婚、有配偶、丧偶和 离婚，则可以定义三个指示变量M1、M2、M3， 用(1,0,0)、 (0,1,0) 、(0,0,1) 、(0,0,0)或(-1,-1,-1) 来对以上四种状态赋值。
G 2 = −2 ∑ 观测值[ln(观测值/拟合值)]
• 卡方的df应等于观测的组数与模型参数的差，较小的统计量的 值和较大的P-值说明模型拟合不错。 • 当至多只有几个解释变量且这些解释变量为属性变量，并且所 有的单元频数不少于5时，以上统计量近似服从卡方分布。
06非线性回归模型-PPT课件
9
例6.2.1：设某商店1991—2000年的商品流通费用率和商 品零售额资料如表6.2.2所示。根据表中资料，配合适当 的回归模型分析商品零售额与流通费用率的关系，若 2019年该商店商品零售额为36.33万元，试预测2019年的 商品流通费用额。
解：
第一步，绘制散点图(见图6.2.1)。从图中可以清楚地看到：随着商品零
►由于这类模型的因变量没有变形，所以可以直接采用最小二
乘法估计回归系数并进行检验和预测。
– 第二类，间接代换型
►这类非线性回归模型经常通过对数变形代换间接地化为线性 回归模型。如式(6.1.5)、式(6.1.6)和式(6.1.7)。
6
►由于这类模型在对数变形代换过程中改变了因变量的形态， 使得变形后模型的最小二乘估计失去了原模型的残差平方和为
2
曲线的形式也因实际情况不同而有多种形式。配曲线问题 主要包括：
– 1、选配拟合曲线（即确定变量间函数的类型）： ►可以根据理论分析或过去的实际经验事先确定； ►不能根据理论或过去积累的经验确定时，根据实际资 料作散点图，从其分布形状选择适当的曲线来配合。 – 2、确定相关函数中的未知参数
►最小二乘法是确定未知参数最常用的方法。
– (3)对数模型，其方程式为
y l n x u i 1 2 i i
– (4)三角函数模型，其方程式为
( 6 . 1 . 3 )
y s i n xu ( 6 . 1 . 4 ) i 1 2方程式为
x x u 0 1 1 i 2 2 i i y e i
– (6)幂函数模型，其方程式为
b y a x u i i i
i y = a b u i
logistic回归、probit回归与poission回归
在危险／保护因素条件下，效应指标发生与不发生 事件的概率之比的对数值。
单纯从数学上讲，与多元线性 回归分析中回归系数的解释并 无不同。
ห้องสมุดไป่ตู้第九页，共44页。
模型评估
（1）Ｈosmer-Lemeshowz指标
HL统计量的原假设Ho是预测值和观测值之间无显著差异 ，因此HL指标的P-Value的值越大，越不能拒绝原假设，即说明模
ln[exp(0 1X1 2 X 2 m X m )]
0 1X1 2 X 2 m X m
Logit与概率不同，它没有上下限。比数去除了概率的上限，比数的对 数去除了概率的下限；且是以0,5为中点对称的，概率大于0.5产生正的 logit,logit距离0的距离反映了概率距离0.5的距离；概率上相同的改变与
在logits上产生的改变是不同的，logit转化拉直了X与最初的概率之间的
非线性关系。
第八页，共44页。
问题2：
回归系数的意义：
• Logistic回归中的回归系数 i 表示，某一因素 改变一个单位时，效应指标发生与不发生事件 的概率之比的对数变化值，即OR的对数值。
• Logistic回归中的常数项 表 0 示，在不接触任何潜
上述三种方法中，似然比检验（与之前的类似） 最可靠，比分检验（logistic回归模型特有）一般 与它相一致，但两者均要求较大的计算量；而Wald 检验（相当于广义的t检验）未考虑各因素间的综 合作用，在因素间有共线性时结果不如其它两者可 靠。
第二十一页，共44页。
对所拟合模型的假设检验：
第二十二页，共44页。
型可表示为：
P
1
exp( 0 exp(
0
1 X1 1 X
2 X 2 1 2X
单纯从数学上讲，与多元线性 回归分析中回归系数的解释并 无不同。
ห้องสมุดไป่ตู้第九页，共44页。
模型评估
（1）Ｈosmer-Lemeshowz指标
HL统计量的原假设Ho是预测值和观测值之间无显著差异 ，因此HL指标的P-Value的值越大，越不能拒绝原假设，即说明模
ln[exp(0 1X1 2 X 2 m X m )]
0 1X1 2 X 2 m X m
Logit与概率不同，它没有上下限。比数去除了概率的上限，比数的对 数去除了概率的下限；且是以0,5为中点对称的，概率大于0.5产生正的 logit,logit距离0的距离反映了概率距离0.5的距离；概率上相同的改变与
在logits上产生的改变是不同的，logit转化拉直了X与最初的概率之间的
非线性关系。
第八页，共44页。
问题2：
回归系数的意义：
• Logistic回归中的回归系数 i 表示，某一因素 改变一个单位时，效应指标发生与不发生事件 的概率之比的对数变化值，即OR的对数值。
• Logistic回归中的常数项 表 0 示，在不接触任何潜
上述三种方法中，似然比检验（与之前的类似） 最可靠，比分检验（logistic回归模型特有）一般 与它相一致，但两者均要求较大的计算量；而Wald 检验（相当于广义的t检验）未考虑各因素间的综 合作用，在因素间有共线性时结果不如其它两者可 靠。
第二十一页，共44页。
对所拟合模型的假设检验：
第二十二页，共44页。
型可表示为：
P
1
exp( 0 exp(
0
1 X1 1 X
2 X 2 1 2X
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
程序说明： 先将原始数据生成SAS数据集bb，选用牛顿法 (NEWTON)进行迭代计算，因而需求出y关于系数a、 b、c、d的一阶偏导数，如果需要求a、b、c、d的 二阶混合偏导数时，只准许给出１个der.a.b.或 der.b.a. ，不能同时给出2个。其它系数的混合 偏导数要求同样。在步长搜索法没指定时，缺省 值为SMETHOD=HVALVE，即各次迭代的步长k依次取 为k=1，0.5，0.25，…；在SMETHOD=后除选用 HVALVE外，还可选用GOLDEN(黄金分割法)、 ARMGOLD和CUBIC。
医学实例
Brown(1980)在术前检查了53例前列腺 癌患者，拟用年龄(AGE)、酸性磷酸酯酶 (ACID)两个连续型的变量，X射线(X_RAY)、 术前探针活检病理分级(GRADE)、直肠指检 肿瘤的大小与位置(STAGE)三个分类变量与 手术探查结果变量NODES（1、0分别表示癌 症淋巴结转移与未转移 ）建立淋巴结转移 的预报模型。
;
应用举例
例 设国内某厂生产用提纯法生产高纯度食品级 ， 设影响生产过程的指标有y0（进塔浓度 ），t1 （进塔温度），p1（塔顶压力），t（塔顶温度）， t2（塔釜加热温度），p2（塔釜压力），t3（塔 釜温度），关心的产量指标为y（出塔浓度）。据 分析，它们间关系近似为:
y b0 y (t1 ) p (t ) t p (t3 )
非线性函数SSE往往有多个极小值。由“最 优化”理论可知，初估计对迭代的结果影响很 大，初估计不好，不仅收敛速度慢，而且可能 不收敛到最小值点。好的初估计不仅收敛速度 快，而且总能收敛到全局最小值点；好的初估 计称为优良初估计。通常求优良初估计，都是 将非线性参数化为线性参数而用线性回归求出。 即构造另一个线性回归模型，对同样的自变量， 响应变量和观测数据，线性回归模型的最优解 是非线性回归模型的优良初估计。
Logistic回归直接预测出事件发生的概率，这 同回归分析是不同的。 在估计模型的时候采用极大似然估计的迭代方 法，找到系数的“最可能”估计。
二、模型的参数估计
Logistic回归参数的估计通常采用最 大似然法(maximum likelihood，ML)。最大 似然法的基本思想是先建立似然函数与对数 似然函数，再通过使对数似然函数最大求解 相应的参数值，所得到的估计值称为参数的 最大似然估计值。
3.2 -16 3.36 3.35 3.03 2.92 -12 3.42 3.22 3.44 3.39 -23 -23 3.29 3.18 3.26 3.23
-13 99.4 -11 -9 -17 -18 99.87 -18 -18 -20 -20 98.73 98.93 -24 -23 -20 -20
（一）53例接受手术的前列腺癌患者情况
（二）26例冠心病病人和28例对照进行病例对照 研究
26例冠心病病人和28例对照者进行病例对 照研究
线性回归模型在定量分析的实际研究中是非常 流行的方法，但是在许多的情况下，因变量是一 个分类变量而不是一个连续变量，这时候线性回 归就不适用了。 许多社会科学的观察都只是分类的而不是连续 的。比如在经济学研究中所涉及的是否销售或购 买某种商品，这种选择度量通常分为两类，即 “是”与“否”；在社会调查研究中，对态度、 心理等的调查通常会分为几类，如“很满意”、 “满意”、“不满意”等； 从上面两个例子可以看到，我们要判断某种现 象发生的可能性，也就是要研究的社会现象发生 的概率的大小，比如是否买房，降雨的概率是多 少等等。
为了估计未知参数的值．常用的方法是非 线性最小二乘法，有时也用非线性最小一乘法， 即LAD回归。非线性最小二乘法即选择合适的使 残差平方和最小从而估计的值。
由于是非线性形式出现，非线性最小二乘法 的解，一般没有线性情形那样的公式可用，只 能通过一个数学分支“最优化”的方法使SSE达 到极小。最优化的理论和方法非常丰富，有多 种方法使SSE达到极小。 无论哪种方法，都必须从一个预先给出的初 始估计出发，经过多次迭代，不断改善，达到 SSE近似极小，从而得到参数的近似最优估计-非线性最小二乘的近似最优解。由于计算量大， 只能编程用电脑来算，通常用专用软件计算。
b1 0 b2 b2 1 b3 b4 2 b6 2
b7
试建立经验回归公式 ?
data co2; input y0 t1 p1 t t2 p2 t3 y; cards; 97.2 -20 2.97 -8 39 97 -22 3.03 -6 41 3.24 96.6 -21 3.13 -6 40 96.7 -20 3.13 -4 41 95.7 -24 2.86 -4 36 96.8 -21 2.82 -3 38 97 -23 2.99 -3 36 2.94 96.6 -19 3.18 -3 39 96.9 -22 3 -3 36 93.6 -26 3.32 -3 32 96.5 -18 3.12 -3 37 93 -27 3.09 -3 29 3.25 94 -22 3.05 -3 36 3.33 96.7 -18 2.96 -3 38 97.2 -21 2.9 -3 35 95.7 -21 3.06 -3 39 98.2 -19 2.97 -3 36
参数估计的公式
三、回归参数的假设检验
优势比及其可信区间
标准化回归参数
用于评价各自变量对模型的贡献大小
四、回归参数的意义
当只有一个自变量时，以相应的预报 概率 为纵轴，自变量 X 为横轴，可绘 制出一条S形曲线。回归参数的正负符号与 绝对值大小，分别决定了S形曲线的方向与 1 形状
0.8 0.6 0.4 0.2 0 -2.5 -1.5 -0.5 0.5 1.5
X
预报概率
Logistic回归曲线 中心线
2.5
3.5
Pr(Y 1) ln ln ＝ln 优势 ＝ln( odds) 1 Pr(Y 0) log it ( ) 0 1 X 1 p X p Pr(Y 1) 优势＝ exp( 0 1 X 1 p X p ) Pr(Y 0) 如果 Pr(Y 1)＝0.7，那么 Pr(Y 0)＝0.3， 的0.7 / 0.3＝2.33倍。
非线性回归模型
非线性回归模型
x1 ,...x p
定义:模型中参数不全是线性形式出现，则
y f ( x1 ,...x p , b0 , b1 ,...bk ))
称为非线性回归模型！随机误差项仍假设服 从正态分布！通常非线性回归模型简写成：
y f (x, )
非线性回归模型的参数Байду номын сангаас计
NLIN应用举例
data bb; input x y wc; cards; 0.001 1.7834 0.032 0.01 1.6983 0.021 0.1 1.5536 0.016 1 1.1145 0.019 10 0.5734 0.023 100 0.2814 0.032 1000 0.1443 0.024 10000 0.0862 0.014 ; proc nlin data=bb method=newton; parms a=1.7 to 2 by 0.05 b=1.5 to 2.0 by 0.01 c=0.5 to 0.8 by 0.01 d=0.1 to 0.2 by 0.005; temp=(x/b)**c; temp1=temp+1; temp2=exp(x/b); model y= (a-d)/temp1+d ;
一、logistic回归模型
概率预报模型
exp( 0 1 X 1 p X p ) 1 exp( 0 1 X 1 p X p )
1 1 exp[ ( 0 1 X 1 p X p )] 1 1 e
( 0 1 X 1 p X p )
那么，事件发生Pr(Y 1)是事件不发生Pr(Y 0)比较
优势比改变exp(j)个单位
Pr (Y 1) (odds) 优势 1 Pr (Y 0) exp( 5.8896 0.6443 X 1 1.9169 X 8 ) 令X 2～X 8保持不变，年龄X 1改变1个单位（ 岁）， 10 如年龄从50岁提高到60岁（X 1分别为2， 3），患冠心病的 概率增加了exp (0.6443 (3 2)) 1.9047 2倍
非线性回归过程NLIN
NLIN过程简介 PROC NLIN 选择项 ; MODEL 因变量=自变量表达式 ; PARAMETERS或PARMS 参数=数值 …… 参数=数值 ; BY 语句 ; BOUNDS 语句 ; （参数约束语句） DER 语句 ; （微商语句） OUTPUT OUT=SAS数据集，KEYWORD=变量名 …… RUN ;
Logistic回归分析
例 1: 购房与家庭收入：在一次住房展销会上， 与房地产签定初步购房意向书的共有580名顾客， 在随后的3个月内只有一部分顾客购买了房屋，购 买了房屋的顾客记为1，没有购买房屋的顾客记为 0，将数据汇总可得下表。其中x表示家庭月收入； n表该种收入调查户数； r表示该种收入买房户数。 请问是否能判断家庭收入为48000元的顾客买房的 可能性？
例
已知牧草重量y与生长天数x的关系是
y a exp{ exp{b cx}}
9次观察的数据为表4.13,试估计a,b,c的值,并 预报第101天牧草的重量。
data hw; input x y; cards; 9 8.93 14 10.8 21 18.59 28 22.33 42 39.35 57 56.11 63 61.73 70 64.62 79 67.08 ; proc nlp data=hw tech=nmsimp; min u; parms a=70,b=1.48884,c=0.05601; u=abs(y-a*exp(-exp(b-c*x))); run;