第6章 Logistic回归
最大熵模型的学习
• 最大熵模型的学习可以形式化为约束最优化问题。 • 对于给定的数据集以及特征函数：fi(x,y) • 最大熵模型的学习等价于约束最优化问题:
最大熵模型的学习
• 这里，将约束最优化的原始问题转换为无约束最优化的对偶问题, 通过求解对偶问题求解原始间题:
高。 • δ是一个向量，含多个变量，一次只优化一个变量δi • 引进一个量f#(x,y),
•
• fi(x,y)是二值函数， f#(x,y)表示所有特征在(x,y)出现的次数。
改进的迭代尺度法
• 利用指数函数的凸性，以及
• 根据Jensen不等式：
改进的迭代尺度法
• 于是得到
•
是对数似然函数改变量的一个新的下界
牛顿法
• 算法步骤：
求逆
拟牛顿法
• 考虑用一个n阶矩阵Gk=G(x(k))来近似代替
• 拟牛顿条件： • 由：
拟牛顿法
• 下如降果方Hk向是,正因定为的搜,索Hk方-1也向是正定的，那么可以保证牛顿法搜索方向Pk是
• 由B.8得：
• 由B.2得：
• 将Gk作为 的近似
，拟牛顿条件
拟牛顿法
• 在每次迭代中可以选择更新矩阵
•
是f(x)的梯度向量在x(k)的值
•
是f(x)的海塞矩阵 在点x(k)的值
牛顿法
• 函数f(x)有极值的必要条件是:在极值点处一阶导数为o,即梯度向量 为o.
• 特别是当H(x(k))是正定矩阵时，函数f(x)的极值为极小值.
• 利用条件：
• 设迭代从x(k)开始，求目标函数的极小点，
牛顿法
B.8
• 由：
• 得：
规范化因子：
模型
就是最大熵模型
求解对偶问题外部的极大化问题：
(6.22) (6.23)
例子：
• 原例子中的最大熵模型：
例子：
解得：
例子：
• 得：
• 对wi求偏导并令为0：
极大似然估计
• 最大熵模型就是(6.22),(6.23)表示的条件概率分布，
• 证明：对偶函数的极大化等价于最大熵模型的极大似然估计.
m,n = shape(dataMatrix)
alpha = 0.001
maxCycles = 500
weights = ones((n,1))
for k in range(maxCycles):
#heavy on matrix operations
h = sigmoid(dataMatrix*weights) #matrix mult
• 对B.30两次应用Sherman-Morrison公式,即得
• 称为BFGS算法关于Gk的迭代公式 • 由DFP算法得到的公式，和BFGS得到的公式线性组合：
最大熵模型学习方法
• 改进的迭代尺度法(improved iterative scaling,IIS) • 由最大熵模型
• 对数似然函数
• 求对数似然函数的极大值
• IIS思路：假设
希望找到一个新的参数向量
Байду номын сангаас
，使得模型的对数似然函数值增大，如果有参
数向量更新方法，那么就可以重复使用这一方法，直至找到对数似然函数
的最大值。
改进的迭代尺度法
利用
改进的迭代尺度法
• 于是有 • 如果能找到适当的δ使下界A(δ|w)提高，那么对数似然函数也会提
似然函数
• 那么对于上述m个观测事件，设
• 其联合概率密度函数，即似然函数为：
• 目标：求出使这一似然函数的值最大的参数估， w1,w2,…,wn，使得L(w)取得 最大值。
• 对L(w)取对数：
模型参数估计
• 对数似然函数
• 对L(w)求极大值，得到w的估计值。 • 通常采用梯度下降法及拟牛顿法，学到的模型：
梯度上升法实际实现：
• 要找到某函数的最大值，最好的方法是沿着该函数的梯度方向探 寻。
梯度上升法
• 函数f(x,y)的梯度：前提是函数f(x,y)必须在待计算的点上有定义并且可微。
• 若移动的步长记作a • 迭代停止条件：
• 迭代次数达到某个指定的值 • 算法达到某个可以允许的误差范围
梯度上升法
• 对δi 求偏导：
• 令偏导数为0，得到：
• 依次对δi 解方程。
改进的迭代尺度法
• 算法 • 输入：特征函数f1,f2…fn;经验分布 • 输出：最优参数wi*；最优模型Pw*
,模型
关键
改进的迭代尺度法
拟牛顿法
• 最大熵模型：
• 目标函数： • 梯度：
最大熵模型学习算法
最大熵模型学习算法
• 已知训练数据的经验概率分布 数似然函数表示为：
，条件概率分布P(Y|X)的对
极大似然估计
• 而：
极大似然估计
• 最大熵模型与逻辑斯谛回归模型有类似的形式，它们又称为对数 线性模型(log linear model). 模型学习就是在给定的训练数据条件 下对模型进行极大似然估计或正则化的极大似然估计。
新x的值，进行目标函数的极小化，直到收敛。由于负梯度方向 是使函数值下降最快的方向，在迭代的每一步，以负梯度方向更 新x的值，从而达到减少函数值的目的.
梯度下降法
• 假设f(x)具有一阶连续偏导数的函数： • 一阶泰勒展开： • f(x)在x(k)的梯度值：
• 负梯度方向：
无约束最优化问题
• 牛顿法（Newton method） • 拟牛顿法（quasi Newton method） • 有收敛速度快的优点.
error = (labelMat - h)
#vector subtraction
weights = weights + alpha * dataMatrix.transpose()* error #matrix mult
(μ,1/2)中心对称
• Sigmoid： • 双曲正切函数（tanh）
Sigmoid function:
def sigmoid(inX): return 1.0/(1+exp(-inX))
二项逻辑斯蒂回归
• Binomial logistic regression model
• 由条件概率P(Y|X)表示的分类模型 • 形式化为logistic distribution • X取实数，Y取值1,0
• Broyden类优化算法：
• DFP(Davidon-Fletcher-Powell)算法(DFP algorithm) • BFGS(Broyden-Fletcher-Goldfarb-Shanno)算法(BFGS algorithm) • Broyden类算法(Broyden's algorithm)
• 似然函数是统计模型中参数的函数。给定输出x时，关于参数θ的似 然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率： L(θ|x)=P(X=x|θ)
• 似然函数的重要性不是它的取值，而是当参数变化时概率密度函数 到底是变大还是变小。
• 极大似然函数：似然函数取得最大值表示相应的参数能够使得统计 模型最为合理
二项逻辑斯蒂回归
• 事件的几率odds：事件发生与事件不发生的概率之比为
• 称为事件的发生比(the odds of experiencing an event), • 对数几率：
• 对逻辑斯蒂回归：
似然函数
• logistic分类器是由一组权值系数组成的，最关键的问题就是如何获 取这组权值，通过极大似然函数估计获得，并且Y~f(x;w)
• 可赛以 矩考 阵H虑, 用这G时k逼，近相海应赛的矩拟阵牛的顿逆条矩件阵是H: -1，也可以考虑用Bk逼近海
• 用同样的方法得到另一迭代公式.首先令
• 考虑使Pk和Qk满足：
• Bk+1的迭代公式：
B.30
Broyden类算法(Broyden's algorithm)
• 我的们 迭可 代以 公从 式B. FGS算法矩阵Bk的迭代公式(B.30)得到BFGS算法关于Gk • 事实上，记
• 特征函数：
最大熵模型
• 特征函数f(x,y)关于经验分布
的期望值:
• 特征函数f(x,y)关于模型P(Y|X)与经验分布 的期望值:
• 如果模型能够获取训练数据中的信息，那么就可以假设这两个期望 值相等，即
• 假设有n个特征函数：
最大熵模型
• 定义： • 假设满足所有约束条件的模型集合为：
• 定义在条件概率分布P(Y|X)上的条件熵：
• 连续：多重线性回归 • 二项分布：logistic回归 • poisson分布：poisson回归 • 负二项分布：负二项回归
逻辑斯蒂分布
• Logistic distribution • 设X是连续随机变量，X服从Logistic distribution， • 分布函数：
• 密度函数：
• μ为位置参数，γ大于0为形状参数，
模型学习的最优化算法
• 逻辑斯谛回归模型、最大熵模型学习归结为以似然函数为目标函 数的最优化问题，通常通过迭代算法求解，它是光滑的凸函数， 因此多种最优化的方法都适用。
• 常用的方法有：
• 改进的迭代尺度法 • 梯度下降法 • 牛顿法 • 拟牛顿法
最优化方法
梯度下降法
• 梯度下降法(gradient descent) • 最速下降法(steepest descent) • 梯度下降法是一种迭代算法.选取适当的初值x(0)，不断迭代，更
多项logistic回归
• 设Y的取值集合为
• 多项logistic回归模型
(整理)第6章回归分析
第6章回归分析变量之间的联系可以分为两类，一类是确定性的，另一类是非确定性的。
确定型的关系是指某一个或某几个现象的变动必然会引起另一个现象确定的变动，他们之间的关系可以使用数学函数式确切地表达出来，即y=f(x)。
当知道x的数值时，就可以计算出确切的y值来。
如圆的周长与半径的关系：周长=2πr。
非确定关系则不然，例如，在发育阶段，随年龄的增长，人的身高会增加。
但不能根据年龄找到确定的身高，即不能得出11岁儿童身高一定就是1米40公分。
年龄与身高的关系不能用一般的函数关系来表达。
研究变量之间既存在又不确定的相互关系及其密切程度的分析称为相关分析。
如果把其中的一些因素作为自变量，而另一些随自变量的变化而变化的变量作为因变量，研究他们之间的非确定因果关系，这种分析就称为回归分析。
在本章，我们将讲解回归分析有关的内容，而在下一章，我们将讲解相关分析的具体操作方法。
在SppS 10.0 For windows中回归分析分为以下几种：（主要讲前三种）●Linear：线性回归分析（data09-03）●Curve Estimation：曲线回归分析（data13-01）●Binary Logistic：二维 Logistic回归分析（data13-02）●Multinomial Logistic：多维Logistic回归分析●Ordinal：Ordinal回归分析●Proibit：概率单位回归分析●Nonlinear：非线性回归分析●Weight Estimation: 加权估测分析●2-Stage Least Squares: 两阶最小二乘分析8.1线性回归（data09-03）一元线性回归方程（卫生统计114～121页）直线回归分析的任务就是根据若干个观测（Xi，yi）i=1～n找出描述两个变量X、y之间关系的直线回归方程y^=a+bx。
y^是变量y的估计值。
求直线回归方程y^=a+bx,实际上是用回归直线拟合散点图中的各观测点。
logistic回归方程的含义
logistic回归方程的含义
摘要：
一、Logistic回归简介
二、Logistic回归的应用场景
三、Logistic回归方程的含义
四、Logistic回归方程的实际应用
五、结论
正文：
一、Logistic回归简介
Logistic回归是一种概率型非线性回归模型，主要用于研究二分类观察结果与影响因素之间的关系。
它分为二项logistic回归（因变量为二分类）和多分类logistic回归（因变量为无序多分类）。
二、Logistic回归的应用场景
Logistic回归广泛应用于预测某一事件发生的概率，例如预测病人是否会痊愈，顾客是否会购买产品等。
通过分析影响因素与事件发生概率之间的关系，我们可以更好地了解目标群体，为决策提供依据。
三、Logistic回归方程的含义
Logistic回归方程是一种概率转换公式，将线性方程转换为概率形式。
公式如下：
P(Y=1) = 1 / (1 + exp(-β0 + β1X1 + β2X2 + ...+ βnXn))
其中，P(Y=1)表示事件发生的概率，β0、β1、β2、...、βn为回归系数，
X1、X2、...、Xn为影响因素。
四、Logistic回归方程的实际应用
在实际应用中，我们通常通过最大似然估计法或梯度下降法来求解logistic回归方程的参数。
一旦获得回归系数，我们可以根据实际情况对目标群体进行预测和分析。
五、结论
总之，Logistic回归方程是一种强大的工具，可以帮助我们分析影响因素与二分类事件之间的关系。
logistic回归
b'j 来计算标准化回归系数
,式中bj是我们通常所指的回
3 1.8138
归参数，即偏回归系数；Sj为第j自变量的标准差；S是
logistic随机变量分布函数的标准差，为 /
每个参数的以e为底的指数就是每个自变量对应的优势比（ odds
ratio，OR），即 ORj＝exp(bj)，ORj值的100（1-α）％可信区间为： exp[bj±1.96 SE（bj）] （16-7）
自变量 (x)
累计发病率P（%）
Logit值
2.3 2.6 2.8 2.9 3.0 3.08
0.1537 0.3829 0.6383 0.7779 0.8519 0.8519
-1.71 -0.48 0.57 1.25 1.75 1.75
Logit=Ln[p/(1-p)]
剂量与效应关系的“S”型曲线
线的形状与方向。随着X的增加，正β值对应的曲线呈上升趋势（见图
16-1），负β值对应的曲线是下降趋势。β＝0时，S形曲线变成水平直 线，表示π与自变量X无关；β的绝对值增加，曲线形状逐渐陡峭；β的 绝对值减少，曲线形状逐渐平坦。 当预报概率π为0.5时，由式（16-2）可得对应的X＝-β0/β，实例有X ＝-（-1.4351）/1.6582＝0.8655。此X值有时被称为中效水平 （median effective level，EL50），代表了二种结局出现的概率各为 50
logistic回归的模型公式
logistic回归的模型公式Logistic回归模型是一种经典的统计学习方法，用于解决二分类问题。
它通过建立一个逻辑回归方程，预测某个样本属于某一类别的概率。
本文将介绍Logistic回归模型的原理和应用，并探讨其优缺点。
一、Logistic回归模型的原理Logistic回归模型是建立在线性回归模型的基础上，通过引入一个非线性函数（称为Logistic函数或Sigmoid函数）将线性回归的输出结果转化为概率值。
Logistic函数的数学表达式为：f(x) = 1 / (1 + e^(-x))，其中e为自然对数的底。
该函数的特点是输出值在0和1之间，可以用来表示某个事件发生的概率。
在Logistic回归模型中，假设有n个自变量（特征）x1,x2,...,xn，对应的回归系数为β1,β2,...,βn。
模型的方程可以表示为：P(y=1|x) = f(β0 + β1x1 + β2x2 + ... + βnxn)，其中P(y=1|x)表示样本属于正例的概率。
为了估计回归系数，通常采用最大似然估计方法。
具体来说，我们希望通过最大化似然函数来找到最优的回归系数，使得模型对观测数据的拟合度最高。
然后，利用估计得到的回归系数，我们可以对新的样本进行预测，并给出其属于正例的概率。
二、Logistic回归模型的应用Logistic回归模型有广泛的应用领域，尤其在医学、金融、市场营销等领域中得到了广泛的应用。
在医学领域，Logistic回归模型常用于疾病风险预测和诊断模型的建立。
例如，可以利用患者的年龄、性别、血压等特征来预测患者患某种疾病的风险。
在金融领域，Logistic回归模型可以用于信用评分和违约预测。
银行可以根据客户的个人信息和历史信用记录，利用Logistic回归模型来评估客户的信用风险，并据此决定是否给予贷款。
在市场营销领域，Logistic回归模型可以用于客户分类和市场细分。
根据客户的购买行为、兴趣爱好等特征，可以预测客户对某种产品或服务的购买概率，进而制定相应的市场营销策略。
统计学中的Logistic回归分析
统计学中的Logistic回归分析Logistic回归是一种常用的统计学方法，用于建立并探索自变量与二分类因变量之间的关系。
它在医学、社会科学、市场营销等领域得到广泛应用，能够帮助研究者理解和预测特定事件发生的概率。
本文将介绍Logistic回归的基本原理、应用领域以及模型评估方法。
一、Logistic回归的基本原理Logistic回归是一种广义线性回归模型，通过对数据的处理，将线性回归模型的预测结果转化为概率值。
其基本原理在于将一个线性函数与一个非线性函数进行组合，以适应因变量概率为S形曲线的特性。
该非线性函数被称为logit函数，可以将概率转化为对数几率。
Logistic回归模型的表达式如下：\[P(Y=1|X) = \frac{1}{1+e^{-(\beta_0+\beta_1X_1+...+\beta_pX_p)}}\]其中，P(Y=1|X)表示在给定自变量X的条件下，因变量为1的概率。
而\(\beta_0\)、\(\beta_1\)、...\(\beta_p\)则是待估计的参数。
二、Logistic回归的应用领域1. 医学领域Logistic回归在医学领域中具有重要的应用。
例如，研究者可以使用Logistic回归分析，探索某种疾病与一系列潜在风险因素之间的关系。
通过对患病和非患病个体的数据进行回归分析，可以估计各个风险因素对疾病患病的影响程度，进而预测某个个体患病的概率。
2. 社会科学领域在社会科学研究中，研究者常常使用Logistic回归来探索特定变量对于某种行为、态度或事件发生的影响程度。
例如，研究者可能想要了解不同性别、教育程度、收入水平对于选民投票行为的影响。
通过Logistic回归分析，可以对不同自变量对于投票行为的作用进行量化，进而预测某个选民投票候选人的概率。
3. 市场营销领域在市场营销中，Logistic回归也被广泛应用于客户分类、市场细分以及产品销量预测等方面。
通过分析客户的个人特征、购买习惯和消费行为等因素，可以建立Logistic回归模型，预测不同客户购买某一产品的概率，以便制定个性化的市场营销策略。
logistic回归原理
logistic回归原理
Logistic回归是一种有效的、相对简单的数据分类技术，用于确定某个事件或观测值属于某类的概率。
它可以解释二元数据和多类数据，并且能够应用于各种场景，比如风险分析、金融建模、社会研究等等。
Logistic回归源自线性模型，它是一种称为逻辑斯蒂(logit)模型的回归模型，该模型基于概率理论。
Logistic回归模型是由概率对数函数构建而成的，即：
Y = log（P/(1-P)）
其中，P代表事件Y发生的概率。
Logistic归模型在数据分析中最主要的用途就是用于分类，它的原理是：假定输入的数据可以用一个线性函数来描述，并且拟合一条S型函数来获得概率，这个概率决定了每个样本点属于某一类的概率大小。
在使用Logistic回归之前，首先要处理好数据集，确保它具有足够的观测值，并且有合理的分类标签（例如“是”、“否”）。
接下来，要使用回归的模型，先把正确的观测值用正向的系数系数，将错误的观测值用负向的系数进行编码。
然后，确定正确的估计量结果，比如系数、拟合度指标和参数检验，以及误差分析。
最后，定义一个提升指标来评估结果，例如：准确率、召回率和精确率。
Logistic回归在机器学习中有各种应用，比如文本分类、情感分析和预测分析；在图像识别中，它可以用于目标检测、纹理识别和
边缘检测；在金融行业，它可以应用于信贷分析、欺诈检测和市场风险分析。
它也可以用于生物药物研究、病毒鉴别；在医学领域，它可以用于数据分析、诊断分析和临床预测等。
简而言之，Logistic回归是一种用于预测任意事件的概率发生的有效模型，可以用于多类数据的分类，在数据挖掘领域扮演着重要的角色，是结构化数据建模的常用工具。
logistic回归计算讲解
logistic回归计算讲解Logistic回归是一种广泛用于分类问题的机器学习算法。
它可以用于二分类问题，也可以通过一些修改用于多分类问题。
下面是Logistic回归的计算过程的简要讲解：1. 数据准备：首先，收集和准备用于训练和测试的数据集。
每个数据样本应该包括特征和对应的类别标签。
特征可以是连续值或离散值。
2. 特征缩放：如果特征具有不同的量纲或取值范围，可以对特征进行缩放，以便更好地使用Logistic回归算法。
常见的缩放方法包括标准化和归一化。
3. 参数初始化：初始化Logistic回归模型的参数，通常为权重（也称为系数）和偏置（也称为截距）。
4. 假设函数：定义Logistic回归的假设函数，它将特征值映射到预测的类别概率。
通常使用sigmoid函数作为Logistic回归的假设函数。
5. 成本函数：使用成本函数（也称为损失函数）来度量模型预测的错误程度。
对于Logistic回归，常用的成本函数是逻辑损失函数（Log Loss）或交叉熵损失函数。
6. 梯度下降：使用梯度下降算法或其他优化算法来最小化成本函数，从而找到最佳的模型参数。
梯度下降算法通过计算参数的梯度，沿着梯度的反方向更新参数，逐步调整参数值以降低成本。
7. 模型训练：使用训练数据集来训练Logistic回归模型。
通过迭代优化算法来更新参数，重复计算成本函数和梯度下降步骤，直到达到停止条件（如达到最大迭代次数或成本函数的变化很小）。
8. 模型预测：使用训练好的Logistic回归模型来进行预测。
将新的输入特征传递给假设函数，计算预测的类别概率。
通常，如果概率大于一个阈值，将样本预测为正类；否则，预测为负类。
常见的阈值是0.5。
以上是Logistic回归算法的主要计算步骤。
在实践中，还需要考虑特征选择、模型评估和调优等方面，以获得更好的分类性能。
logistic回归基本概念
逻辑回归是一种广泛使用的统计工具，其核心在于利用多维特征对结果进行建模。
它是机器学习中的一个重要组成部分，常被用于金融预测、市场营销以及健康保险理赔等。
与决策树等其他算法相比，逻辑回归具有更强的可解释性，能够清晰地揭示各个特征对结果的影响。
逻辑回归基于一组输入变量（也称为特征或自变量），通过训练数据集估计出一条或几条直线，以此为基础对新的样本进行分类或预测。
这种算法具有直观、简洁和可解释性强的优点，而且适合处理各种数据类型，无论是连续的还是离散的。
在逻辑回归中，因变量通常是二分类的，例如“是否购买某商品”或“是否患某种疾病”。
通过训练数据集，模型可以学习到各个特征与这个二分类因变量之间的关联。
这种关联被表示为权重，它们揭示了每个特征对结果的贡献程度。
通过这些权重，我们不仅能了解各个特征的重要性，还能根据新样本的特征预测其属于正类（通常记为1）或负类（通常记为0）的概率。
逻辑回归在许多领域都有广泛的应用。
例如，在金融领域，它被用来预测客户是否可能违约；在医疗领域，它被用来预测患者患某种疾病的风险；在市场营销领域，它被用来预测消费者是否可能购买某产品。
通过这些预测，企业和研究人员可以更好地理解客户、病人或消费者的行为和需求，从而制定更有效的策略。
总的来说，逻辑回归是一种强大而灵活的统计工具，具有广泛的应用前景。
它不仅能帮助我们更好地理解数据和预测结果，还能提供可解释性和透明度，使决策者能够基于坚实的证据做出决策。
无论是在
学术研究、商业决策还是日常生活中，逻辑回归都发挥着重要的作用。
第6章回归分析
2019/7/30
《统计学》第3章参数估计
6-13
表 6.3 初一男生身高、体重和肺活量偏相关系数表
Correlations
Control Variables
x 身高，cm y 肺活量，L
z 体重，kg x 身高，cm Correlation
1.000
.186
Significance (2-tailed)
《统计学》第3章参数估计
6-12
表 6.2 初一男生身高、体重和肺活量的相关系数表
Correlations
x 身高，cm z 体重，kg y 肺活量，L
x 身高，cm Pearson Correlation
1
.810**
.650**
Sig. (2-tailed)
.000
.006
z 体重，kg
N Pearson Correlation
y
ˆ1x
(6.12)
2019/7/30
《统计学》第3章参数估计
6-21
记回归残差 ei yi yˆi ，可以求得随机 误差项的方差的 LSE 为
n
ei2
ˆ 2 i1
n2
(6.15)
2019/7/30
《统计学》第3章参数估计
6-22
定理 6.1 在模型(6.8)下，最小二乘估计具有以下性质
nˆ0
nx ˆ1
ny
nx
ˆ0
n
xi2ˆ1
n
xi yi
i 1
i 1
(6.11)
方程组(6.11)称为正规方程组，解这个方程组容易求得
第6章逻辑斯蒂回归模型
–其中probit变换是将概率变换为标准正态分布的 z −值， 形式为：
Logistic回归模型
–双对数变换的形式为：
f ( p ) = ln(− ln(1 − p ))
• 以上变换中以logit变换应最为广泛。 • 假设响应变量Y是二分变量，令 p = P(Y = 1) ,影响Y 的因素有k个 x1 ,L xk ，则称：
β • 其中， 0 , β1 ,L , β k 是待估参数。根据上式可以得到 优势的值： p β + β x +L+ β x
1− p
=e
0
1 1
k k
• 可以看出，参数 βi是控制其它 x 时 xi 每增加一个 单位对优势产生的乘积效应。 • 概率p的值： e β + β x +L+ β x
p=
0 1 1 k k
含有名义数据的logit
• 前例中的协变量为定量数据，logistic回归模型的 协变量可以是定性名义数据。这就需要对名义数 据进行赋值。 • 通常某个名义数据有k个状态，则定义个变量 M 1 ,L , M k −1 代表前面的k-1状态，最后令k-1变量均 为0或-1来代表第k个状态。 • 如婚姻状况有四种状态：未婚、有配偶、丧偶和 离婚，则可以定义三个指示变量M1、M2、M3， 用(1,0,0)、 (0,1,0) 、(0,0,1) 、(0,0,0)或(-1,-1,-1) 来对以上四种状态赋值。
G 2 = −2 ∑ 观测值[ln(观测值/拟合值)]
• 卡方的df应等于观测的组数与模型参数的差，较小的统计量的 值和较大的P-值说明模型拟合不错。 • 当至多只有几个解释变量且这些解释变量为属性变量，并且所 有的单元频数不少于5时，以上统计量近似服从卡方分布。