广义线性模型
1．概述
广义线性模型是传统的线性模型的延伸，它是总体均值通过一个非线性连接函数依赖于线性预测值，有许多广泛应用的统计模型都属于广义线性模型，其中包括正态误差的经典性模型，二元数据的对数和概率单位模型以及多项数据的对数线性模型，还有其它许多有用的统计模型，如果选择合适的连接函数和响应概率分布，也可以表示为广义线性模型。
2．线性模型
线性模型也称经典线性模型或一般线性模型，其模型的形式为：
其中， 是因变量的第i次观测， 是自变量，它是一个列向量，表示第i次观测数据。未知系数向量 可机变量。
模型的几个基本假设：
因变量是连续随机变量
自变量相互独立
每一个数值型自变量与因变量呈线性关系
连接函数：
参数估计
一般线性模型：参数估计采用极大似然法和最小二乘法
广义线性模型：参数估计采用极大似然法和加权最小二乘
4.因变量常见分布及其常用的连接函数
广义线性模型建立
通过对数据选定因变量和自变量，以及选择合适的连接函数和响应概率分布，既可以建立一个广义线性模型。例如：
一般线性模型
因变量：连续变量
分布：正态分布
连接函数：
Logistic回归模型
因变量：（0，1）
分布：二项分布
连接函数：
Poisson回归模型
因变量：计数和个数
分布：Poisson分布
一般线性模型中，自变量的线性预测值 就是因变量的估计值 ，而广义线性模型中，自变量的线性预测值 是因变量的函数估计值 。
广义线性模型包括一下组成部分：
线性部分正好是一般线性模型所定义的：
连接函数( link function)：
连接函数为一单调可微（连续且充分光滑）的函数。连接函数起了关联“Y的估计值 ”与“自变量的线性预测值 ”的作用。在经典的线性模型中，“Y的估计值”与“自变量的线性预测”是一回事。
每一个数值型自变量与随机误差相互独立
观察个体的随机误差之间相互独立
随机误差 。
然而，实践中常不满足此假设
3．广义线性模型
广义线性模型，是为了克服一般线性模型的缺点出现的，是一般线性模型的推广。
广义线性模型在两个方面对一般线性模型进行了推广：
一般线性模型中要求因变量是连续的且服从正态分布，在广义线性模型中，因变量的分布可扩展到非连续的资料，如二项分布、Poisson分布、负二项分布等。
广义估计方程
总结
其特点归纳如下： 1)建模稳健。即使作业相关矩阵指定不正确
，只要联接函数正确，仍然可以得到稳定的参 数估计值。
2)充分利用资料信息。对多次重复测量的纵 向数据，广义估计方程利用了每次测量的结果 ，较少损失资料的信息。
总结3)应变量不是连续性变量时，考察应变量之间
联合分布和协方差矩阵非常困难，常规的统计模 型难以处理这个问题。利用广义估计方程不仅解 决了这类资料的建模问题，还可得到相关矩阵以 衡量重复测量之间相关性的大小，是一种较好的 分析策略。
一般线性模型
方差分析
一般线性模型
应用： 用于研究某个指标(应变量，记为Yi)与一
组指标(Xi1， Xi2，… ，Xij)之间的线性关系 。 表达式：
yi=β0+ β1Xi1+ β2Xi2+ … βjXij+ei
一般线性模型
一般线性模型对于残差分布的三个重要假设： (1)独立 (2)符合正态分布，且均数为0 (3)方差齐性，即ei的方差相等
纵向数据
传统的统计方法一般都要求应变量是独立 的，因而，由于应变量之间的相关，纵向数据 不能用传统的方法来分析。因为如果忽略重复 测量间的相关性，将损失数据中的信息，参数 估计可能不准确。因此，Liang和Zeger等创立 了广义估计方程(generalized estimating equations) 。
4)模型可以引入多种形式的自变量，考察分类 、等级、连续的或其他形式的自变量对应变量影 响的大小。
应用举例
表2 某药物抗癫痫的随机对照临床试验对照组每2周的发作次数
ID Base Visit4
Visit1
Visit2 Visit3
1
11
广义线性模型
2 1/ 2 2
1
3 2
伽玛分布
1
ln
1
1
2
二项分布 ln p
ln1 e 1
1 p
Poisson 分布 ln
e
1
p
e 1 e
e
p1 p
负二项分布 ln
e
k
e
k2
何为“广义线性模型”？(续)
一个广义线性模型包括以下三个组成部分： （1）线性成分(linear component ) ：
SAS软件中的PROC GENMOD：
The GENMOD Procedure
The GENMOD procedure fits generalized linear models. The class of generalized linear models is an extension of traditional linear models that allows the mean of a population to depend on a linear predictor through a nonlinear link function and allows the response probability distribution to be any member of an exponential family of distributions. Many widely used statistical models are generalized linear models. These include classical linear models with normal errors, logistic and probit models for binary data, and log-linear models for multinomial data. Many other useful statistical models can be formulated as generalized linear models by the selection of an appropriate link function and response probability distribution.
广义线性模型适用条件
广义线性模型适用条件
广义线性模型（Generalized Linear Model，GLM）是指在概率论中，依据最大似然估计，利用归一极大方法拟合的参数的组合的一种模型。
与其他模型相比，GLM可以将非常灵活的模型结构作为输入，并适用于离散变量和分类变量，是为拟合复杂响应函数而设计的机器学习算法。
一般来说，广义线性模型的适用条件如下：
1、输入变量必须是连续变量，且变量之间服从正态分布；
2、预测值符合相应概率分布，例如对于离散变量，其预测值可用二项分布；对于分类变量，其预测值可用多项分布；
3、样本的大小足够多，以提供充足的最优参数；
4、参数估计与训练样本相关性不能太高；
5、变量之间不能存在共线性，即输入变量中的一个变量不能由其他变量线性组合得到；
6、没有异常值和缺失值，异常值和缺失值会对数据分布造成影响，从
而影响模型拟合。
总之，为了使GLM适用，要求至少有以上六个条件必须符合。
如果能够保证上述条件，则广义线性模型可以用来预测复杂数据，并获得准确高效的结果。
统计学中的广义线性模型解析
统计学中的广义线性模型解析统计学是一门研究数据收集、分析和解释的学科，而广义线性模型（Generalized Linear Model，简称GLM）则是统计学中一种重要的分析方法。
GLM不仅可以用于描述和预测数据，还可以帮助我们理解变量之间的关系和影响。
一、GLM的基本概念广义线性模型是由统计学家Nelder和Wedderburn于1972年提出的，它是线性回归模型的扩展。
在传统的线性回归模型中，我们假设因变量Y与自变量X之间存在线性关系，即Y = β0 + β1X + ε，其中β0和β1是待估计的系数，ε是误差项。
而GLM则允许因变量和自变量之间的关系不是线性的，可以是非线性的、离散的、非正态的等。
二、GLM的三个重要组成部分GLM由三个重要的组成部分构成：随机分布、系统性成分和连接函数。
随机分布用于描述因变量的分布特征，系统性成分用于描述自变量和因变量之间的关系，连接函数则用于将系统性成分与随机分布联系起来。
1. 随机分布在GLM中，我们常常假设因变量Y服从指数分布家族中的某个分布，如正态分布、泊松分布、二项分布等。
通过选择合适的分布，我们可以更好地描述和解释数据。
2. 系统性成分系统性成分是GLM中的关键部分，它用于描述自变量和因变量之间的关系。
通常，我们将系统性成分表示为线性组合的形式，即η = β0 + β1X1 + β2X2 + ... +βpXp，其中η是系统性成分，β0、β1、β2等是待估计的系数，X1、X2等是自变量。
3. 连接函数连接函数是将系统性成分和随机分布联系起来的桥梁。
它的作用是将系统性成分的线性组合映射到随机分布的参数空间中，使得我们可以通过系统性成分来预测和解释因变量的分布特征。
常见的连接函数有恒等函数、对数函数、逆正态函数等。
三、GLM的应用领域广义线性模型在统计学中有着广泛的应用领域。
以下是几个常见的应用示例：1. 生物医学研究在生物医学研究中，研究人员常常需要分析和解释疾病发生的风险因素。
广义线性模型的分析及应用
广义线性模型的分析及应用一、引言广义线性模型（Generalized Linear Model, GLM）提供了一种在保持简单性的前提下，对非正态响应变量建立连续性预测模型的方法，适用于许多实际应用问题中。
本文旨在介绍广义线性模型的基本概念、模型构建方法、推断等内容，并通过实际案例的分析加深对GLM的理解与应用。
二、基本概念GLM是统计学中一种具有广泛适用性的模型框架，它的基本思想是将未知的响应变量与已知的协变量之间的关系描述为一个线性预测器和一个非线性函数的组合，即：g(E(Y)) = β_0 + β_1X_1 + ⋯+ β_pX_p其中，g(·)称为联接函数（Link Function），它定义了响应变量的均值与预测变量之间的关系，E(Y)为响应变量的期望，X_1,X_2,…,X_p为解释变量（predictor）或协变量（covariate），β_0, β_1, …, β_p是模型的系数或参数。
GLM假定响应变量Y服从指数分布族中的某一个分布，如正态分布、二项分布、泊松分布等。
三、模型构建方法1. 选择联接函数和分布族：不同的响应变量应选用不同的分布族。
例如，连续性响应变量可选用正态分布，二元响应变量可选用二项分布，而计数型响应变量可选用泊松分布等。
2. 选择解释变量：可使用变量选择算法，如前向选择法、向后选择法、逐步回归等，在给定样本内拟合出最佳模型。
3. 选择估计方法：由于某些非正态分布族无法使用最小二乘法拟合，可以使用极大似然估计法或广义估计方程法。
对于大样本，一般使用广义线性混合模型等。
4. 模型比较与选择：模型拟合后，需要进行模型检验和模型诊断，主要包括残差分析、Q-Q图检验、$R^2$值、F检验、AIC/BIC值等指标的分析。
四、模型应用GLM的应用非常广泛，特别是在医学、生态、社会科学、金融等领域。
下面以某市2019年全年医疗保险数据为例，运用GLM模型进行分析。
1. 数据描述健康保险数据包含了每个缴费人的性别、年龄、缴费金额、报销金额等信息。
关于广义线性模型和一般线性模型的数学理论和应用
关于广义线性模型和一般线性模型的数学理论和应用线性模型是统计学领域非常重要的一类模型，其中包括广义线性模型（Generalized Linear Models，简称GLM）和一般线性模型（General Linear Models，简称GLM）。
GLM和GLM有着紧密的联系，但也各自有着特点和应用。
本文将探讨GLM和GLM的数学理论和应用。
一、广义线性模型广义线性模型是由Mcullagh和Nelder于1982年提出的，它是线性模型的扩展，可以适应更为复杂的数据结构和变异模式。
与传统的线性模型相比，GLM的形式更为灵活，不仅能够模拟标量数据，还能够模拟其他类型的数据，比如二元数据、计数数据、序数数据等。
GLM的最大特点是可以将因变量的均值与自变量联系起来，并将自变量的参数与因变量的概率分布函数联系起来。
具体地说，GLM的一般形式为：$$ g(E(Y_i))=\beta_0+\beta_1x_{1i}+\dots+\beta_px_{pi} $$其中，$Y_i$表示因变量，$x_i$是自变量，$g$是一个连续函数，称为连接函数（link function），一般为对数函数、逆正弦函数、逆双曲正切函数等。
$\beta_0,\beta_1,\dots,\beta_p$是待求参数。
通常情况下，GLM的因变量$Y$的概率分布函数是指数分布族，具体包括正态分布、二项分布、泊松分布、伽马分布等。
GLM的优点是可以拟合非正态分布的数据，并且能够建立出统一的推导框架。
在实际应用中，GLM广泛用于医疗、金融、风险分析等领域。
二、一般线性模型一般线性模型是经典的线性模型，也是广义线性模型的一种特殊情况。
一般线性模型将因变量$Y$视为自变量的一个线性组合，即：$$ Y=X\beta+\epsilon $$其中，$X$是一个$n\times(p+1)$的矩阵，第一列全为1，$\beta$是$p+1$个待求参数，$\epsilon$是一个$n$维的随机误差向量，假设$\epsilon$服从正态分布$N(0,\sigma^2I)$。
广义线性模型（GLM,GeneralizedLinearModel）
⼴义线性模型（GLM,GeneralizedLinearModel）
引⾔：通过⾼斯模型得到最⼩⼆乘法(线性回归)，即：
通过伯努利模型得到逻辑回归，即：
这些模型都可以通过⼴义线性模型得到。
⼴义线性模型是把⾃变量的线性预测函数当作因变量的估计值。
在机器学习中，有很多模型都是基于⼴义线性模型的，⽐如传统的线性回归模型，最⼤熵模型，Logistic回归，softmax回归，等等。
今天主要来学习如何来针对某类型的分布建⽴相应的⼴义线性模型。
1. ⼴义线性模型
⼴义线性模型：⼴义线性模型是基于指数分布族(Exponential Family)，⽽指数分布族的原型如下：
其中，η是⾃然参数(Natural Parameter)，T(y)为充分统计量(Sufficient Statistic)，通常T(y)=y。
实际上，许多分布(如，⾼斯分布、指数分布、泊松分布、伽马分布灯)都属于指数分布族。
所以，线性回归、逻辑回归等都是⼴义线性模型的特例，实际上，性分布中，y服从⾼斯分布那么⼴义线性模型为线性回归，y服从伯努利分布为逻辑回归。
在使⽤⼴义线性模型构建其他模型之前，⾸先有三个假设：
(1) y|x; θ~ExpFamily；
(2) 给定x，⽬标是输出期望E[T(y)|x]，得到h(x)= E[T(y)|x]；
(3) η与x的关系是线性的，即：
1. 常见概率模型由⼴义线性模型的推导
(1) ⾼斯模型
⾼斯分布可以表⽰为：
⾼斯模型的⾃然参数与均值成线性分布，所以
(2) 伯努利模型
伯努利模型可以表⽰为：
其中，b(y)=1。
从⽽得到逻辑回归模型。
带⼊a(η)可以得到：。
广义线性模型的推广及应用
广义线性模型的推广及应用广义线性模型（Generalized Linear Model，简称GLM）是统计学中一种重要的模型，它将线性模型推广到了更广泛的情况下，可以处理非正态分布的响应变量。
在实际应用中，广义线性模型被广泛应用于各个领域，如医学、金融、市场营销等。
本文将介绍广义线性模型的推广及其在实际应用中的具体案例。
## 一、广义线性模型的基本概念广义线性模型是由Nelder和Wedderburn于1972年提出的，它是线性模型的一种推广形式。
在传统的线性模型中，假设因变量服从正态分布，而在广义线性模型中，因变量的分布可以是指数分布族中的任意一种分布，如正态分布、泊松分布、二项分布等。
广义线性模型的基本形式如下：$$g(E(Y)) = \beta_0 + \beta_1X_1 + \beta_2X_2 + ... +\beta_pX_p$$其中，$g()$是连接函数（link function），用于将因变量的均值与自变量的线性组合联系起来；$E(Y)$表示因变量的期望；$\beta_0, \beta_1, \beta_2, ..., \beta_p$是模型的系数；$X_1, X_2, ..., X_p$是自变量。
## 二、广义线性模型的推广### 1. 权重广义线性模型（Weighted GLM）在一些实际应用中，观测数据的方差可能不相等，此时可以使用权重广义线性模型来处理这种情况。
权重广义线性模型通过赋予不同观测数据不同的权重，来更好地拟合数据。
在权重广义线性模型中，模型的似然函数被修改为考虑到每个观测数据的权重，从而得到更准确的参数估计。
### 2. 分层广义线性模型（Hierarchical GLM）分层广义线性模型是将广义线性模型与分层模型相结合的一种形式。
在分层广义线性模型中，模型考虑了数据的层次结构，将数据分为不同的层次，并在每个层次上建立广义线性模型。
这种模型适用于具有多层次结构的数据，能够更好地捕捉数据之间的相关性。
广义线性模型及其在统计学中的应用
广义线性模型及其在统计学中的应用广义线性模型是统计学中一个重要的模型，可以用来建立响应变量与解释变量之间的关系，它是线性模型的一种推广形式。
该模型的应用范围十分广泛，可以用于分类、回归、时间序列分析等多个领域。
一、广义线性模型的定义广义线性模型是基于分布族以及链接函数的概率论模型，可以用来描述解释变量对响应变量的影响。
该模型通过将响应变量转化为一组线性预测器的和，并通过一个链接函数将这个和映射到一个合适的响应变量上，从而建立响应变量与解释变量之间的关系。
广义线性模型中假设响应变量的分布属于指数分布族，该分布族仅包含正态分布、泊松分布、二项分布等概率分布。
二、广义线性模型的组成部分广义线性模型由三部分组成：随机部分、线性预测部分和链接函数。
1.随机部分：随机部分是广义线性模型中的响应变量Y的概率分布，可以假设Y服从指数分布族中的某款分布，如正态分布、泊松分布等等。
2.线性预测部分：线性预测部分是用来建立解释变量和响应变量之间的关系。
假设我们有p个解释变量，那么线性预测部分就可以表示为：η = β_0 + β1x1 + β2x2 + ...+ βpxp其中，η代表了Y的总体期望值的线性预测，βi是解释变量xi 的系数。
3.链接函数：链接函数用于将线性预测部分的计算结果映射到响应变量Y的值上，使得Y的值与线性预测部分保持一致。
由于不同的概率分布族需要采用不同的链接函数，因此广义线性模型的链接函数是根据分布族来确定的。
例如，对于二项分布，采用的是logit函数作为链接函数，而对于泊松分布，采用的是对数链接函数。
三、广义线性模型的应用广义线性模型在统计学中的应用十分广泛，这里简单介绍一下它在分类和回归中的应用。
1.分类在分类问题中，广义线性模型可以通过二项分布来描述响应变量Y的分布。
例如，在疾病诊断中，我们可以将疾病的结果分为两种情况：患病与未患病。
假设我们有一些特征来描述每个患者，如年龄、性别、体重等，我们可以使用广义线性模型来预测每个患者是否患病。
广义线性模型
广义线性模型广义线性模型*（Nelder和Wedderburn，1972）除了正态分布，也允许反应分布，以及模型结构中的一定程度的非线性。
GLM具有基本结构g(μi)=X iβ,其中μi≡E（Yi），g是光滑单调'链接函数'，Xi是模型矩阵的第i行，X和β是未知参数的向量。
此外，GLM通常会做出Yi是独立的和Yi服从一些指数族分布的假设。
指数族分布包括许多对实际建模有用的分布，如泊松分布，二项分布，伽马分布和正态分布。
GLM的综合参考文献是McCullagh和Nelder（1989），而Dobson（2001）提供了一个全面的介绍。
因为广义线性模型是以“线性预测器”Xβ的形式详细说明的，所以线性模型的许多一般想法和概念通过一些修改而继续存在到广义线性模型中。
除了必须选择的链接函数和分布之外，基本模型公式与线性模型公式基本相同。
当然，如果恒等函数被选择作为链接以及正态分布，那么普通线性模型将作为特例被恢复。
然而，泛化是以某种成本为代价的：现在的模型拟合必须要迭代完成，而且用于推理的分布结果是近似的，并且由大样本限制结果证明是正确的而不是精确的。
但在深入探讨这些问题之前，请考虑几个简单的例子。
μi=cexp(bt i),例1：在疾病流行的早期阶段，新病例的发生率通常会随着时间以指数方式增加。
因此，如果μi是第ti天的新病例的预期数量，则该形式的模型为请注意，“广义”和“一般”线性模型之间存在区别-后一个术语有时用于指除简单直线以外的所有线性模型。
可能是合适的，其中c和b是未知参数。
通过使用对数链路，这样的模型可以变成GLM形式log(μi)=log(c)+bt i=β0+t iβ1（根据β0=logc和β1=b的定义）。
请注意，模型的右侧现在在参数中是线性的。
反应变量是每天新病例的数量，因为这是一个计数，所以泊松分布可能是一个合理的可以尝试的分布。
因此，针对这种情况的GLM使用泊松反应分布，对数链路和线性预测器β0+tiβ1。