对数线性模型剖析

极大似然法与最小二乘法的区别于联系
最小二乘法所要解决的问题是：为了选出似的模型输出 与系统输出尽可能接近的参数估计，用误差平方和即离 差平方和的大小来表示接近程度。使离差平方和最小的 参数值即为估计值。简单来说，已知点，自己拟合模型 也即分布函数（概率密度函数的积分），进行预测。
极大似然估计所要解决的问题是：选择参数Ɵ，使已知 数据在某种意义下最可能出现。某种意义指的是似然函 数最大，此处似然函数就是概率密度函数。也就是经常 提到的“模型已知，参数未定”。
对数线性模型的统计检验
举例说明：

由图可知，自由度变为1，L2由0增大到10.284，显著性水平α为0.01（P）（拒绝原假设）， 说明简略模型和饱和模型存在十分显著的差异，即拟合程度受到很大影响。 显著=不能剔除该交互因素 在因素很多的复杂饱和模型中，通过此方法删减多个不显著效应项来形成简略模型。
上两式的数学变换使各种效应项相乘的关系被转换成相 加的关系，使各项效应独立化了。
常数效应；


A因素效应；
B因素效应；（主效应）
A、B两因素的交互效应；
主效应和多元交互列表涉及因素数量相等；
交互效应的总数则为所有因素各阶组合数之和。
对数线性模型有一个限制条件：
模型中每一项效应的各类参数之和等于0； 如果每项效应中只有一类的参数未知，那么可以由已知参数推 算出来。
ɯ1=π12/π11
ɯ2=π22/π21
同理我们可以测量两个两个类别间的比值，称作比数比。
Ɵ= ɯ1/ ɯ2=π22π21/π12π21=F11 F22/ F12 F21 一个大于1 的比数比意味着行变量和列变量的第二个（或者第一个） 存在正相关；等于1无关；小于1负相关。
比数比的不变性，不随1）总样本量2）行边缘分布3） 列边缘分布的变化而变化。所以，只要关心比数比的估 值，那么适用于简单随机样本的最大似然估计就可以被 直接应用到分层样本中了。
4、分布
泊松分布
多项分布
乘积-多项分布
所以我们不能直接应用最小二乘法对模型、总体、参数 进行估计，但幸运的是，三个抽样模型下的极大似然估 计是等同的。但是可以通过迭代再加权最小二乘法，可 是运算起来比较繁琐。
5、估计
参数估计通俗的来讲：根据抽样结果来合理地、科学的 猜测一下总体的参数大概是什么？或者是在什么范围？ 点估计就是用样本计算出来的一个参数来估计未知参数； 区间估计就是通过样本计算出来一个范围来对位置参数 进行估计。
对数线性模型的统计检验
案例
二阶以上 (简略模型)
一阶以上
一阶 二阶
对数线性模型的统计检验
分层检验提供了模型L2的分解。
第一种分层检验中，一阶及以上所有效应都从模型中删 除，就会使简略模型的L2增加到13.142，而第二种分层 检验告诉我们，这个L2的增量是一阶效应L2 2.858与二 阶效应L2 10.284之和。
2、列联表的四种类型
双向无序列联表；
单向有序列联表；
双向有序且属性不同的列联表；
双向有序且属性相同的列联表
3、列联表的优势
约束条件少
清晰
可以快速准确进行判断
4、列联表的劣势：对于多关系变量（两个 以上）研究：不能被清晰解读
失去了对多变量之间的交互联系的分析
进行两变量间关联分析时缺乏统计控制
对数线性模型的统计检验
分层效应检验的不足：
整体检验或分层检验的结果只能说明所有效应中或某一 组效应中至少有一项效应具有显著重要影响。但并不能 明确知道究竟是哪一项显著。 为了了解到底是哪些具体项目显著，还需要采用单项效 应的单独检验。
3、与逻辑变换有关的： 对数线性模型的出现
令R表示行，C表示列，fij表示第i行第j列的观测频次。 那么期望频次Fij被设定为一个乘积的函数
Fij=ƮƮRiƮCjƮRCij Ʈ代表概率里面的总概率值1，ƮR 和ƮC分别代表R和C的 边缘效应，ƮRC代表R与C的二维交互效应，而交互效应 实质上测量的就是R与C之间的比数比，当ƮRCij=1的时 候就是我们熟悉的独立模型。 相乘形式的不好计算，我们将其取对数
采用似然比卡方检验（likelihood-ratio chi-square test，标 为L2） 在样本量较大时， L2与皮尔逊卡方统计量的值十分接近。 L2优越性：
1、期望频数采用似然估计方法，因而更加稳健；
2、可以被分解成若干部分，即各项效应都有对应的似然卡 方值，并且它们的似然卡方值之和等于整个模型的似然卡方 比值。
对数线性模型的统计检验
真正有意义的是检验非饱和模型（简略模型，reduced model）
如果简略模型仍然可以比较准确的拟合观测数据（其拟 合程度与饱和模型无显著差异），说明剔除的效应对于 拟合意义不大。（科学的简约性原则） 研究目的：不是为了再现观测频数，而是通过在模型中 加入和减少交互效应项的试验，以寻求真正重要的因素。 从饱和模型开始逐步剔除不重要的交互效应项，在保证 拟合程度不受较大影响的前提下，直到形成效应项最少 的模型。（找到最关键因素）
对数线性模型的统计检验
公式：
其中
为估计交互频数。
原假设：检验模型的频数估计与观测频数无差异，也可 以理解为检验模型和饱和模型无差异。（无关假设）
对数线性模型的统计检验
饱和对数线性模型可以完美无缺的再现观测频数，因此 不需要对饱和模型进行整体性检验。
DF等于0，意味着所检验的模型与饱和模型之间的效应 项目没有差别。
密度函数和似然函数（带着参数的密度函数）是相同的， 但前者视参数是固定的且数据时变化的，后者视参数变 化的且数据时固定的。 （1） 写出似然函数；
（2） 对似然函数取对数，并整理；
（3） 求导数 ；
（4） 解似然方程
三、对数线性模型的假设检验
1、假设检验的作用
统计推论中包括参数估计与假设检验两部分，上面我们 已经介绍了参数估计，那估计的可信度有多少，还要经 过假设检验。不经过统计检验，研究者便不能肯定得到 的参数估计是不是仅仅源于抽样误差，因而不能肯定在 总体中是否存在相同情况。所有结论只能限于这个样本 之内，不能肯定再抽一个样本能否得到类似结果。
通过上组式子，我们可以计算出线性模型等式右侧的所有参数值。 A因素效应是行平均值与总平均值之差 B因素效应是列平均值与总平均值之差 交互效应计算结果表示在除去所有其他分布效应之后两个因素之间 的净关联。
常数项只受样本规模和交互单元数的影响；
主效应项反映的是各因素内部类别频数分布的特征，是 在总平均频数基础上的“补差”； 如果模型中所有交互效应都等于0，我们将会看到虽然 每行（列）频数不同，但行（列）频数分布比例却是相 同的，都等于原来分类变量的类别分布比例。
对数线性模型的统计检验
2、分层效应检验
当研究中涉及的因素较多时，不仅主效应项会增加，交 互效应项增加得更快。例如，四个因素的模型，主效应 4个，二阶交互效应6项，三阶交互效应4项，四阶交互 效应1项。如此，逐项检验筛选重要目标就太繁琐了。 且，在一般情况下，高阶交互效应不太容易显著。因此 采用按阶次集体检验交互效应项的方法十分间接有效。
对数线性回归
多元社会统计分析一、对数来自性模型简介 1、对数线性模型基本思想
对数线性模型分析是把列联表资料的网格频数的对数表 示为各变量及其交互效应的线性模型，然后运用类似方 差分析的基本思想，以及逻辑变换来检验各变量及其交 互效应的作用大小
方法 区别
作用
列联表
逻辑回归
对数线性模型
优缺点
分析定类变量和定类 分析尺度变量（也可 综合运用方差分析和 变量之间有无关系 引入类别变量）与二 逻辑回归中的建模方 分类别变量之间的因 法，应用于纯粹定类 果关系 变量之间，系统评价 各变量间关系和交互 作用大小的多元统计 方法 不需要确定因变量和 解决了对混杂变量的 可以直接分析各种类 自变量。但是，卡方 控制的问题，而且， 型的分类变量，对于 检验对三维和三维以 它能将因变量与自变 名义变量，也不需要 上列联表资料的分析 量的关系用模型表示 事先建立哑变量，可 有一定困难，即对混 出来，清晰易理解。 以直接分析变量的主 但是，当模型中 效应和交互效应。对 杂变量的控制较难 自变量较多，特别是 数线性模型不仅可以 名义变量较多，或名 解决卡方分析中常遇 义变量的类别较多时，到 的 高 维 列 联 表 的 分析自变量之间的交 “压缩”问题，又可 互效应就很繁杂，可 以解决 logistic 回归分 能需要建立很多哑变 析中多个自变量的交 量 互效应问题
二者的区别就是，后者需要知道概率密度函数。最小二 乘法要的是求出最优的那个参数，而极大似然要求出概 率最大（最可能出现的）参数。举个例子，生活中我们 一个着眼最合理是哪一个，一个着眼于最可能的是哪一 个（极大似然法）当总体服从正态分布时，二者是一样 的。
对于最小二乘法，当从模型总体随机抽取n组样本观测 值后，最合理的参数估计量应该使得模型能最好地拟合 样本数据；而对于最大似然法，当从模型总体随机抽取 n组样本观测值后，最合理的参数估计量应该是使得从 模型中抽取该n组样本观测值的概率最大。
对数线性模型的统计检验
分层效应检验有两种：
一、某一阶及更高阶所有交互效应项的集体检验，它的 检验是否显著表明这一阶及以上各阶中是否至少有一项 是重要的； 二、某一阶所有交互效应的集体检验，它的检验是否显 著表明这一阶所有交互效应中是否至少有一项是重要的。 前者检验比后者综合性更强。
对数线性模型的统计检验
整体检验的不足之处：
整体检验显著只能说明撤销的效应项中起码有一项是有 显著作用的，但不能确定是哪一项显著。所以，整体检 验在实际对数线性模型分析中，主要服务于整个检验模 型的检验情况，而确定各项效应时则是通过单项效应的 检验。