似然比检验

Generated by Foxit PDF Creator ? Foxit Software https://www.360docs.net/doc/8f8696207.html, For evaluation only.
似然比检验、wald 检验、拉格朗日乘数检验都基于 MLE，就大样本而言三者是渐 进等价的。 1、似然比检验的思想是：如果参数约束是有效的，那么加上这样的约束不应该 引起似然函数最大值的大幅度降低。 也就是说似然比检验的实质是在比较有约束条件下的似然函数最大值与无约束 条件下似然函数最大值。 似然比定义为有约束条件下的似然函数最大值与无约束 条件下似然函数最大值之比。 以似然比为基础可以构造一个服从卡方分布统计量 （具体形式参见 Greene）。 2、wald 检验的思想是：如果约束是有效的，那么在没有约束情况下估计出来的 估计量应该渐进地满足约束条件，因为 MLE 是一致的。 以无约束估计量为基础可以构造一个 Wald 统计量（具体形式参见 Greene），这 个统计量也服从卡方分布； 3、拉格朗日乘数检验的思想是：在约束条件下，可以用拉格朗日方法构造目标 函数。 如果约束有效， 则最大化拉格朗日函数所得估计量应位于最大化无约束所 得参数估计值附近。 这里也是构造一个 LM 统计量 （具体形式参见 Greene） 该统计量服从卡方分布。 ，
对于似然比检验，既需要估计有约束的模型，也需要估计无约束的模型；对于 Wald 检验，只需要估计无约束模型；对于 LM 检验，只需要估计有约束的模型。 一般情况下，由于估计有约束模型相对更复杂，所有 Wald 检验最为常用。对于 小样本而言，似然比检验的渐进性最好，LM 检验也较好，Wald 检验有时会拒绝 原假设，其小样本性质不尽如人意。
似然比 似然比(likelihood ratio, LR) 是反映真实性的一种指标，属于同时反映灵敏 度和特异度的复合指标。即有病者中得出某一筛检试验结果的概率与无病者得 出这一概率的比值。
该指标全面反映筛检试验的诊断价值， 且非常稳定。 似然比的计算只涉及到灵敏度与特 异度，不受患病率的影响。 因 检 验 结 果 有 阳 性 与 阴 性 之 分 ， 似 然 比 可 相 应 地 区 分 为 阳 性 似 然 比 (positive likelihood ratio, ＋LR)和阴性似然比(negative likelihood ratio, －LR)。 阳性似然比是筛检结果的真阳性率与假阳性率之比。 说明筛检试验正确判断阳性的可能 性是错误判断阳性可能性的倍数。比值越大，试验结果阳性时为真阳性的概率越大。 阴性似然比是筛检结果的假阴性率与真阴性率之比。 表示错误判断阴性的可能性是正确 判断阴性可能性的倍数。其比值越小，试验结果阴性时为真阴性的可能性越大。

Generated by Foxit PDF Creator ? Foxit Software https://www.360docs.net/doc/8f8696207.html, For evaluation only.
似然比检验（LRT）用来评估两个模型中那个模型更适合当前数据分析。具体来 说， 一个相对复杂的模型与一个简单模型比较，来检验它是不是能够显著地适合 一个特定的数据集。 如果可以， 那么这个复杂模型的附加参数能够用在以后的数 据分析中。LRT 应用的一个前提条件是这些待比较的模型应该是分级的巢式模 型。具体来讲，是说相对于简单模型，复杂模型仅仅是多了一个或者多个附加参 数。增加模型参数必定会导致高似然值成绩。因此根据似然值的高低来判断模型 的适合度是不准确的。LRT 提供了一个客观的标准来选择合适的模型。LRT 检验 的公式: LR = 2*(lnL1-lnL2)其中 L1 为复杂模型最大似然值，L2 为简单标准模型最大似 然值 LR 近似的符合卡方分布。为了检验两个模型似然值的差异是否显著，我们 必须要考虑自由度。LRT 检验中，自由度等于在复杂模型中增加的模型参数的数 目。这样根据卡方分布临界值表，我们就可以判断模型差异是否显著。更多的参 考资料：The LRT is explained in more detail by Felsenstein (1981), Huelsenbeck
and Crandall (1997), Huelsenbeck and Rannala (1997), and Swofford et al. (1996). While the focus of this page is using the LRT to compare two competing models, under some circumstances one can compare two competing trees estimated using the same likelihood model. There are many additional considerations (e.g., see Kishino and Hasegawa 1989, Shimodaira and Hasegawa 1999, and Swofford et al. 1996).
似然函数 定义
设总体 X 服从分布 P(x；θ)（当 X 是连续型随机变量时为概率密度，当 X 为离散型随 机变量时为概率分布） ，θ为待估参数，X1,X2,…Xn 是来自于总体 X 的样本，x1,x2…xn 为 样本 X1,X2,…Xn 的一个观察值， 则样本的联合分布 （当 X 是连续型随机变量时为概率密度， 当 X 为离散型随机变量时为概率分布） L（θ）=L（x1,x2,…,xn；θ）=ΠP（xi；θ）称为似然函数.
参数名
一般的， 出现在说明中一个已命名的系数向量中的每一个元素都将被视为待估参数。 由 于说明中的已命名的系数向量的所有元素都将被视为待估参数， 所以必须确定所有的系数确 实能影响一个或多个似然贡献的值。 如果一个参数对似然没有影响， 那么在进行参数估计时， 将遇到一个奇异错误。 而除了系数元素外所有的对象在估计过程中都将被视为固定的， 不可 改变的。
估计的顺序

Generated by Foxit PDF Creator ? Foxit Software https://www.360docs.net/doc/8f8696207.html, For evaluation only.
logL 说明包含了一个或多个能够产生包含似然贡献的序列的赋值语句。在执行这些赋 值语句的时候，EViews 总是从顶部到底部执行，所以后面计算要用到的表达式应放在前面。 EViews 对整个样本重复的计算每个表达式。EViews 将对模型进行重复计算时采用方程 顺序和样本观测值顺序两种不同方式， 这样你就必须指定采用那种方式， 即观测值和方程执 行的顺序。 默认情形下，EViews 用观测值顺序来计算模型，此种方式是先用第一个观测值来计算 所有的赋值语句，接下来是用第二个观测值来计算所有的赋值语句，如此往复，直到估计样 本中所有观测值都使用过。 这是用观测值顺序来计算递归模型的正确顺序， 递归模型中每一 个观测值的似然贡献依赖于前面的观测值， 例如 AR 模型或 ARCH 模型。 可以改变计算的顺序， 这样 EViews 就可以用方程顺序来计算模型，先用所有的观测值来计算第一个赋值语句，然 后用所有的观测值计算第二个赋值语句， 如此往复， 对说明中每一个赋值语句都用同样方式 进行计算。 这是用中间序列的总量统计作为后面计算的输入的模型的正确顺序。 也可以通过 在说明中加入一条语句来声明你所选择的计算方法。 要用方程顺序来计算， 仅加一行关键字 “@byeqn” 。要用样本顺序来计算，你可以用关键字“@byobs” 。如果没有给出关键字，那么 系统默认为“@byobs” 。无论如何，如果在说明中有递归结构，或要求基于中间结果总量统 计的计算的条件下，如果想得到正确的结果，就必须选择适当的计算顺序。
在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数 中的似然性。 似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息 之中的应用等等。“似然性”与“或然性”或“概率”意思相近，都是指某种事 件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”又有明 确的区分。 概率用于在已知一些参数的情况下， 预测接下来的观测所得到的结果， 而似然性则是用于在已知某些观测所得到的结果时， 对有关事物的性质的参数进 行估计。 在这种意义上，似然函数可以理解为条件概率的逆反。在已知某个参数 B 时，事 件 A 会发生的概率写作 。
利用贝叶斯定理，
因此，我们可以反过来构造表示似然性的方法：已知有事件 A 发生，运

Generated by Foxit PDF Creator ? Foxit Software https://www.360docs.net/doc/8f8696207.html, For evaluation only.
用似然函数
，我们估计参数 B 的可能性。形式上，似然函数
也是一种条件概率函数，但我们关注的变量改变了：
注意到这里并不要求似然函数满足归一性： 。一个似然函数乘以一个正的常数之后 仍然是似然函数。对所有 α > 0，都可以有似然函数：
例子
考虑投掷一枚硬币的实验。通常来说，已知投出的硬币正面朝上和反面朝上的概率各自是 pH = 0.5，便可以知道投掷若干次后出现各种结果的可能性。比如说，投两次都是正面朝上 的概率是 0.25。用条件概率表示，就是：
两次投掷都正面朝上时的似然函数
其中 H 表示正面朝上。 在统计学中， 我们关心的是在已知一系列投掷的结果时，关于硬币投掷时正 面朝上的可能性的信息。 我们可以建立一个统计模型：假设硬币投出时会有 pH 的概率正面朝上，而有 1 ? pH 的概率反面朝上。这时，条件概率可以改 写成似然函数：

Generated by Foxit PDF Creator ? Foxit Software https://www.360docs.net/doc/8f8696207.html, For evaluation only.
也就是说，对于取定的似然函数，在观测到两次投掷都是正面朝上时， pH = 0.5 的似然性是 0.25（这并不表示当观测到两次正面朝上时 pH = 0.5 的概率是 0.25）。 如果考虑 pH = 0.6，那么似然函数的值也会改变。
三次投掷中头两次正面朝上，第三次反面朝上时的似然函数
注意到似然函数的值变大了。 这说明， 如果参数 pH 的取值变成 0.6 的话， 结果观测到连续两次正面朝上的概率要比假设 pH = 0.5 时更 大。也就是说，参数 pH 取成 0.6 要比取成 0.5 更有说服力，更 为“合理”。总之，似然函数的重要性不是它的具体取值，而是当 参数变化时函数到底变小还是变大。对同一个似然函数，如果存在 一个参数值， 使得它的函数值达到最大的话，那么这个值就是最为 “合理”的参数值。 在这个例子中，似然函数实际上等于：
，其中 。
如果取 pH = 1，那么似然函数达到最大值 1。也就是说，当连 续观测到两次正面朝上时， 假设硬币投掷时正面朝上的概率为 1 是最合理的。 类似地，如果观测到的是三次投掷硬币，头两次正面朝上，第 三次反面朝上，那么似然函数将会是：
，其中 T 表示 反面朝上， 。

Generated by Foxit PDF Creator ? Foxit Software https://www.360docs.net/doc/8f8696207.html, For evaluation only.
这时候，似然函数的最大值将会在
的时候取到。
也就是说， 当观测到三次投掷中前两次正面朝上而后一次 反面朝上时， 估计硬币投掷时正面朝上的概率 最合理的。 应用 最大似然估计
主条目：最大似然估计
是
最大似然估计是似然函数最初也是最自然的应用。上文已经提到，似然函数 取得最大值表示相应的参数能够使得统计模型最为合理。 从这样一个想法出 发，最大似然估计的做法是：首先选取似然函数（一般是概率密度函数或概 率质量函数），整理之后求最大值。实际应用中一般会取似然函数的对数作 为求最大值的函数，这样求出的最大值和直接求最大值得到的结果是相同 的。似然函数的最大值不一定唯一，也不一定存在。与矩法估计比较，最大 似然估计的精确度较高，信息损失较少，但计算量较大。