哥色特和t分布

七、哥色特和t 分布①哥色特，其笔名Student 比他的真名更为人所知. 奈曼曾指出，许多统计学家在哥色特于1937年去世后，尚不知他就是Student, 因此我们也从众，在下文中用Student 来称呼他.哥色特1876年出生于坎特伯雷. 他曾在温彻斯特大学和牛津大学就读. 1899年作为一名酿酒师进入爱尔兰的都柏林一家啤酒厂工作，在那里他涉及到有关酿造过程的数据处理问题.1906到1907年他有1年的时间去皮尔逊那里学习和研究统计学. 他着重关心的是由人为试验下所得的少量数据的统计分析问题，在当时这是一个全新的课题，因为如前面曾指出的，当时统计学中占主导地位的卡尔·皮尔逊学派强调的是由自然观察得来的大量数据的统计处理.这一研究的成果，就是前面曾多次讲到过的那篇使他名垂统计史册的论文《均值的或然误差》（以下简称《均》），发表于1908年的《生物计量》杂志上. 如现在所周知的，他在文中提出了如下的结果：设x 1，…，x n 是抽自正态分布N (a ,σ2)的随机样本，a 和σ都未知. 记1nii x x ==∑，()()12211ni i x x s n =⎛⎞−⎜⎟⎜⎟=−⎜⎟⎜⎟⎝⎠∑.则()x a s −服从自由度n −1的t 分布t n −1①.《均》文一开始有一段很长的导言，说明他考虑这个问题的动因，大略是：总所周知，当样本量很大时，基于正态（即认xs 为正态分布⎯本书作者注）的方法是可信的，但没有人很清楚地告诉过我们：样本量的“大”和“小”的界限在哪里，而本文的目的是定出这样的一个界限. 正文的主要内容有：推导出xs 的分布；()235n +−)（应为(635n +−. 又：t n −1我们要记住Student 讨论的xs与t n −1的差别）；计算了一个小型的（xs 的）分布表如下所示，最后给了几个实用例子：①早期统计文献习惯用“Student 分布”这个称呼. 用t 表示Student 的统计量，大概始于1924年费歇尔的文章①在Student的原文中，他设a＝0（这无关宏旨）. 他的s的定义中，分母是n而非n－1. 又他考虑xs的分布而非的分布. 由于这些差异，他讨论的变量xs是t变量tn－1，与现在我们常见的t分布形式有所不同，但实质当然无异.2.3 .9858 .9950 .9982 .9993.9998 .99991.99996 2.4 .9873 .9957 .9985 .9995.9998 .99993.99997 2.5 .9886 .9963 .9987 .9996.9998 .99995.99998 2.6 .9898 .9967 .9989 .9996.9999 .99996.99999 2.7 .9908 .9972 .9991 .9997.9999 .99997.99999 2.8 .9916 .9975 .9992 .9998.9999 .99998.99999 2.9 .9924 .9978 .9993 .9998.9999 .99998.99999 3.0 .9931 .9981 .9994 .9998−.99999−表的用法是（要记住已假定总体均值为1）：例如，设n ＝7，则P (xs ≤0.6)＝0.9040. 最末一列就是n ＝7的情况，对xs 的正确分布与其近似的正态分布的比较. 如就上例，n ＝7时，P (x s ≤0.6)的正确值为0.9040. 但若近似地认为xs ∼N (0,7), 则这个概率将是0.94375.这张表的历史意义在于，它是应用上及其重要的t 分布的第一张表. 后来在1917年Student 又对表进行了少许扩充. 限于当时的计算条件及t 密度积分计算的复杂性，表中的结果略有误差. Student 自己在1923年核验了这两个表，结论说“二者完全不行”(“both perfectly rotten”). 按上表来比较几个值，算P (t q ≤t )(相当于n ＝10)：a ＝0.3：0.614 62， 正确值0.614 51. a ＝0.6：0.718 46， 正确值0.718 35. a ＝0.9：0.804 23， 正确值0.804 22.其他值的比较相当，看出误差只在10−4，于应用毫无影响. 今天我们面对这张表，考虑到他当年简陋的计算条件且Student 本人并非数学出身，能算出有这种精度的结果，可以设想他付出了多少经历及其工作态度之认真，因而不由得要表示赞赏.现在我们来讨论一下《均》文的核心部分，即Student 是如何到处他的分布的. 他的证明分为3步：1° 找s 2的分布. 做法是：先算出s 2的偏度系数()181n β=−，峰度系数()()2331n n β+=−，得到2β2－3β1－6＝0.据此，他推断：“s 2的分布可望拟合一个属于皮尔逊3型的分布.”按矩法定义出s 2的密度为()2322nxn c xeσ−−⋅，(x >0), c >0为常数.2° 证明2x 与s 2不相关. 这通过计算计算相关系数容易得出. 3° 据2°，用独立变量①商的密度公式算xZ s =的密度. 由于x 、s 的密度都已知悉，这个计算不难.如今，粗通概率统计的人也能支出Student 推导中的漏洞之所在. 最早注意到这个问题的是费歇尔，他于1912年向他的以为天文学家老师谈到这个问题. 后者正好认识Student ，因而建议费歇尔直接与Student 联系，这样就开始了两人的通信及长达二十余年的友谊. Student 开始对费歇尔的论点有所犹疑并曾为此事写信给卡尔⋅皮尔逊商量. 在费歇尔致Student 的第3封信中他给出了完整的证明并显示已使Student 相信. 不过，费歇尔的证明迟至1925年才正式发表.这个插曲的一个重大的历史后果是，费歇尔因此发展了其“n 维几何”的方法，他发现这在正态样本统计量的抽样分布中，是一个极其有力的方法. 沿用这个方法，费歇尔获得了一些在应用上极重要的统计量的精确分布，它促成了统计学的“Mark II ”阶段的加速到来，其意义十分重大.费歇尔的“n 维几何”法就是把样本 (x 1，…，x n ) 看成n 维欧氏空间R n 中的一点. 这点落在一个元区域内的概率就是分布的概率元. 如在本例，要求x 和s 的联合分布(仍设总体均值为0)，则要设法找出在R n 中，集合(){}10000,,:,nx x 0ξξξξηηηη⋅⋅⋅≤≤+Δ≤≤+Δ （1）是怎样一个形状，这里ξ=η=①显然，在当时Student 必定还不明白“不相关”和“独立”不是一回事，虽然在这里二者碰巧是一致的. 对这一点不能苛责他. 大家如卡尔⋅皮尔逊，甚至到1920年代对此尚未明确. 《耐曼⎯现代统计学家》一书第83页讲了一段与此有关的故事.在R n 中过原点与ξ0作一条射线OB ，ξ0为点(),,,x x x K .图8.1表示n ＝3的情况，图中的M 是ξ0，而P 是样本点(x 1，…，x n ). 过M 点作n －1维超平面与OM 垂直，则P 点位于此平面上以M 为中心，以η0＝MP 为半径的超球面上，超球面的维数n －2 (在n ＝3时，此超球面为图中的圆周，是1＝3－2维).现如η在η0到η0＋Δη0内变化，则其区域相当于两球面之间的体积元，其体积为200n c ηη−⋅Δ.另外ξ在ξ0到ξ0＋Δξ0内变化，等于说这个向度上还 有一个Δξ0的变化幅度. 由于OM 轴与P 所在的超 平面正交，知集合（1）的体积元为200n c 0ηξη−ΔΔ，而样本密度在上述体积元内（基本上）是一常数， X 1X 2X 3MP图 8.1此因()222221122002211exp exp 2211exp exp 22nn ii i i c x c nx x c σσξσσ==⎛⎞⎛⎞⎛⋅−=⋅−+−⎜⎟⎜⎟⎜⎝⎠⎝⎝⎠⎛⎞⎛⎞=⋅−⋅−⎜⎟⎜⎟⎝⎠⎝⎠∑∑x ⎞⎟⎠此与上述体积元表达式结合，得出集合（1）的 概率元有表达式2200002211exp exp 22n c 2ξξηησσ−⎛⎞⎛⎞⋅−Δ⋅−⎜⎟⎜⎟⎝⎠⎝⎠.与s 独立，前者有正态分布N(0，σ2)而后者有皮尔逊3型分布2222ns n cs eσ−−(仍作为s 的定义). 与Student 猜到的完全一致.这个例子描述的费歇尔的“n 维几何法”，适用于其他更复杂的情况. 当然，在其他情况，体积元的寻求复杂得多. 费歇尔从小训练出来的几何直观帮了他很大的忙，例如对相关系数r 的分布，其分析推导及其复杂. 费歇尔借助几何直观大大简化了推理过程，其梗概将在后面概述. 这个方法的另一个突出的应用例子，是1928年维夏特基于此法导出了任意维正态样本全体二阶矩的联合分布⎯维夏特分布.在“最小二乘法”那一章节中我们曾提到，早在1981年，皮泽蒂即已得到费歇尔在上面用n 维几何得到的全部结果，不过他使用的是正交变换加上富立叶分析(特征函数). 因此，实际上在那时，制作t 分布折刀大菜的原料和方法都已完全具备，只是没有一种动因促使人去作而言. 那么，为什么统计史上对Student工作评价如此之高，二皮泽蒂等的工作则基本上淹没不彰呢？这个问题必须结合当时统计界的状况去看才能理解.首先就是我们在前面多次提到过的那个“数据结合学”(误差分析)与统计学的分离问题. 这使皮泽蒂等的工作或者不为统计学家所注意，或则虽注意了，也不过是作为一个纯数学结果看，不会注意到它在统计数据分析中有何意义. 因此对统计学家而言，Student提出的问题，即使只从数学角度看，也是一个新问题.更重要的是Student所提问题的实际背景，即他首次把小样本问题提到日程上，这一点在前面已有所强调. 但是，在当时及其后的若干年，卡尔⋅皮尔逊还是统计界的绝对权威，他的“Mark I”统计仍是当时统计界的主导思想，故一开始，Student和费歇尔的小样本工作并未在统计界找到多少知音. 费歇尔的女儿在为她父亲写的传记中回顾了迟至1920年代初期费歇尔在这个问题上的孤立处境，以至他在1922年在其著名论文《理论统计学的数学基础》中还列出了一张单子，列出当时已有的很少几种小样本成果并提出一些还待解决的问题. 1922年文章“即是对纯粹数学家的挑战，也是向脱盲目呼吁给予帮助”.然而，随着小样本理论的进度，其重要意义日益为统计学界所理解，特别是t分布的意义，因为这个分布以后多次出现在一些重要统计量分布的结果中，于是Student这一结果的行情逐日看涨，导致后来统计界将他尊为小样本理论的开创者和鼻祖. 从Student的工作意义和对以后数理统计学发展所起的影响来看，应该说他对这一评价是当之无愧的.Student在20世纪前三十余年是统计界的活跃人物. 他的成就不限于《均》文. 同年他发表了在总体相关系数为0时，二元正态样本相关系数的精确分布，这是关于正态样本相关系数的第1个小样本结果. 他对回归和试验设计方面也有相当的研究，在与费歇尔的通信中时常讨论到这些问题. 费歇尔很尊重他的意见，常把自己工作的抽印本送给Student请他指教. 在当时，能受到费歇尔如此看待的学者为数不多.Student还有一个优良品质，对当时英国统计学的发展起了有益的影响. 他是一个性格温和，易于与人合作的谦谦君子. 总所周知，当时英国统计学界几位领头的大人物之间多有分歧以至个人成见. 这相当大的程度上固然与学术观点上的分歧有关，但也不无个人性格的因素. 惟有Student一直与各方都保持良好的关系. 有这样一个例子：在大学学院有一个非正式的“生物计量学俱乐部”.1922年费歇尔想把它扩建为一个正式的学会，他了解到此事没有卡尔⋅皮尔逊发起不行，而他是皮尔逊“最后一个听取其意见的人”，不得已托Student向皮尔逊说情. 事虽未成，颇能看出这三位大家之间的关系. 后来这个计划直到1943年才以建立“国际生物计量学会”而实现，其时距卡尔⋅皮尔逊逝世已有7年.Student与假设检验理论创始人奈曼和爱根⋅皮尔逊都保持良好的关系.《耐曼⎯现代统计学家》一书中提到奈曼于1925年初到伦敦去大学学院找卡尔⋅皮尔逊未遇，Student给他帮助的情景. 奈曼与费歇尔初次见面也是由Student居间介绍. 对爱根⋅皮尔逊，他当然早就认识，因而他是卡尔⋅皮尔逊的朋友. Student不住在伦敦，但与爱根保持通信联系. 爱根在自己的回忆文章中，提到Student信中阐发的一些思想，对他日后与奈曼合作建立其假设检验理论有着启发性的影响. 他说（引自《耐曼⎯现代统计学家》）：“我认为现在统计学界中有非常多的成就都应归功于Student……我想引起人们对他，对他注重实际的作风和研究方法的简明性的注意. 他一生大部分的活动只是简单地与他同时代的数理统计学家接触、通信或个别聚会，以致人们很容易忽视他.”爱根因为Student 去世“在情绪上深受影响”，他感到Student在许多方面对他自己的统计学理论的形成所起的作用和奈曼一样多.。