辛普森悖论解决方法
辛普森悖论及其应用思考
辛普森悖论及其应用思考【摘要】探讨现实中的辛普森现象，利用辛普森悖论来解释现实生活中的例子，探讨例子发生矛盾的原因，加深对辛普森现象的理解，进而对现实分析的情况进行深入思考并提供作出正确判断的理论依据。
【关键词】辛普森悖论分层抽样统计混杂因素一、辛普森悖论统计分析中，变量间是否有相关关系，常常会左右我们对观察的现象作出正确的决策。
例如，某公司开发一种新药A，想要研究这种新药跟传统的药物B对疾病的处理效果有什么不同。
选择800个人来参与做实验，分成两组，每组400人，两组的结果如表1所示。
从表1的结果看，新研发的药物的有效率是50%，低于传统药物的60%，对于治疗某种疾病来说，显得新研发的药物的价值低于传统药物。
那么对这种新研发的药物的有效率经过统计分析后是否如表1所示？把表1得到的数据再进行分层抽样处理，在细分成男性跟女性对药物的有效率后得到的信息如表2、表3所示。
从表2和表3来看，得到的结论和表1得到的结论刚好相反，也就是说不管是男性患者还是女性患者，新药的有效率都高于传统的药物，这就跟前面的分析出现了矛盾，这就是辛普森现象或称为辛普森悖论。
辛普森悖论是在一定的前提条件下，研究两种变量的相关关系时，利用分组或分层技术对原来总体再进行分析得到的与未分组或分层抽样之前相反的一种结论。
即分组评价都占优的一方在总体评价中却不占优势。
辛普森现象并不是一种稀罕的现象，在现实生活中非常普遍，特别是在社会科学和医学中。
医学上新开发的药物对疾病是否有效，新入学的学生是否受到性别的歧视，中国经济的腾飞与生活水平的降低，吸烟是否有害健康，等等，现实中的方方面面都会出现辛普森现象。
用辛普森悖论来解释这些现象能真正了解现象的本质，从而使人们作出正确的决策。
本文的目的是总结前人的分析结果，去探讨周围的辛普森现象，为大家进一步认清现象提供一些合理的解释及思考。
二、辛普森悖论的数学表示及相应问题一起来看一个向量图。
详见图1。
统计学辛普森悖论的内容
统计学辛普森悖论的内容统计学辛普森悖论（Simpson's Paradox），又称辛普森效应，是指在统计数据分析中，一个总体的不同子集中出现的关系与整体数据的关系恰好相反。
简单来说，当我们将数据分组并进行分析时，得出的结论可能会与整体数据相矛盾。
辛普森悖论最早由英国统计学家E.H.辛普森于1951年提出，他在研究统计学考试成绩的数据时发现了这个现象。
为了更好地说明辛普森悖论，我们将针对一个具体的例子进行讨论。
假设某家医院正在研究针对某种疾病的两种不同疗法的疗效。
研究人员将患者分为两个子集：男性（子集A）和女性（子集B），然后比较两种疗法在不同子集中的成功率。
在子集A中，疗法A有80%的成功率，而疗法B只有40%的成功率；在子集B中，疗法A的成功率为60%，而疗法B的成功率为70%。
这个结果可能导致人们错误地认为疗法A比疗法B更有效。
然而，当我们将整体数据考虑进来时，情况就完全不同了。
整体上，疗法A的成功率为65%，而疗法B的成功率为67.5%。
这个结果与我们之前的结论相反，疗法B在整体上比疗法A更有效。
辛普森悖论的发生是由于子集A和子集B在整体数据中所占比例的差异导致的。
在这个例子中，虽然在子集A和子集B中，疗法A的成功率都不如疗法B，但是子集A在整体数据中所占比例远大于子集B。
所以，整体上疗法A的平均成功率反而比疗法B低。
为了更好地理解辛普森悖论，我们可以通过一个可视化的例子来说明。
假设我们有一个学校的招生数据，该学校有两个专业：科学（子集A）和文科（子集B）。
我们将招生成功率与考试成绩进行比较。
具体数据如下：子集A：科学专业-学生甲：考试成绩80分，成功录取-学生乙：考试成绩70分，未录取子集B：文科专业-学生丙：考试成绩80分，未录取-学生丁：考试成绩70分，成功录取看上去，科学专业的成功录取率为50%，而文科专业的成功录取率为50%。
这暗示我们两个专业的录取机会是相同的。
然而，当我们将整体数据考虑进来时，结果却完全不同。
辛普森悖论
(2) 性别并非是录取率高低的唯一因素，甚至可能是毫无影响的，至于在法商学院中出现的比率差可能是属于随机事件，又或者是其他因素作用，譬如学生入学成绩却刚好出现这种录取比例，使人牵强地误认为这是由性别差异而造成的。
回避方式
编辑
为了避免辛普森悖论出现，就需要斟酌个别分组的权重，以一定的系数去消除以分组资料基数差异所造成的影响，同时必需了解该情境是否存在其他潜在要因而综合考虑。
管理应用
编辑
辛普森悖论就像是欲比赛100场篮球以总胜率评价好坏，于是有人专找高手挑战20 场而胜1场，另外80场找平手挑战而胜40场，结果胜率41%，另一人则专挑高手挑战80场而胜8场，而剩下20场平手打个全胜，结果胜率为28%，比41%小很多，但仔细观察挑战对象，后者明显较有实力。
量与质是不等价的，无奈的是量比质来得容易量测，所以人们总是习惯用量来评定好坏，而此数据却不是重要的。
除了质与量的迷思之外，辛普森悖论的另外一个启示是：如果我们在人生的抉择上选择了一条比较难走的路，就得要有可能不被赏识的领悟，所以这算是怀才不遇这个成语在统计上的诠释。
什么是辛普森悖论？辛普森悖论的重要性
什么是辛普森悖论？辛普森悖论的重要性什么是辛普森悖论？辛普森悖论的重要性对于数据科学家而言，了解统计现象和问“为什么”是非常重要的。
想象这样一个场景：一天，你和朋友约好了一起吃晚饭，你们俩都想找一家完美的餐厅。
由于选项太多，两人今天的口味也不一定一样，为了避免长达数小时的争论，你们保守地采用了现代人常用的一种方法：查看美食评论。
在用同一个APP看了所有餐厅后，最终你们锁定了其中的两家：Carlos餐厅和Sophia餐厅。
你更喜欢Carlos，因为从两性数据上看来，无论是男性用餐者还是女性用餐者，他们给出的好评率都更高（例：男性好评率=男性好评数/男性评论总数）；而你的朋友更倾向于Sophia，因为他发现从整体上来看，Sophia的好评率更高，口味应该更大众。
那么这到底是怎么回事？是APP统计错误了吗？事实上，这两个统计结论都是正确的，只是你们在不知不觉中已经走进了辛普森悖论。
在这里，我们能用完全相同的一组数据证明两个全然相反的论点。
什么是辛普森悖论？辛普森悖论得名于英国统计学家E.H.辛普森（E.H.Simpson），这是他于1951年阐述的一种现象：当我们以分组和聚合两种方式统计同一数据集时，最后得出的两个趋势可能是完全逆转的。
在上面这个“吃饭”案例中，Carlos餐厅的两性推荐率更高，但它的总体推荐率却低了。
如果不想被绕晕，我们可以用一些直观的数据来说明：上表清楚地表明，当数据分组时，Carlos是首选，但是当数据合并时，Sophia是首选！导致这一悖论的原因是样本大小。
当我们分组统计数据时，Carlos餐厅的女性推荐率高达90%，但它的样本只有40个，只占总评论人数的10%；而Sophia餐厅的女性推荐率虽然只有80%，但女性评论者有250个，这显然会大幅拉高餐厅的总体好评率。
所以在挑选餐厅时，我们事先要确定数据的统计方法，是合并更合理，还是分组更合理——这取决于数据生成的过程，即数据的因果模型。
浅谈AB测试里常见的辛普森悖论
总计来说男生录取率只有21%，只有女生录取率42%的一半。
为什么两个学院都是男生录取率高于女生录取率，但是加起来男生录取率却不如女生录取率呢？主要是因为这两个学院男女比例很不一样，具体的统计学原理我们后面会详细分析。
这个诡异（Counter intuitive）的现象在现实生活中经常被忽略，毕竟只是一个统计学现象，一般情况下都不会影响我们的行动。
但是对于使用科学的 AB 测试进行试验的企业决策者来说，如果不了解辛普森悖论，就可能会错误的设计试验，盲目的解读试验结论，对决策产生不利影响。
我们用一个真实的医学 AB 测试案例来说明这个问题。
这是一个肾结石手术疗法的 AB 测试结果：看上去无论是对于大型结石还是小型结石，A 疗法都比 B 疗法的疗效好。
但是总计而言，似乎 B 疗法比 A 疗法要好。
这个 AB 测试的结论是有巨大问题的，无论是从细分结果看，还是从总计结果看，都无法真正判断哪个疗法好。
那么，问题出在哪里呢？这个 AB 测试的两个实验组的病历选取有问题，都不具有足够的代表性。
参与试验的医生人为的制造了两个试验组本身不相似，因为医生似乎觉得病情较重的患者更适合 A 疗法，病情较轻的患者更适合 B 疗法，所以下意识的在随机分配患者的时候，让 A 组里面大结石病历要多，而 B 组里面小结石病历要多。
更重要的问题是，很有可能影响患者康复率的最重要因素并不是疗法的选择，而是病情的轻重！换句话说，A 疗法之所以看上去不如 B 疗法，主要是因为 A 组病人里重病患者多，并不是因为 A 组病人采用 A 疗法。
所以，这一组不成功的 AB 测试，问题出在试验流量分割的不科学，主要是因为流量分割忽略了一个重要的“隐藏因素”，也就是病情轻重。
正确的试验实施方案里，两组试验患者里，重病患者的比例应该保持一致。
因为很多人容易忽略辛普森悖论，以至于有人可以专门利用这个方法来投机取巧。
举个例子，比赛100场球赛以总胜率评价好坏。
辛普森悖论
什么是辛普森悖论辛普森悖论（Simpson's Paradox）亦有人译为辛普森诡论，为英国统计学家E.H.辛普森（E.H.Simpson）于1951年提出的悖论，即在某个条件下的两组数据，分别讨论时都会满足某种性质，可是一旦合并考虑，却可能导致相反的结论。
辛普森悖论实例例一：一所美国高校的两个学院，分别是法学院和商学院，新学期招生。
人们怀疑这两个学院有性别歧视。
现作如下统计：法学院性别录取拒收总数录取比例男生8 45 53 15.1%女生51 101 152 33.6%合计59 146 205商学院性别录取拒收总数录取比例男生201 50 251 80.1%女生92 9 101 91.1%合计293 59 352根据上面两个表格来看，女生在两个学院都被优先录取。
即女生的录取比率较高。
现在将两学院的数据汇总：性别录取拒收总数录取比例男生209 95 304 68.8%女生143 110 253 56.5%合计352 205 557在总评中，女生的录取比率反而比男生低。
借助一幅向量图可以更好的了解情况（右图）女生单独两个矢量斜率都比男生大，说明它们的比率都比较高。
但最后男生总体向量斜率却大于女生这个例子说明，简单的将分组数据相加汇总，是不能反映真实情况的。
就上述例子说，导致辛普森悖论有两个前提。
1、两个分组的录取率相差很大，就是说法学院录取率很低，而商学院却很高。
而同时两种性别的申请者分布比重相反。
女性申请者的大部分分布在法学院，相反，男性申请者大部分分布于商学院。
结果在数量上来说，拒收率高的法学院拒收了很多的女生，男生虽然有更高的拒收率，但被拒收的数量却相对不算多。
而录取率很高的商学2、有潜在因素影响着录取情况。
就是说，性别并非是录取率高低的唯一因素，甚至可能是毫无影响的。
至于在学院中出现的比率差，可能是随机事件。
又或者是其他因素作用，比如入学成绩，却刚好出现这种录取比例，使人牵强误认为这是由性别差异而造成的。
产品经理产品分析之统计学悖论
产品分析之统计学悖论在做产品分析时，统计结果截然相反，是何种原因引起的呢？这种情况该如何应对呢？近期面试聊到了产品分析时统计结果截然相反时，分析人员变成了热锅上的蚂蚁，手足无措。
这到底是什么引起的呢？早在1951年性别歧视的案子中就发现了这种相悖的统计结果。
最典型的例子:?1973年加利福尼亚大学伯克利分校性别歧视案的例子：大家从表格里可以看到，如果只看整体录取率，那么男生的录取率是44%，女生的是30%。
但加利福尼亚大学伯克利分校的统计学教授 Peter Bickel 后来发现，如果按照院系分类，女生实际上比男生的录取率还高一些。
一、细节和整体趋势完全不同辛普森悖论（Simpsons paradox）：当你把数据拆开细看的时候，细节和整体趋势完全不同的现象。
我们简化上述表格，发现悖论是由于基数产生的影响——男生在学院1和学院2的分布和女生的分布截然相反引起的。
在日常分析工作也经常存在这样的现象，经常在两端分析时，大都以为两端作为拆分对比，如iOS、Android投放广告的转化率分析中，通过两端的转化率可以得到结论1，但将iOS、Android按照网页版本、移动版本拆分后会得到完全相反的结论：结论1: iOS的总体转化率低于Android。
基于此可以得到的结论是该批次广告不适合iOS平台；iOS平台需要做在转化过程中需要做进一步的漏斗分析以便优化。
结论2: 网页版本iOS的转换率高于Android，且移动端iOS的转化率也高于Android。
基于此可以得到的结论是该批次广告不适合Android平台；Android平台需要做在转化过程中需要做进一步的漏斗分析以便优化。
如果没有辩证的结合多个维度分析该数据表现，则会被误导，在错误的方向上投入更多的精力，甚至是完全相反的决策。
二、相关分析中，整体相关性和组间相关性相反。
假设我们有每周运动小时属于两组患者（50岁以下、50岁以上的患者）患病风险的对比数据。
辛普森悖论
辛普森悖论辛普森悖论是一种非常有趣同时也非常具有挑战性的统计现象，它所涉及到的问题与统计学有着紧密的联系。
在20世纪60年代，美国著名的统计学家Edward Simpson首次发现并提出了这一悖论，因而得名为辛普森悖论。
该悖论存在于统计分析的比较结果中，简单地说，就是有时候我们可能会得到两个互相矛盾的结果。
这是因为在统计学分析中，样本容量的大小、组别之间的差别以及变量之间的相关性等问题会对结果产生很大的影响。
辛普森悖论的一个经典案例是关于两所大学录取率的比较。
假设大学A和大学B都进行了招生工作，我们将其招生结果进行比较，发现大学A较大学B 录取率更高。
但当我们将两所大学的数据再次分类，将男女学生分别计算，结果发现男女学生的录取率得到完全相反的结果。
也就是说，大学A对男生录取的比率比大学B低，而对女生的录取率相同。
很多人都会认为这是一种错误的分析结果，因为总体数据表明大学A总的录取率高于大学B，但实际上这是一个典型的辛普森悖论。
在这个案例中，当我们将数据再次分类后，发现男性和女性学生在两所大学的比例比较不同。
因此，我们不能简单的使用总体数据来比较两所大学的录取率。
辛普森悖论最易产生的问题是当我们把数据按不同的分类方式分割后，有时会得到与总体数据完全相反的结果。
例如，在某次参赛的比赛中，A队总体表现最为出色，其他队伍的成绩都比不上A队。
但如果我们把数据按照时间分开来看，我们却发现，A队在比赛的前半段表现得很差，但在整个比赛中，以优异的表现夺得了冠军。
辛普森悖论实际上在日常生活中也很常见，例如一个公司招聘新员工时，我们可能会发现男性的录取率比女性高，并可能会将这一情况归咎于性别歧视。
但实际上，如果我们查看公司提供的岗位与男女申请人的比例，我们也许就能发现是因为男性申请了更多技术型岗位，而女性则更多地申请了管理层的岗位。
由此，导致男性录取的比例更高。
总之，辛普森悖论的存在告诉了我们，在统计分析过程中，一定要注意样本的分类方式，不能简单粗暴的使用总体数据来比较不同组别的结果。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
辛普森悖论解决方法
辛普森悖论是一种常见的逻辑谬误，它指的是在一个整体数据中，不
同的子集数据的比较结果与整体数据的比较结果相反的现象。
这种悖
论常见于统计学和社会科学领域，但也经常出现在日常生活中。
为了
解决这种悖论，人们提出了多种方法。
一、分组比较法
分组比较法是一种常见的解决辛普森悖论的方法。
它的基本思想是将
数据分成不同的组别，然后对每个组别进行比较。
这种方法可以避免
数据的混淆，从而减少悖论的发生。
例如，假设有两个医院A和B，它们的手术成功率分别为60%和70%。
但是，如果我们将这两个医院的手术类型分组比较，就会发现A医院
在简单手术方面的成功率高于B医院，而在复杂手术方面的成功率低
于B医院。
这样，我们就可以得出更准确的结论。
二、加权平均法
加权平均法是一种将不同组别的数据进行加权平均的方法。
这种方法
可以避免数据的混淆，从而减少悖论的发生。
例如，假设有两个医院A和B，它们的手术成功率分别为60%和70%，但是A医院的手术数量远远多于B医院。
如果我们使用加权平均法，
将A医院的成功率乘以手术数量，再将B医院的成功率乘以手术数量，然后将两个结果相加，最后除以总手术数量，就可以得到更准确的结论。
三、多元回归分析法
多元回归分析法是一种将多个变量进行回归分析的方法。
这种方法可
以避免数据的混淆，从而减少悖论的发生。
例如，假设有两个医院A和B，它们的手术成功率分别为60%和70%，但是A医院的手术类型更加复杂。
如果我们使用多元回归分析法，将
手术类型作为一个变量，将手术成功率作为另一个变量，就可以得到
更准确的结论。
综上所述，辛普森悖论是一种常见的逻辑谬误，但是我们可以通过分
组比较法、加权平均法和多元回归分析法等方法来解决它。
这些方法
可以避免数据的混淆，从而得出更准确的结论。
在日常生活中，我们
应该注意这种悖论的存在，并采取相应的措施来避免它的发生。