谷歌流感趋势的启示：大数据分析中的陷阱

谷歌流感趋势的启示：大数据分析中的陷阱*本文译自 ,“The Parable of Google Flu: Traps in Big Data Analysis ”,2013,343(3):1203~1205一文。

2013年2月，谷歌流感趋势(Google flu trends, GFT)成为新闻头条，但原因并非如谷歌高管们或者流感追踪系统开发者所愿。

《自然》(Nature )杂志发表文章指出，GFT 预测的流感样病例(influenza like illness, ILI)门诊比例超过了美国疾病控制和预防中心(the Cen-ters for Disease Control and Preven-tion, CDC)基于全美各实验室监测报告得出的预测结果的两倍多[1, 2]。

尽管开发GFT 的目的是预测CDC 报告，但还是出现了预测结果远远高于实际的问题。

鉴于GFT 通常被认为是大数据应用的典范[3, 4],那么我们能从这个错误中总结出作者：大卫·拉泽(David Lazer) 莱恩·肯尼迪(Ryan Kennedy) 盖瑞·金(Gary King) 亚历山德罗·维斯皮那尼(Alessandro Vespignani )译者：张志昌关键词：谷歌流感趋势　算法动力学什么经验教训呢？我们所要探讨的问题不仅仅限于GFT 。

对搜索或者社会媒体是否能预测某个未知参数x 的研究已经屡见不鲜 [5~7]，并且常常与传统的方法和假设构成鲜明的对比。

虽然这些研究已经体现出搜索历史、社会媒体等数据的价值，但还远远没有达到可以取代传统方法或理论的地步[8]。

这里我们将探讨导致GFT 发生错误的两个原因——对大数据的浮夸和算法动力学，并从中总结经验教训，使我们能够在大数据时代更好地前进。

对大数据的浮夸“对大数据的浮夸”经常隐含这样一种假设, 即认为大数据是传统数据收集和分析方法的替代品，而不是传统方法的补充。

我们已经在很多地方断言，大数据中存在流感预测中的巨大误差在很大程度上是可以避免的，这为大数据的应用提供了经验教训。

着巨大的科学机遇[9~11]。

但是，数据量并不意味着我们可以忽略测量的基本问题、结构效度、可靠性以及数据间的依赖关系[12]。

大数据时代的核心挑战是，被广泛关注的大部分大数据并非是那些可生成适合科学分析的有效、可靠数据的设备的输出结果。

GFT的最初版本是一个特别的、有问题的大数据与小数据间的联姻。

从本质上讲，其所用的方法是从5000万个搜索词中寻找可拟合1152个数据点的最佳匹配[13]。

找到了与流感趋势匹配的检索词，但流感趋势和检索词在结构上不相关，因此无法用来预测流感发展趋势，这种可能性相当高。

实际上，GFT的开发者声称已经去除了与流感无关却与CDC的数据密切相关的季节性检索词，比如与高中篮球相关的数据[13]。

这本应当是对我们的警示，说明大数据可能会过拟合数量很少的案例。

在通常情况下数据分析都必须注意这一问题。

这种随心所欲地去除某些搜索词汇的方法在预测2009年非季节性甲型H1N1流感时失败了，根本没有预测到其流行[2,14]。

简而言之, GFT的最初版本功能部分是流感探测，部分是冬季探测。

GFT的工程师在2009年更新了算法，该模型一直沿用至今，只在2013年10月发布了几处更新[10, 15]。

尽管在2013年之前没有被广泛报道，但新的GFT已经在更加长的一段时间内一直在高估流感的流行情况。

在2011~2012年的流感季节里，GFT的预测结果与实际情况有非常大的差距。

从2011年8月份开始的108周时间内，GTF有100周的预测结果过高（见图1）。

这些误差不是随机分布的。

例如，上一周的预测误差会影响本周的预测结果（时间自相关），误差的方向和大小会随时间（季节性）而变化。

这些模式说明GFT忽略了值得考虑的信息，而这些信息是可以用传统的统计学方法提取的。

即使2009年对GFT进行了更新，把算法的比较值看作一个独立的流感监测器还是有问题的。

2010年的一项研究表明，GFT预测流感的准确度并不比利用已有的CDC数据（通常有2周的滞后）进行相当简单的前向投影所推测出的结果好[4]。

从那时起，GFT的比较值变得甚至更差，CDC滞后模型的效果要明显优于GFT（见图1）。

甚至用3周前的CDC数据来推测当前流感的流行情况，效果都比GFT的预测结果好（见补充材料(SM)）。

在有大量的方法可以推测流感活动的情况下[16~19]，是否意味着当前版本的GFT就没用了？当然不是。

通过把GFT与其他接近实时的健康数据相结合，可以获得更大的价值[2, 20]。

例如，将GFT07/01/1007/01/1107/01/12图1　GFT的过高估计。

对2012~2013年季节性流感的流行情况，GFT 的估计过高；对2011~2012年流感疫情的估计比实际情况高50%。

从2011年8月21日到2013年9月1日，GFT在为期108周的时间里有100周的预测结果都偏高。

上图：对流感样病例门诊数的估计结果。

“CDC 滞后模型”结合了滞后的CDC数据和52周的季节性变量。

“Google Flu + CDC”模型结合了GFT、滞后的CDC估计、GFT估计的滞后偏差以及52周的季节性变量；下图：偏差[以百分比表示，{(非CDC估计值-CDC估计值)/CDC估计值}]。

两种替代模型的偏差都要比单独使用GFT的偏差低；GFT在样本外期间的平均绝对偏差为0.486，CDC滞后模型的平均绝对偏差为0.311，GFT与CDC相结合的平均绝对偏差为0.232。

以上这些差异在P<0.05时有统计显著性。

见补充材料SM。

和CDC滞后数据相结合，同时动态校准GFT，我们可以显著改善GFT的性能或改善单独使用CDC 时的性能（见图1）。

这并不能替代对GFT的不断评估和改进，但是，通过整合信息，GFT就能修补自己，从而避免在“新闻头条”出丑。

算法动力学所有经验主义的研究都是以测量为基础的。

测量仪器是否可以真实地捕捉到我们感兴趣的理论结构？测量是否可以在不同的情景、不同的时间均能保持稳定性和可比性？测量的误差是否呈现系统性？至少，非常可能的情况是，由于算法动力学(algorithm dynam-ics)影响了谷歌搜索算法，使得GFT不能稳定反映流感的流行状况。

算法动力学是指算法的各种变化，这些变化一方面源自工程师为了改进商业服务而修改算法，另一方面源自用户使用服务过程中行为的改变。

谷歌搜索算法和用户行为的各种改变很有可能影响了GFT的预测追踪。

对GFT预测误差通常的解释归咎于上一流感季节媒体引起的用户恐慌[1,15]。

尽管这可能是其中一个原因，但这并不能解释为什么GFT在两年多的时间里过高地估计了流感的流行情况。

GFT 2009年的版本经受住了与流感相关的媒体恐慌的考验，包括2005~2006年甲型H5N1流感（禽流感）的爆发和2009年的甲型H1N1流感（猪流感）的流行。

因此，最有可能的“罪魁祸首”是谷歌搜索算法本身的改变。

谷歌搜索算法并不是一个静止的实体，谷歌公司不断地对搜索进行测试和改进。

例如，谷歌搜索的官方博客仅在2012年6月和7月就公布了86项修改（见补充材料SM）。

其搜索模式是谷歌公司各个部门的程序员和全球数百万用户所做的数以千计决策的结果。

重现GFT的原始算法有许多挑战。

GFT从来没有以文档的形式公布过所用的45个检索词，而且其所发布的例子明显带有误导性[14]（见补充材料SM）。

谷歌提供了“Google Correlate”这项服务，允许用户辨识与给定时间序列相关联的搜索数据。

然而，这仅限于国家级数据，开发GFT利用的却是与地区级关联的数据[13]。

这项服务也不会返回GFT相关文献中所记录的任何样本检索词[13, 14]。

然而，利用Google Correlate对GFT时间序列相关的检索词和CDC数据的返回结果进行比较，就会发现一些有趣的差异。

特别是对流感治疗方案的搜索以及普通感冒与流感之间的区别方面的搜索，和GFT的误差有很强的关联（见补充材料SM）。

这表明了一种可能性，即对用户相关搜索行为改变的解释是“蓝队”动力学——服务提供者根据他们的商业模式对产生数据的算法（用户使用的数据）进行修改。

谷歌在2011年6月宣布，他们对搜索结果进行了修改，目的是为用户提供系统建议的其它搜索词，并在2012年2月再次宣布，当用户搜索包括发烧、咳嗽之类的体症时，系统会返回一些可能的诊断方法[21]。

前者对一般流感检索的响应是推荐流感治疗方法的搜索，而后者可以对流感与普通感冒区别方法相关搜索的增加做出解释。

我们给出了其它几个可能会影响GFT预测结果的修改（见补充材料SM）。

在提高对用户的服务质量过程中，谷歌也在改进数据生成的过程。

对搜索算法进行修改的目的大概是为了支持谷歌的商业模式，比如，一方面是快速地为用户提供有用的信息，另一方面是为了增加更多的广告收益。

通常基于其他人的搜索历史所推荐的搜索会增加某些特定搜索的相对数量。

在这种模式下，由于GFT使用了相对较为流行的搜索词，搜索算法的改进反而会对GFT的预测产生不利影响。

然而，奇怪的是，GFT所秉承的假设是某些特定词项的相对搜索数量与外部事件是静态相关的，但实际上搜索行为并非仅由外在因素决定，它同样受服务提供者的内在影响。

“蓝队”问题不仅存在于谷歌一家公司。

像推特(Twitter)和脸谱(Facebook)等这样的平台总是在重新设计。

对从这些平台上采集到的数据进行研究，即便是一年前的研究结果，能否在以后或者早期重现，是一个尚无答案的问题。

尽管这对于GFT而言似乎并不是问题，但是研究人员也应该意识到我们监控的系统存在被“红队”攻击的可能性。

当研究对象（在此案例中指Web搜索者）试图操控数据生成过程以达到他们的经济或政治目的的时候，“红队”动力学就起作用了。

推特网站上的拉票就是这种策略的一个明显的例子。

竞选机构和公司都意识到了新闻媒体在关注着推特，因此使用了各种各样的手段来确保自己的候选人或者产品呈现流行趋势[22，23]。

类似的，可以利用推特和脸谱来散布关于股票价格和市场的谣言。

讽刺的是，利用这些开源信息监测用户行为越是成功，就越会有人试图去操控那些信息。

透明度、粒度和全数据将GFT的故事作为案例进行研究具有重要意义。

当我们在大数据分析时代向前迈进时，可从这个案例中学到很多关键性的教训。

透明度和可重现性　在整个学术界对结果可重现的关切日益增长。

有关GFT的论文中的支撑材料并没有满足研究群体正在形成的新标准，既没有给出核心搜索词，也没有提供更大的搜索语料库。

考虑到隐私问题，谷歌不可能将其所有数据都对外界公开，否则这在道德上也是不被接受的。