从政治算术到大数据分析_李金昌

第31卷第11期2014年11月统计研究Statistical Ｒesearch Vol．31，No.11Nov．2014从政治算术到大数据分析*李金昌内容提要：本文首先对大数据进行了再认识，包括如何理解大数据的“大”、如何理解大数据的“数据”以及大数据是不是好数据；然后对数据的变化与统计分析方法的发展进行了较为系统的历史梳理，对两者的关系进行了总结；最后探讨了统计学的新发展———大数据分析问题，认为大数据分析是数据科学赋予统计学的新任务，指出了大数据分析面临的挑战与突破口，提出了大数据分析需要达成的共识。

关键词：大数据；统计学；统计分析方法；数据科学中图分类号：C812文献标识码：A文章编号：1002－4565（2014）11－0003－12From Political Arithmetic to Big Data AnalysisLi JinchangAbstract ：This paper reconstructs the understanding of big data ，including how “big ”the data are ，what “data ”can mean and whether big data are good data．It summarizes systematically the history of and the relationship between the changing conception of data and the developing method of statistical analysis．It also discusses the new development of statistics as a discipline ：big data analysis．It considers big data analysis as the new mission that data science has given to statistics ，suggests the challenges that big data analysis faces and its breakthrough points ，and proposes the common ground for researchers engaged in big data analysis．Key words ：Big data ；Statistics ；Methodology of statistical analysis ；data science*本文为浙江省高校人文社科重点研究基地（统计学）、浙江省“2011协同创新中心”（现代商贸流通体系建设协同创新中心）的成果之一，并为第十五次全国中青年统计科学研讨会特邀论文。

①本文关于大数据的很多认识参考了大量的文献资料，难以一一列出，在此一并致谢！作为以归纳分析为主的学科，统计学可以从亚里士多德的“城邦政情”算起，但作为一门数据分析的学科则应从配第的《政治算术》算起。

300多年来，统计学围绕如何收集、整理和分析数据这一主线而发展，构建起了庞大、多元、融合的应用方法体系。

在这一过程中，“数据”始终是统计学的研究对象，为了得到它、认识它、剖析它和利用它，统计学家们可谓历经苦难，并取得了令人欣慰的伟大成就。

不过，统计学不可能停止前进的步伐，因为“数据”还有太多未解之谜，并且还在不断增加新的谜面，尤其是随着大数据时代的来临数据含义不断拓展数据来源不断增加，迫使统计学站在一个新的起点上。

1998年，《科学》杂志刊登的一篇介绍计算机软件HiQ 的文章《大数据的处理程序》（A Handler for Big Data ）第一次正式使用了大数据（big data ）一词。

2008年9月《自然》杂志出版“big data ”专刊，使“大数据”一词在学术界得到了广泛认可和使用（杨绎，2012年）［1］。

最近几年，关于大数据的文献迅速增加，但是绝大多数出自于计算机领域的学者之手，讨论的内容除了大数据的内涵与特点、发展趋势与应用前景外，主要集中在计算技术（算法）和商业应用等方面，很少有基于统计学视角的深度学术讨论，这对于以数据为研究对象的统计学来说多少有些尴尬。

好在自去年以来，我国统计学领域和政府统计机构开展了一系列探讨大数据的活动，掀开了研究与应用大数据的新篇章。

但这只是一个开端，在面临机遇的同时也面临着挑战，需要我们在大数据的热潮中理性、科学地开展大数据研究，推进统计学科取得新的重大发展。

一、对大数据的再认识①最早与大数据概念有关的学科应该是天文学、·4·统计研究2014年11月气象学和基因学，它们从诞生之日起就依赖于海量数据分析方法。

从现代意义上看，大数据可以说是计算机与互联网相结合的产物，前者实现了数据的数字化，后者实现了数据的网络化，两者结合赋予了大数据新的含义。

因此，对于什么是大数据，多数人目前可能只有一个朦胧的感觉，每个人都可以基于某个视角或者某个领域给出自己的解释，而与大数据有关的领域既包括学术领域也包括应用领域（特别是商业领域），既包括计算机、统计学、数学领域也包括经济学、管理学领域，既包括社会现象也包括自然现象，要想在短时间内给出能被普遍接受的大数据定义是不可能的。

大数据概念之所以在近两年被正式提出并迅速产生全球性的影响，显然有其时代特征，关键点就在于基于现代信息技术的信息记录与储存能力的极大突破、以及各类电子化信息的膨胀式增长。

其实大数据自古有之，几千年来人类各种行为所产生的丰富多彩、客观存在的信息就是大数据，只是没有得到及时完整的记录与储存而已，并且记录与储存的方式也比较单一———少量的官方记录数据以及史记形式的描述，数据规模较小，数据类型较少，准确性也因方法技术落后而比较差。

毫无疑问，人类曾经开展过的人口普查、产业普查等活动产生的数据，当然属于大数据，但它们是一次性的、不可扩充的，并且普查的内容（指标）有选择、受限制，数据的类型也仅仅是结构化的数据。

因此，在计算机技术与网络化未得到充分发展以前，实际可知、可存、可用的数据资源总体上看仍然非常有限，人们自然难以联想出大数据这个概念。

但随着可记录、可储存、可利用的数据类型与容量井喷式的增加，以及数据记录与储存能力几何式的增长，大数据概念的提出也就不足为奇了。

当然，如今的大数据与以往的大数据具有不同的含义。

一定程度上看，大数据并不是一个严格的概念，而是一个比喻式的称呼。

我曾在“大数据与统计新思维”一文中提出对大数据的初步认识，并基于统计学视角给出了这样一个定义：大数据不是基于人工设计、借助传统方法而获得的有限、固定、不连续、不可扩充的结构型数据，而是基于现代信息技术与工具可以自动记录、储存和连续扩充的、大大超出传统统计记录与储存能力的一切类型的数据（李金昌，2014年）［2］。

这一表述还比较笼统，有必要对大数据进行再认识。

（一）如何理解大数据的“大”有人说，大就是多，大数据就是很多很多数据，多得超乎想象的数据。

这种理解是朴素的、直观的，相对于政治算术时期只能获得少量的登记数据或调查数据，情况确实如此。

但这种理解不够科学，因为它没有回答多到什么程度的数据才是大数据。

我认为，大数据的“大”具有多个层面的意思，可以从以下三个角度来理解。

一是“全体”的意思，即大数据就是一定条件下的全体数据，并且数据量必须达到一定的规模。

例如，我们借助现代信息技术手段把每一场足球比赛的所有信息（包括控球人与控球时间、足球运行线路，射门落点等）记录下来，就可以看作是大数据。

把某位网球运动员每一场比赛的每一个发球落点都记录下来，积累到一定量以后就形成一张球场发球落点分布图，这也可以理解为大数据。

二是“可扩充”的意思，即大数据就是可以不断扩充容量的数据，任何数据一旦发生就可以被记录、被吸收、被储存，理解这一点非常重要。

例如，该网球运动员每增加一次比赛，就可以在球场发球落点分布图上增加新的落点，如此不断扩充、不断增加落点分布数据。

这是传统的数据收集方法无法做到的。

正因为数据容量可扩充，才会出现超出传统储存能力的大数据，现代信息技术的快速发展正在接受和储存所有产生的数据，这种数据产生与接受的“大”都是在“可扩充”中完成的。

三是“有待挖掘”的意思，即大数据就是有待挖掘的数据。

数据就是信息，信息就有价值，但容易发现的信息通常没有什么价值，而具有价值的信息通常难以被轻易发现。

显然，大数据可能包含丰富的、具有大价值的信息，但由于被超大量的数据所掩盖、所分散而导致价值密度低，只有挖掘才能发现。

如果说我们以往有意收集有限的样本数据的过程就是信息价值的利用过程，那么大数据只有在挖掘以后才可能发现其信息价值所在。

例如，我们根据该运动员所有比赛的发球落点分布图（即发球落点大数据），可以通过计算球场各网格区域的落点频率而挖掘出其落点分布规律，数据量越大，分布规律越稳定。

以此为基础，还可以进一步挖掘出发球落点与发球速度的关系，甚至气温、湿度、场地类型等与发球落点的关系。

这就是信息价值所在。

据此，自我第31卷第11期李金昌：从政治算术到大数据分析·5·一方可以提高有效的发球落点概率，而对手一方可以提高有效的回球概率，谁利用谁得利，这就是有待挖掘的信息价值。

在大数据的所谓“5V”特征中（也有人说“V4”），最能体现其“大”的特征恰恰就是那个最容易被忽略的第五个特征“Value”。

不难发现，信息价值的挖掘需要数据的不断叠加，其结果就形成了大数据。

（二）如何理解大数据的“数据”与传统数据相比，大数据中的数据含义非常宽泛，更侧重于信息的意义。

历史告诉我们，数据的含义是随着人类认识社会与自然现象的视野的变化、以及认识能力与技术水平的提升而改变的，经历了从传统运算型数据到现代数字化数据的变化过程。

把一切信息都看成数据是当今社会的一个特征，是一个自然进化的结果。

大数据中的数据其实就是一切可以通过数字化手段记录的信息。

目前，多数人从结构化数据、半结构化数据和非结构化数据的分类中来理解大数据中的数据，但这仅仅是基于数据表现结果或储存形态的一个视角。

如果从大数据产生的途径或渠道来看，我们认为它又可以分为以下三类数据：一是人与人交往产生的社交网络数据，反映的是社会行为者基于互联网（通过文本、图像、动画、音频或视频等媒体）所产生的关联与交换信息，与人们的行为、意识等有关，例如分享信息、讨论工作、给予情感支持或提供友谊等；二是通过人机对话所产生的人机交换数据（也是网络数据），反映的是人与计算机之间传递和交换的信息，主要依靠可输入输出的外部设备和相应的软件来完成；三是物与物对接的感应数据和机器数据，反映的是由感应器或机器自身记录的有关机器运行的信息，例如飞机黑匣子、汽车仪表盘、车间监测器、产品检测仪、空气感应器等所记录的数据。