大数据时代统计调查工作的挑战与思考_季晓晶

合集下载

大数据时代统计工作面临哪些新挑战

大数据时代统计工作面临哪些新挑战

大数据时代统计工作面临哪些新挑战在当今数字化、信息化飞速发展的时代,大数据已经成为了推动社会进步和经济发展的重要力量。

统计工作作为收集、整理、分析和解释数据的重要手段,也在大数据的浪潮下面临着前所未有的新挑战。

首先,数据的海量增长是统计工作面临的一个显著挑战。

过去,统计工作所处理的数据量相对较小,且来源较为单一。

然而,在大数据时代,数据的规模呈爆炸式增长,不仅包括传统的结构化数据,如数字和文本,还包括大量的非结构化数据,如图片、音频、视频等。

这些海量的数据给数据存储、处理和分析带来了巨大的压力。

传统的统计方法和工具在处理如此大规模的数据时往往显得力不从心,需要借助更强大的计算能力和先进的技术手段,如云计算、分布式存储和并行计算等。

其次,数据的多样性和复杂性也给统计工作带来了困扰。

大数据来源广泛,包括互联网、物联网、社交媒体、传感器等。

不同来源的数据格式各异,质量参差不齐,数据的准确性和可靠性难以保证。

这就要求统计工作者在进行数据收集和整理时,具备更强的数据筛选和清洗能力,以确保数据的质量和可用性。

同时,由于数据的多样性,传统的统计分析方法可能不再适用,需要探索新的数据分析方法和模型,以更好地挖掘数据中的潜在价值。

再者,数据的快速更新也是统计工作面临的一大难题。

在大数据时代,数据的产生和变化速度极快,实时性要求越来越高。

传统的统计工作往往是以定期的、阶段性的方式进行,难以满足对实时数据的分析需求。

为了及时获取和分析最新的数据,统计工作需要建立更加高效的数据采集和处理机制,实现数据的实时采集、传输和分析,以便能够迅速做出决策和响应。

另外,数据安全和隐私保护成为了至关重要的问题。

随着数据价值的不断提升,数据安全和隐私泄露的风险也日益增大。

统计工作涉及大量的个人和企业敏感信息,如果这些数据被泄露或滥用,将给个人和社会带来严重的后果。

因此,在大数据时代,统计工作者需要加强数据安全意识,采取严格的数据加密、访问控制和数据脱敏等措施,确保数据的安全性和隐私性。

大数据时代下对统计工作的思考

大数据时代下对统计工作的思考

大数据时代下对统计工作的思考大数据时代的到来,对统计工作提出了新的挑战和机遇。

在传统统计工作中,统计师主要通过随机抽样和问卷调查等方法来获取数据,然后利用统计学的方法对数据进行分析和解释。

随着大数据的兴起,传统的统计方法已经无法满足对海量数据的处理和分析需求。

在大数据时代下,统计工作需要思考如何应对新形势下的挑战,并充分发挥统计学的作用。

大数据时代下的统计工作需要更加关注数据的质量和准确性。

由于大数据的特点是大量、多样、快速和混杂,其中可能包含大量的噪声数据和错误数据。

统计工作需要加强数据清洗和预处理的工作,以确保统计分析的准确性和可靠性。

统计师还需要关注数据的来源和采集方式,并对数据进行验证和校正,以保证数据的可信度和有效性。

大数据时代下的统计工作需要更加注重数据的分析和挖掘。

传统的统计方法往往是基于小样本的,而大数据时代提供了更多的数据资源,可以从更广泛的角度和更精细的维度进行数据分析和挖掘。

统计师需要掌握更多的数据分析工具和算法,比如数据挖掘、机器学习和人工智能等,以从海量数据中发现隐藏的规律和趋势,并提供有效的数据解读和决策支持。

大数据时代下的统计工作需要更加注重数据的可视化和传播。

大数据时代不仅带来了数据的规模和速度的增加,也带来了数据的多样性和复杂性。

统计师需要运用数据可视化的技术和方法,将抽象的数据转化为直观、易懂的图表和图像,以便更好地传达统计分析的结果和结论。

统计师还需要充分利用新媒体和社交网络等渠道,将统计分析的成果传播给更多的人群,以提高数据的影响力和应用价值。

大数据时代下的统计工作需要更加注重数据的隐私保护和安全管理。

虽然大数据为统计工作提供了更多的数据资源和机会,但也带来了隐私泄露和安全风险的挑战。

统计师需要明确数据的使用和管理规则,保护用户的隐私和权益。

统计工作还需要加强数据的安全管理和防护,以应对可能的数据泄露和恶意攻击。

大数据时代对统计工作提出了新的要求和挑战,需要统计师思考如何更好地适应和应对。

大数据时代统计工作面临的问题及对策探讨

大数据时代统计工作面临的问题及对策探讨

大数据时代统计工作面临的问题及对策探讨随着信息技术的高速发展,大数据技术已经成为了信息时代的核心驱动力之一。

大数据时代的到来给统计工作带来了新的挑战和机遇。

统计是大数据时代的基础,但同时也面临着一系列的问题和困难。

本文将探讨大数据时代统计工作面临的问题,并提出相应的对策。

一、问题1. 数据量庞大大数据时代所面临的最大问题就是数据量的庞大。

传统的统计工作通常处理的数据规模有限,但在大数据时代,数据量已经飙升至TB甚至PB级别。

这极大地增加了统计工作的难度,传统的统计方法往往无法适应。

2. 数据质量参差不齐随着数据量的增加,数据的质量也变得参差不齐。

在大数据时代,数据往往来自多个来源,包括传感器、社交媒体、互联网等,这些数据的质量各异,有的数据来源不可靠,有的数据存在缺失和错误。

3. 数据处理速度需求高大数据时代对数据处理速度提出了更高的需求。

传统的统计方法可能需要花费大量的时间来处理大数据,导致数据的时效性变差。

在商业领域,对数据的实时分析和处理已经成为了一种竞争优势。

4. 隐私和安全问题大数据时代涉及到大量个人和机密数据,这就引发了隐私和安全问题。

统计工作者需要保证数据的安全性和隐私性,同时要确保对数据进行合法和合规的使用。

5. 多样化的数据类型在大数据时代,数据的类型变得非常多样化,包括结构化数据、半结构化数据和非结构化数据等。

传统的统计方法面对这种多样化的数据类型往往显得力不从心。

二、对策1. 引入新的统计方法和技术面对大数据时代的挑战,统计工作者需要引入新的统计方法和技术。

可以借助机器学习和人工智能技术来处理大数据,提高数据分析的效率和准确性。

还可以采用分布式计算和并行计算技术来加快数据处理的速度。

2. 加强数据质量管理为了应对数据质量参差不齐的问题,统计工作者需要加强数据质量管理。

可以通过数据清洗、数据标准化、数据匹配等手段来提高数据的质量,确保数据的准确性和完整性。

3. 建立实时数据处理系统在大数据时代,实时数据分析变得至关重要。

大数据时代统计工作思考

大数据时代统计工作思考

大数据时代统计工作思考随着信息技术的快速发展,大数据已经成为了当今社会的一个新的趋势和热点。

在各行各业中,大数据的应用已经成为了一种必然趋势,统计工作也正逐渐由以往的“小数据”时代转向了“大数据”时代。

在这一背景下,统计工作者也需要重新审视和思考自己的工作方式和方法,更好地适应大数据时代的发展需求。

在大数据时代,统计工作者的工作方式和方法将发生很大的变化。

传统的统计工作主要是以小样本或者抽样调查的方式进行数据收集,然后基于这些数据进行分析和推断。

在大数据时代,由于数据量庞大、多样性和实时性要求高,传统的统计方法显然已经不适用了。

统计工作者需要转变思维方式,采用大数据的技术和工具,如数据挖掘、机器学习等方法,更高效地进行数据分析和预测。

统计工作者也需要学习懂得如何管理和处理大规模的数据,如数据清洗、数据存储、数据查询等技能也将成为必备的技能。

在大数据时代,统计工作者将面临更多的挑战和机遇。

面对庞大的数据量和多样性,统计工作者需要更加注重数据的质量和可靠性,避免在数据分析中带来误导性的结论。

大数据的实时性要求也将对统计工作者提出更高的要求,需要更快速地对数据进行分析和处理。

大数据的多样性也将会给统计工作者带来更多的分析思路和方法选择,挑战也将会更多样化和复杂化。

与此大数据也将为统计工作者带来更多的机遇和发展空间,通过更多的数据关联和挖掘,统计工作者可以找到更多的数据规律和发现,从而为决策者提供更多的参考。

在大数据时代,统计工作者的职业发展也将发生更多的变化。

传统的统计工作者主要是在政府、企事业单位从事数据统计和分析工作,然而在大数据时代,随着数据科学与大数据分析技术的兴起,统计工作者的职业领域也将逐渐拓展到更多的领域,如金融、医疗、电子商务等行业。

随着大数据技术的普及和应用,统计工作者的职位和薪酬也将逐渐得到提高,成为更受欢迎的职业选择之一。

在大数据时代,统计工作者也需要注重自身的能力和素质的提升。

大数据时代统计工作面临的问题及对策探讨

大数据时代统计工作面临的问题及对策探讨

大数据时代统计工作面临的问题及对策探讨1. 引言1.1 背景介绍在大数据时代,数据量呈现爆炸式增长的趋势,各行各业都面临着海量数据的处理和分析挑战。

随着互联网的快速发展,人工智能、物联网、云计算等新技术的不断涌现,大数据已经成为信息化时代的核心驱动力量。

大数据的应用,已经深刻影响到社会的方方面面,包括商业、医疗、金融、科研等领域。

大数据的兴起带来了企业决策的科学化和精准化,但也给统计工作带来了一系列新的问题和挑战。

传统的统计方法和工具已经无法满足大数据分析的需求,数据质量、隐私保护、技术水平等方面也面临着巨大的压力和挑战。

如何有效应对大数据时代统计工作面临的问题,成为当前急需解决的重要课题。

本文将重点探讨在大数据时代统计工作所面临的问题及可能的解决方案。

1.2 问题提出在大数据时代,统计工作面临着诸多问题和挑战。

随着数据量的急剧增加,传统的统计方法和工具已经无法有效处理如此庞大的数据量,给统计工作带来了巨大的挑战。

数据质量问题也成为一个亟待解决的难题,因为大数据往往包含着来自不同来源和不同格式的数据,如何确保数据的准确性和完整性成为统计工作者亟待解决的问题。

隐私保护也是一个值得重视的问题,在大数据时代,个人隐私有可能被泄露和滥用,如何在保证数据可用性的同时确保个人隐私成为一个复杂的难题。

由于技术水平不断更新换代,统计工作者也面临着技术水平不足的挑战,如何及时更新自己的技术知识并应用到实际工作中成为一个亟待解决的问题。

以上种种问题使得统计工作在大数据时代面临着重重困难,需要寻找新的解决方案和对策。

1.3 重要性在大数据时代,统计工作面临着诸多问题和挑战。

重要性不言而喻。

大数据时代的到来意味着数据量的激增,统计工作者需要面对海量的数据进行分析和处理,这对其工作效率和准确性提出了更高的要求。

数据质量问题在大数据时代尤为突出,统计工作者需要花费更多的时间和精力来清洗和筛选数据,以确保分析结果的可靠性和准确性。

大数据时代下对统计工作的思考

大数据时代下对统计工作的思考

大数据时代下对统计工作的思考大数据时代已经来临,数据量的指数级增长正在改变我们的生活和工作方式。

在这个时代,统计工作显得尤为重要,它可以帮助我们更好地理解和利用这些海量的数据。

在这篇文章中,我们将探讨大数据时代下对统计工作的思考,以及统计学家在这个时代的角色和挑战。

让我们来看一下大数据时代给统计工作带来的影响。

在过去,统计工作主要依靠对少量数据的抽样和分析来进行决策和预测。

在大数据时代,我们面对的是海量的数据,传统的统计方法可能已经不再适用。

统计学家需要重新思考他们的方法和工具,以应对这个全新的挑战。

在大数据时代,统计工作需要更加注重数据的质量和精确度。

由于数据的规模巨大,统计学家需要更加注重数据的清洗和整理,以确保数据的准确性和可靠性。

统计工作还需要更加注重数据的可视化和解释,因为海量的数据可能会使人们感到困惑和无从下手。

统计学家需要深入研究数据可视化的方法和工具,以帮助人们更好地理解和利用这些数据。

大数据时代也为统计学家提供了更多的工作机会。

由于数据的规模和复杂度增加,企业和组织对统计学家的需求也在不断增加。

有关大数据分析和统计建模的工作岗位也在不断增加,这为统计学家提供了更广阔的职业发展空间。

大数据时代也给统计学家带来了一些挑战。

由于数据的规模和复杂度增加,传统的统计方法可能已经不再适用。

统计学家需要不断地更新自己的知识和技能,以适应这个全新的环境。

由于大数据的特点,统计学家需要更加注重数据的质量和精确度,这需要更多的时间和精力。

统计学家需要在工作中更加注重细节和效率,以应对这些挑战。

在大数据时代,统计工作也需要更加注重跨学科合作。

由于大数据涉及多个领域和学科,统计学家需要与其他专业人士进行合作,以共同解决复杂的问题。

统计学家需要与计算机科学家合作,以开发新的数据分析工具和技术。

他们还需要与工程师和业务人员合作,以理解和利用数据。

统计学家需要具备一定的团队合作能力和沟通能力,以应对这个全新的挑战。

浅谈大数据时代统计学的挑战与机遇

浅谈大数据时代统计学的挑战与机遇

浅谈大数据时代统计学的挑战与机遇随着互联网技术的迅猛发展,大数据时代已经来临。

大数据不仅仅是指数量庞大的数据集合,更重要的是通过对这些数据的收集、存储和分析,可以帮助人们深入了解客观事物的真实状态、规律和趋势。

在大数据时代,统计学发挥着重要的作用,帮助人们从海量的数据中提取有用的信息,为决策提供依据。

大数据时代也给统计学带来了一些挑战和机遇。

大数据时代给统计学带来的挑战之一是数据的量级和速度增加。

随着互联网和物联网的普及,人们不仅可以通过电脑、手机等设备进行网上购物和生活,各种传感器也可以收集到大量与人类活动相关的数据。

这些数据量大、速度快、多样性强,远远超过了人们传统的数据处理能力。

统计学需要面对这一挑战,提供高效的数据处理和分析方法,以便从大数据中发现有价值的信息。

大数据时代给统计学带来的挑战之二是数据的质量问题。

大数据中常常存在着数据质量低下、数据误差较大的问题。

互联网上的评论和评分往往存在虚假的情况;传感器收集的数据也可能受到环境和技术因素的干扰。

统计学需要解决这些问题,提出有效的数据过滤和纠错方法,确保数据的质量,从而得到准确可靠的分析结果。

大数据时代给统计学带来的挑战之三是隐私保护和数据安全问题。

在大数据时代,人们的个人信息往往被大量收集和使用,个人隐私面临泄露和滥用的风险。

大数据的存储和传输也存在着数据安全的问题,一旦数据遭到恶意攻击,将会造成严重的损失。

统计学需要关注这些问题,提出合理的隐私保护策略和数据安全措施,保障个人隐私和数据的安全性。

大数据时代中也存在着统计学的机遇。

大数据时代给统计学提供了更多的数据资源。

相比过去,统计学家可以更方便地获取到海量的数据,从而有机会挖掘出更多潜在的规律和趋势。

这将为统计学的发展提供更多的材料和基础。

大数据时代给统计学带来了分析方法的革新。

传统的统计学方法往往面临着数据量过大、速度过快、多样性强的问题,难以适应大数据时代的需求。

统计学家们需要创新性地提出新的数据分析方法,以适应大数据时代的需求。

大数据时代统计工作思考

大数据时代统计工作思考

大数据时代统计工作思考随着大数据时代的到来,统计工作在整个社会、经济和生态系统中的作用越发重要。

在这个时代,统计不再是只是简单地收集、编码和汇总数据,而是与高科技、人工智能、互联网等众多前沿技术相结合,成为了实现智能化决策和预测的关键工具之一。

可是,这也给统计工作者带来了很多新的挑战和问题。

在这篇文章中,我们将探讨如何应对这些问题和挑战,以保持高效率和高质量的统计工作。

首先,大数据时代的统计工作需要更多的人才以及更高的技术水平。

因为收集和清洗数据的工作量庞大、复杂,所以我们需要更多具备数据分析、统计和机器学习等技术的人才来负责这部分的工作。

对于已有人才来说,他们需要不断更新自己的技术水平,学习新的工具和方法来更好地应对不断增长的、多样化的数据。

因此,在大数据时代,不管是学生还是从业者,都需要重视数据分析和机器学习等技术的学习和实践,以适应时代的变化。

其次,大数据时代的统计工作需要更加关注数据的质量和完整性。

在数据采集和处理过程中,可能会出现各种问题,例如数据缺失、数据重复、数据错误等。

这些问题可能会对后续的统计分析产生不良影响,甚至导致错误的决策。

因此,在进行统计分析前,我们需要对数据进行充分的质量和完整性检查,保证数据的可靠性和正确性。

第三,在大数据时代的统计工作中,机器学习和人工智能等技术也变得越来越重要。

机器学习能够通过模型预测和分类,有效地处理大规模数据,帮助我们在数据中发现隐藏的模式和规律,并根据这些规律做出更好的决策。

但是,机器学习和人工智能技术的应用也存在很多风险和难题,例如多样性、偏见和歧视等。

因此,在统计工作中,我们需要放慢步伐,更加关注机器学习和人工智能等技术的安全、有效、公平性,同时确保决策具有道德和社会责任。

最后,对于大数据时代的统计工作来说,数据可视化也越来越重要。

统计结果的可视化可以帮助我们更好地理解数据,发现数据中的规律和模式,并且可以更好地向外界传达我们的结果和意义,帮助做出决策和规划。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

2013.5一、问题的提出大数据(bigdata)泛指伴随社会化数据出现的大量在线文本、图片、流媒体数据。

这里的“大”有两方面含义。

一是数据量巨大。

指在科学技术、计算机仿真、互联网应用、电子商务等诸多应用领域产生的海量数据集。

二是以数据为“大”的价值论。

即大数据之“大”更多地反映在其重要性上,而不完全指数量上的庞大。

因为可以从这些数据中挖掘出有价值的信息,目前大数据被世界经济论坛的相关报告认定为其价值堪比石油的新财富。

随着互联网和移动互联网的发展,无处不在的信息感知和采集终端,将行政管理、生产经营、商务活动等众多领域源源不断产生的海量即时电子化数据,通过“云计算”技术构建了一个与物质世界相平行的数字世界,所以很多专家认为人类已经跨入了大数据时代。

作为数据生产的权威机关,这样一个时代的到来给统计调查工作带来了什么样的挑战与启示?统计调查部门和统计调查工作者应该怎样应对才能满足时代提出的需求?对此,笔者拟结合多年基层工作经历进行初步探讨,意在抛砖引玉,以期更多的同仁共同关注、思考大数据时代对统计工作带来的变化和影响。

二、大数据时代的来临及意义有资料显示,1998年全球网民平均每月使用流量是1MB,2008年是1GB,2014年将是10GB。

全网流量累计达到1EB的时间在2001年是一年,在2004年是一个月,在2007年是一周,而2013年仅需一天,即一天产生的信息量可刻满1.88亿张DVD光盘。

淘宝网站单日数据产生量超过50TB,存储量40PB。

百度公司每天要处理60亿次搜索请求,几十PB数据。

一个城市若安装几十万个交通和安防摄像头,每月产生的数据量将达几十PB。

数据的规模越大,处理的难度也越大,但对其进行挖掘可能得到的价值更大,这就是大数据热的原因。

根据中国互联网络信息中心统计,2012年底我国网民数为5.64亿,手机网民为4.2亿。

这些网民每天在网上将产生海量的数据,这些数据记载着他们的思想、行为乃至情感,蕴含着丰富的内涵和很多规律性信息,通过分析相关数据,可以了解大众需求、诉求和意见,反映舆情民意。

大数据的重要价值还在于对其有效的开发和使用能对社会的发展起到巨大的推动作用。

企业和政府的信息系统每天源源不断产生大量数据。

根据全球第四大独立软件公司,美国赛门铁克公司的调研报告,全球企业的信息存储总量已达2.2ZB,年增67%。

医院、学校和银行等也都会收集和存储大量信息。

政府可以部署传感器等感知单元,收集环境和社会管理所需的信息。

2011年,英国《自然》杂志曾出版专刊指出,倘若能够有效地组织和使用大数据,人类将得到更多的机会发挥科学技术对社会发展的巨大推动作用。

(备注:1024B=1KB 1024KB=1MB 1024MB=1GB 1024GB=1TB 1024TB=1PB 1024PB=1EB 1024EB=1ZB1024ZB=1YB 1024YB=1BB )三、大数据时代统计工作面临的挑战可以预见,大数据时代的到来,对统计调查部门生产出更高质量的统计产品提供了难得的机遇和更大的可能性,但与此同时,带来更多的则是挑战。

这种挑战集中体现在随着大数据时代的到来,统计调查部门应该能够使用更少的投入生产出时效性更强、质量更高的产品。

社会各界对统计调查部门新的服务需求和更高的工作要求也将随之形成。

基于此,笔者认为在大数据背景下,统计调查工作正面临六大挑战。

一是统计工作方式的挑战。

在大数据科技大浪潮的背景下,数字化的行政商业记录、网络在线文本、流媒体数据大大拓宽了统计机构收集数据信息的渠道,统计调查部门的业务工作方式也势必发生改变。

在数据收集方面,会更多的需要从互联网、物联网的数据中进行挖掘收集。

如物联网的发展将使工业生产、运输物流、最终消费、服务等各种交易生成直接可用的数据。

又如,现行的居民家庭日记帐是通过统一的报表和计量方式将调查对象的收入消费行为转化为可用的数据,在大数据时代将有可能实现通过对超市商场收银系统、ETC电子收费系统、GPS定位测量、银行转账、微信等数据进行挖掘从而收集到需要的数据,不再需要调查对象长期认真的配合。

这种数据收集方式可以有效避免人为误差,篡改数据的可能性越来越小,数据质量将更有保大数据时代统计调查工作的挑战与思考季晓晶摘要:大数据(bi g d ata )泛指伴随社会化数据出现的大量在线文本、图片、流媒体数据。

因其数据量巨大又可以从中挖掘出有价值的信息,目前被世界经济论坛的相关报告认定为其价值堪比石油的新财富。

随着互联网和移动互联网的发展,无处不在的信息感知和采集终端,将行政管理、生产经营、商务活动等众多领域源源不断产生的海量即时电子化数据,通过“云计算”技术构建了一个与物质世界相平行的数字世界,所以很多专家认为人类已经跨入了大数据时代。

作为数据生产的权威机关,这样一个时代的到来给统计调查工作带来了什么样的挑战与启示?统计调查部门和统计调查工作者应该怎样应对才能满足时代提出的需求?对此,笔者结合多年基层工作经历进行了初步探讨。

关键词:大数据;统计调查工作;思考问题研究172013.5证。

从数据的处理分析利用方面看,目前统计工作主要针对结构化的数据进行分析处理,而大数据类型繁多,如网络日志、视频、图片、地理位置信息等,多以非结构化和半结构化为主,无法用传统的方式度量和处理,必须在现有的结构化数据汇总挖掘方式下,建立非结构化的数据分析利用方法。

二是统计方法制度的挑战。

近年来统计方法制度伴随着IT技术和经济生产方式的转变,进行了一系列变革。

大数据时代的来临及其应用将意味着统计工作进入到一个新的维度,统计调查部门将不再是唯一的数据生产部门,必须要接受数据生产社会化的现实,这对现行的方法制度的冲击是巨大的。

目前IBM日本公司从互联网新闻中搜索影响制造业的480项经济数据,计算出了采购经理人指数的预测值。

美国印第安纳大学利用心情分析工具,从千万条网民留言中归纳出六种心情,进而对道琼斯工业指数的变化进行预测,准确率达到87%。

从国内看,目前阿里研究中心推出的ISPI大有冲击CPI之势。

随着大数据挖掘技术的深入加之各类信息咨询业的崛起,传统统计的内容、对象、渠道将会发生很多变化,目前的统计体系和方法制度将不能适应新时代的要求。

三是统计数据质量的挑战。

过去,由于人类的认知能力有限,受数据获取技术的制约,想要获取大范围的情况比较困难,只能感知身边的个体数据乃至群体数据。

而大数据和云计算以及数据挖掘技术的日益成熟,数据将实现全社会共享,人们对数据的需求层次、质量和公开、细化的程度将不断提高。

与时同时,大数据时代还将催生大批民间咨询调查机构,他们的服务领域也将会从商务领域向公共领域渗透。

届时官方统计将有可能不再作为公共统计数据信息的唯一渠道。

没有代表性,不公开、不详细、失公允的数据就有可能被其他数据替代。

四是统计数据安全性的挑战。

随着IT技术与统计工作的深度融合,目前大部分统计原始数据实现了联网直报,各种办公软件均捆绑固定IP或电脑物理信息,网络在线对话活动十分频繁,数据安全性无疑会受到全面挑战。

五是统计发布方式的挑战。

在大数据的背景下,数据的获取和分析将全社会共享,而非统计部门一家独享。

这就决定了大数据背景下数据发布的意义在于看谁的数据更有价值,更能阐述现实意义。

可以大胆预测,微观数据在社会上的作用将不亚于宏观数据的重要性,将会受到更多的关注。

因此在发布结果上,宏观的GDP、平均收入等将满足不了公众的需求,可能需要通过可视化、交互等方式给予公众提供更为详尽的结构、区域等分析信息。

六是统计工作职能的挑战。

从统计工作的变化轨迹看,计划经济向市场经济转轨时,随着市场化的深入,价格信号会告诉市场主体需求与供给的状况,不再需要统计部门提供社会有多少需求、多少供给,来实现社会总需求与总供给的平衡,进而弱化了物量统计。

在大数据时代到来的变化趋势下,现行的一些统计指标,如投资、消费、铁路公路里程等指标的价值将会进一步弱化。

大数据所带来的价值可能会超过并会逐渐取代目前的一些统计数据,对于目前统计调查工作的职能、理念将会产生革命性的冲击。

由此可见,大数据时代对统计调查工作的冲击是巨大的,不仅涉及到整个统计工作方式和流程,更对当前的政府统计管理体制、职能、数据价值、统计能力等方面形成了挑战。

但同时应该看到,大数据也是一把“双刃剑”,对于统计业务的再造、数据质量的提高都有帮助。

统计调查部门应当借助于大数据所带来的有利条件,主动顺应数据社会化的趋势,在大数据浪潮中勇立潮头。

四、大数据时代统计调查工作路径的思考(一)未雨绸缪,加快推进统计调查工作与大数据时代融合尽管短期内大数据离现实的世界或许还有一段距离,但其带来的革命性冲击已经波及到现行的统计制度,加快推进统计调查工作与大数据衔接是应对各种挑战的惟一出路。

统计调查部门应利用现有的资源、网络、人员及信息化优势加快统计工作与大数据的衔接。

一是改革顶层设计。

从推进统计调查工作与大数据衔接的战略高度,根据现有统计指标及标准,针对大数据标准各异的特点,广泛搜集已经存在并继续增加的各类数据,分析其与目前的统计调查指标在口径、范围、内涵、定义等方面的差异,对统计调查部门应用大数据的统计标准进行统一设计、调整、规范和完善。

积极针对大数据“样本=总体”的特点,加快研究在“全样本”基础上进行抽样或计算的方法,促进传统统计方法制度与大数据衔接。

另外,应积极考虑从立法角度确定统计部门在大数据时代的信息主体地位,加快推进商业交易记录和网上搜索信息与统计各项指标的测算对接;加快实施各部门各行业行政记录与统计部门条件共享的进程;加快规范统计在线会话、数据发布、数据质量交叉验证的方式方法等。

二是倡导基层创新。

从基层角度看,基层调查队作为统计工作组成部门,主要开展收入、价格、产量、消费等调查工作,调查的组织方式也多以抽样调查为主,与大数据的关联度较高,应积极借助大数据在物价、通货膨胀、失业率、消费等统计方面的优势先行先试。

以物价统计为例,调查队系统开展的CPI统计采用固定权重的拉氏指数计算方法,包含八个商品分类,涉及千种商品、几万个调查销售网点。

而目前阿里研究中心推出的ISPI(网络零售价格指数),是采用国际统计学界与宏观经济学界广为接受的链式加权拉氏(Laspeyres)指数法,下设有十个商品和服务分类(食品、烟酒及用品、衣着、家庭设备用品及维修服务、医疗保健和个人用品、交通和通信、娱乐教育文化用品及服务、居住、办公用品及服务、爱好收藏投资等)。

从编制方法看,采用链式加权,考虑了权重的动态变化,商品篮子和权重会适时做出调整。

从数据采集看,是基于淘宝和天猫销售平台汇聚和即时产生的海量网络零售价格信息,将所有通过网络的消费商品和服务都纳入编制范畴,虽然链式加权,但基于强大的互联网信息处理功能,几乎没有什么成本。

相关文档
最新文档