大数据与统计新思维

合集下载

数据分析 培养统计思维 科学统计教学教案

数据分析 培养统计思维 科学统计教学教案

数据分析培养统计思维科学统计教学教案一、引言数据分析是一门关于对数据进行收集、整理、处理、解释和预测的学科,它在当代社会中发挥着重要的作用。

本教案旨在通过科学统计教学的方式,培养学生的统计思维,使他们能够熟练运用数据分析的方法和技巧。

本文将介绍数据分析的基本概念和理论,并提供一套科学统计教学教案。

二、数据分析的基本概念和理论1. 数据收集与整理为了进行有效的数据分析,首先需要收集和整理相关的数据。

数据可以是定量或定性的,可以通过问卷调查、观察、实验等方式获取。

整理数据包括数据清洗、去除脏数据和异常值等工作。

2. 描述性统计分析描述性统计分析是通过统计量对数据的特征进行描述和总结。

常用的描述性统计量包括均值、中位数、众数、标准差等。

通过描述性统计可以了解数据的分布情况和变异程度。

3. 探索性数据分析探索性数据分析是通过绘制图表、计算关联性等方法发现数据中隐藏的模式和规律。

通过探索性数据分析可以深入理解数据,并为后续的数据建模和预测打下基础。

4. 统计推断统计推断是通过从样本中抽取信息来推断总体的性质和特征。

常用的统计推断方法包括假设检验、置信区间等。

通过统计推断可以对总体进行预测和判断。

三、科学统计教学教案1. 教学目标通过本节课的学习,学生将能够理解数据分析的基本概念和理论,掌握数据收集和整理的方法,熟练运用描述性统计分析和探索性数据分析的技巧,以及理解和应用统计推断方法。

2. 教学内容- 数据收集和整理的基本方法和步骤- 描述性统计分析的常用统计量和计算方法- 探索性数据分析的图表绘制和关联性计算方法- 统计推断的假设检验和置信区间计算方法3. 教学步骤【第一步:数据收集和整理】首先通过案例分析介绍数据收集和整理的重要性和基本方法。

然后,通过实际操作教学,让学生掌握数据清洗和异常值去除的技巧。

【第二步:描述性统计分析】通过示例数据,引导学生了解和计算均值、中位数、众数、标准差等常用的描述性统计量。

统计师如何进行数据分析的创新思维

统计师如何进行数据分析的创新思维

统计师如何进行数据分析的创新思维数据分析是统计师在其职业生涯中最重要的任务之一。

通过运用创新思维,统计师可以更好地理解数据、提取关键信息并做出准确的预测和决策。

本文将探讨统计师如何运用创新思维进行数据分析,从而帮助他们在这个竞争激烈的领域中取得成功。

一、培养多元化的思维方式创新思维意味着不拘泥于传统的数据分析方法,而是采用一种更开放和多元的思考方式。

统计师应该鼓励自己在数据分析过程中灵活运用各种不同的思维模式,包括系统性思维、设计思维、关联思维等。

通过这种多元化的思维方式,统计师能够发现数据背后的更深层次的关联和模式。

二、善于提问和质疑在数据分析中,提问是一种触发思考和创新的重要方式。

统计师应该不断质疑问题的假设并寻找不同的解释和答案。

他们需要挖掘数据中的隐藏信息,并提出合理的假设来解释这些信息。

通过不断提问和质疑,统计师能够发现隐藏的趋势和机会,从而做出更准确和有针对性的数据分析。

三、融合多领域知识创新思维要求统计师能够将多领域的知识融合到数据分析中。

他们应该不断拓宽自己的知识领域,包括经济学、金融学、心理学等。

这些不同领域的知识可以帮助统计师更好地理解数据,并提供更有创意和深度的分析方法。

四、利用技术工具和方法随着技术的进步,统计师也应该善于利用各种数据分析工具和方法。

他们可以运用机器学习算法、数据挖掘技术、人工智能等先进技术来加速和优化数据分析过程。

同时,统计师还要关注最新的数据可视化工具和方法,以便能够将分析结果更清晰地呈现给相关人员。

五、开展团队合作和交流在数据分析中,团队合作和交流是创新思维的重要支撑。

统计师应该与其他专业人员(如工程师、市场营销人员等)建立紧密的合作关系,共同探索和分析数据。

通过团队的合作和交流,统计师可以得到不同领域的观点和见解,并通过交流来推动彼此的思维和创新。

结论统计师在进行数据分析时,应该运用创新思维来提升其分析能力和产出结果的质量。

他们需要培养多元化的思维方式,善于提问和质疑,融合多领域知识,利用技术工具和方法,以及开展团队合作和交流。

大数据思维在统计分析中的应用

大数据思维在统计分析中的应用
4 结语
当前,社会发展越来越快,在这个信息爆炸的年代要想 更全面地认识一个事物的发展状态,对事物的发展作出科学 的宏观把控,需要大数据技术的有力支持。但大数据技术作 为一个新兴技术,还有很大的发展空间和发展潜力,人们应 该在培养大数据思维的同时,通过实践积极将大数据的优势 补充到企事业单位和政府工作的各个方面,以保证国家能够 有序发展,人民生活更加美好。
(6):45-50. 【4】屈展.大数据思维在统计分析中的应用[J].经贸实践,2017(21):344.
133
中小企业管理与科技
Management & Technology of SME
大数据思维在统计分析中的应用
Application of Big Data Thinking in Statistical Analysis
贾培佳
(对外经济贸易大学统计学院,北京 100029) JIA Pei-jia
(School of Statistics, University of International Business and Economics, Beijing 100029, China)
3 大数据思维在统计分析工作中的实际应用
近年来,大数据思维在政府工作中已经逐渐渗透到各方 面的工作,例如,与人们息息相关的经济发展、就业统计、医疗 保障等方面都已经将大数据分析作为政策调整和体制改革的 重要数据分析手段,也正是因为大数据思维的运用,才能保证 我国经济的高速发展、人民生活水平的不断提高。 3.1 在社会经济发展中的应用
第二,审计数据的高效率处理。以大数据技术为技术支 撑,通过综合运用多项规则来进行数据的分析,提升反馈效 果和速度,确保数据运行的准确性。
第三,实现审计数据的回溯及统计分析。基于大数据技 术构建的审计数据统计分析系统,可以实现对审计数据的回 溯分析,也可以对历史数据进行统计分析,这对于分析数据 间的关联性具有重要的意义。总之,通过完善审计数据统计 分析系统,可以更好地实现对审计数据的高效管理、监督和 分析,充分发挥审计数据资源在审计工作中的重要作用。 3.4 在人口普查中的应用

大数据思维在统计分析中的运用研究

大数据思维在统计分析中的运用研究

大数据思维在统计分析中的运用研究摘要:统计分析在各时期发展中都具有重要地位,其主要核心目的就是促进时代发展。

而经济社会快速发展,还需对统计分析模式不断创新。

本文主要分析大数据思维在统计分析中的运用研究关键词:大数据思维;统计分析;运用引言通过大数据思维与统计分析融合,为统计分析创建发展平台,以大数据思维信息化、广泛性等特点,实时获取社会信息,并且还可以把获取到的信息数据按照类别储存、管理。

大数据管理平台自身就能够容乃海量信息,满足统计分析工作信息数据储存要求,其以统计分析结果为基础,时刻掌握各时代发展情况,从而全面提升统计分析工作质量与效率。

1、对大数据的认知与理解大数据,指无法在一定时间范围内使用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样性的信息资产。

在大数据时代,企业资产不再仅仅局限于人员、财力、物质,数据作为新型企业资产,已经成为企业快速发展最为核心的竞争因素,在企业的发展中发挥着举足轻重的作用。

大数据基于自身数据量大、数据多样性、处理速度快等特点将构建新的经济增长模式,激发各行各业经济增长的巨大潜力。

目前,我国烟草行业存在庞大的数据资源,但对数据的挖掘,更多集中在商业领域的物流运输、精准营销等,大数据深度挖掘仍然处于起步阶段,并未发挥出大数据应有的作用。

卷烟生产企业数据量庞大,数据结构复杂,但是这部分数据很少纳入大数据分析和应用,更多的是基于小样本数据进行统计分析,还没有应用到企业各环节并成系统地构建。

基于上述,通过数据驱动管理,清除管理死角,提升生产制造管理水平,构建生产组织大数据分析决策系统,已然是管理工作的核心。

2、统计分析中应用大数据思维的重要性2.1解决各项限制因素影响问题统计分析工作开展,通过搜集与分析各类信息数据,及具体工作提供重要信息数据。

在以往发展过程中,统计分析工作模式是单一化的,需要在指定时间、要求等条件下,才能对具体信息数据进行搜集、整理、分析等,从而影响整体工作效率。

爆发大数据时代预见未来的新思维

爆发大数据时代预见未来的新思维

.
创新的思维方式
大数据时代也是创新的时代。在这个时代,企业必须进行创新,以适
应市场的需求。因此,创新的思维方式成为了必不可少的新思维。这
种思维方式要求我们不断地在实践中探索和创新,提出具有前瞻性的想法Βιβλιοθήκη 方案。.敏捷的思维方式
在大数据时代中,市场变化非常快速,企业必须快速响应市场的需求。
因此,敏捷的思维方式成为了必不可少的新思维。这种思维方式要求
我们快速适应市场的变化,及时调整企业的方向和策略。
.
跨界的思维方式
大数据时代中,不同领域之间的融合越来越重要。因此,跨界的思维
方式成为了必不可少的新思维。这种思维方式要求我们在不同领域之
间跨越界限,寻找新的机遇和合作,推动不同领域之间的融合发展。
.
社会责任的思维方式
在大数据时代中,企业要承担更多的社会责任。因此,社会责任的思 维方式成为了必不可少的新思维。这种思维方式要求我们在商业运营 的同时,积极履行社会责任,为社会做出贡献。 总之,预见未来的新思维在大数据时代中变得尤为重要。这些新思维 将帮助企业更好地把握机遇和应对挑战,推进企业的发展
爆发:大数据时代预见未来的新思维
大数据时代带来了巨大的机遇和挑战。在这个时代,预见未来的新思
维是必不可少的。以下是一些新思维:
.
数据驱动的思维方式
在大数据时代中,数据成为了决策的重要依据。因此,数据驱动的思
维方式成为了必须具备的新思维。这种思维方式要求我们从数据中寻
找规律和趋势,以及采用数据分析方法进行决策。

论大数据与统计新思维

论大数据与统计新思维

的 样 本数 据 ,扩 充成 任意 类 型、没有上 限 、数字 化 数 据。大 数 据对 传 该结 合大 数据 的特 征 ,从 统计分 析过 程 、实证 分 析思路 、推 断分 析逻
统 统 计学 造 成 的 最大 影 响 就 是 :以大 数 据 的 大体 量 和 多样性 覆 盖 辑 、统 计分析评 价 的标 准等 角度作出相 应调 整。
借 助现 代 信息 技 术 和 计算 机 工具 ,对 所有 类 型的 数 据 进行 记 录 和 了“假设 —— 验 证 ”过 程 中的漏 洞 与不 合理 情况 ;同时 ,大 数 据 下 的
存 储 。大 数 据 将传 统 统 计 学 中刻 意 收集 的 、有一 定 限 度 的、结 构 化 样 本 即为总体 ,因此 在 推 断分析 过 程 不需 要依 据概 率 。新 的思 维应
大 数 据 是 一 个 整 体 概 念 ,它的 “大 ”指 的 不是 数 量 大 小 ,而 是 断总 体特 征 。然而 ,大 数据 时 代不 存在 数 据短 缺 和分 析 运算 手段有
意 味 着 “整 体 、全 体 ”。站在 统计 学 的 角度 ,大 数 据 是 以信息 为单位 , 限 的情况 ,因此 可以简化 定量 分析 过 程 ;并且 ,大 数据 的全 面 眭弥补
家战 略 、小到 民 间商业 ,尤 其是 电子商 务等 领 域 早 已率 先应 用 大 数 理 、提 炼 、汲 取 (删 除 )、分 配 和存 储 数据 的过 程 J。
据 技 术 。鉴于 此 ,以数 据 为研 究 对 象 、具 有 专业 严谨 特点 的统 计 学 , 2.3 分析 数 据 的思 维 变化
的优 势 进 行合 理 改 变而 形 成 。所 谓传 统 统 计思 维 是指 通 过 数 据 分 总 体 。另 外,传 统 思 维 下的 个 体 由于 符 号或 称 谓 的 重 叠异 位 ,导 致

大数据的思维方式(一)

大数据的思维方式(一)

大数据的思维方式(一)引言概述:在当今信息爆炸的时代,大数据已经成为企业和组织决策中不可或缺的重要元素。

大数据的思维方式则是指我们在面对大规模、多样化的数据时,所需要具备的一种思维模式和技能。

本文将从五个大点来阐述大数据的思维方式,并探讨其在决策和创新中的应用。

正文:一、数据意识1. 理解数据的价值:认识数据对企业发展的重要性,了解数据可以带来的商业价值。

2. 掌握数据采集和分析技术:学习数据采集、存储和处理的方法和工具,提高数据处理能力。

3. 建立数据驱动的决策机制:倡导以数据为基础做出决策,降低主观臆断的风险。

二、跨领域思维1. 学习多个领域的知识:拓宽视野,还可以从其他领域中借鉴经验和方法论。

2. 带着问题来思考:以问题驱动的思维方式,利用不同领域的知识来解决实际问题。

3. 发掘数据中的潜在联系:对多个领域的知识进行连接和整合,挖掘出新的洞察和发现。

三、统计分析能力1. 学习基本统计学原理:了解统计学的基本概念和方法,掌握常用的统计分析技巧。

2. 掌握数据可视化技术:通过图表和可视化工具将数据转化为更直观的形式,便于分析和传达。

3. 进行数据模型建立和预测:利用统计学和机器学习的方法,对数据进行建模和预测,提供决策支持。

四、创新思维1. 提倡挑战常规和传统观念:打破固有的思维模式,敢于尝试和创新。

2. 鼓励多元化的想法:从多个角度思考问题,纳入不同的观点和意见。

3. 快速试错和迭代:以快速试错的方式进行创新实验,从中学习和不断改进。

五、团队协作1. 建立跨学科的团队:组建既懂领域知识又懂数据分析的团队,共同解决问题。

2. 推行数据共享和开放合作:鼓励团队成员之间分享数据和思路,促进协作和共同学习。

3. 培养有效沟通和解释能力:能够将复杂的数据分析结果以简洁明了的方式向团队和决策者解释和传达。

总结:大数据的思维方式是在处理大规模、多样化的数据时所需要具备的思考方式和技能。

它要求我们具备数据意识、跨领域思维、统计分析能力、创新思维和团队协作能力。

大数据统计新思维分析

大数据统计新思维分析

大数据统计新思维分析摘要:大数据时代,人们的思维与行为方式都在经受大数据的影响和改变。

信息化时代背景下,统计工作也受到了大数据新思维的冲击。

本文根据大数据的发展趋势,从理论和实践上针对统计新思维做出分析,根据统计思维发生的改变,提出相应的建议,促使统计思维紧跟科技和时代发展步伐。

关键词:大数据;统计新思维;信息化一、对大数据的基本认识传统统计工作的研究对象是有意收集的结构化样本数据。

而大数据时代,统计工作需要面临的是动态化发展、随时储存,具有无限容量的多种类型数据。

受信息化的冲击,传统统计工作中的各种缺陷也在不断暴露出来。

而大数据不仅指信息量大,还包括现代信息技术受到的条条框框限制较少,可以接纳各种各样的数据。

二、深化认识统计思维的变化大数据时代必然带来统计思维的变化。

当然统计的本质是指根据数据来还原事物本来的面目。

现在,我们可以借助大数据多角度无限空间地去实现这个目标。

相应地,统计思维也在发生着改变。

(一)认识数据的思维发生变化。

大数据相比于传统数据,在类型、量化方式和数据来源上都发成了巨大变化。

传统数据收集目的性强,可以确定数据来源,即数据提供者的信息和身份,在数据分析后还可以进行修改校对。

而大数据很难从微观层面追溯来源,因为大数据基本来源于互联网,数据产生并不以收集为目的。

传统数据的数据类型具有一定的结构性,基本上是定量和定性数据,标准和格式也是固定的,最终通过统计图标等方式呈现出来。

而大数据没有结构性或者具有半结构性特点,包括一切可以记录的符号。

传统数据在数据量化方面来说是非常成熟的。

量化之后,数据可以直接用来做分析和计算。

而大数据在数据量化方面则面临一个巨大的挑战。

因为大数据背景下,不同系统对数据的分析都是不同的。

因此,大数据的非结构性特征改变了传统的数据结构和数据量化方式。

(二)收集数据的思维发生变化。

传统统计是需要什么数据就去收集,收集数据后做好选择和比较就可以。

而大数据时代,数据来源多种多样,数据类型囊括万千,怎么去辨别数据真伪,怎样确定关联物,怎么适应数据快速的更新换代,都是摆在统计工作者面前的问题。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

第31卷第1期2014年1月统计研究Statistical Research Vol.31,No.1Jan.2014大数据与统计新思维*李金昌内容提要:最近,《大数据时代》等几本书引起了广泛的关注,大数据正在改变着人们的行为与思维,那么以数据为研究对象的统计学该如何应对,本文基于对大数据的理解,认为统计思维需要发生三个方面的改变,即要改变认识数据的思维、收集数据的思维和分析数据的思维。

其中,数据分析思维又要在统计分析过程、实证分析思路、推断分析逻辑等方面发生变化,同时统计分析评价的标准也要有所调整。

围绕这些变化,本文提出需要从八个方面去积极应对大数据,以促使统计学科跟上时代的步伐。

关键词:大数据;统计思维;统计学中图分类号:C829.2文献标识码:A文章编号:1002-4565(2014)01-0010-06Big Data and New Mind on StatisticsLi JinchangAbstract :The latest publication of a book such as “Big Data :A Revolution That Will Transform How We Live ,Work ,and Think ”has captured the public attention.With the big data changing the way people think and behave ,how should the development of statistics ,a discipline that aims at data ,take its course ?Based on its understanding of the big data ,this paper puts forward three dimensions in which the mind on statistics need to be changed :the interpretation of data ,the idea of data collection and the view of data analysis ,where the process of statistical analysis ,the mode of empirical analysis and the logic of inferential analysis ,and also the evaluation standards of statistical analysis should be adjusted.According to those changes ,this paper suggests that the big data be actively dealt with from eight perspectives ,in order to keep the science of statistics to abreast of the times.Key words :Big Data ;Mind on Statistics ;Statistics*本文为浙江省高校人文社科重点研究基地(统计学)成果之一。

本文为第十七次全国统计科学讨论会特邀论文。

最近,译著《大数据时代》[1](英国Viktor Mayer-Schǒnberger ,Kenneth Cukier 著)和《驾驭大数据》[2](美国Bill Franks 著),以及我国学者涂子沛[3]、郭晓科的《大数据》[4]等几本书引起了广泛的关注,其他各种媒体关于大数据的讨论也层出不穷,大数据已成为流行语。

有人认为,大数据是一场新的革命,将横扫一切领域,重构世界。

不少国家已将大数据作为国家发展战略,而商业领域更是将其视为下一个投资的宝库。

毫无疑问,大数据时代已经来临,它正在悄悄地改变着人们的行为与思维,难以阻挡,无法抗拒。

在计算机科学、电子商务等领域已率先在大数据技术开发与应用方面做出不俗成就的时候,以数据为研究对象的统计学该如何应对?无动于衷还是盲目追从?正确的态度应该是理性对待、积极跟进、改变思维、谋求发展。

一、对大数据的初步认识到底什么是大数据,不同的学科领域、不同行业的从业人员肯定会有不同的理解。

与传统意义上的数据相比,大数据的“大”与“数据”都有了新的含义,绝不仅仅是体量的问题,更重要的是数据的内涵问题。

或许,“大”与“数据”根本就不能分开,只有把“大数据”当作一个整体概念来理解才有意义。

那么从统计学的角度,我们该如何来理解大数据?笔者认为大数据不是基于人工设计、借助传统方法而获得的有限、固定、不连续、不可扩充的结构型数据,而是基于现代信息技术与工具可以自动记录、储存和连续扩充的、大大超出传统统计记录与储存能第31卷第1期李金昌:大数据与统计新思维·11·力的一切类型的数据。

有人用4V[4](Volume,Variety、Velocity和Value)来形容大数据的特征①,最根本之处就是数字化基础上的数据化。

通俗地说,大数据就是一切可记录信号的集合。

如果说,传统统计研究的数据是有意收集的结构化的样本数据,那么现在我们面对的数据则是一切可以记录和存储、源源不断扩充、超大容量的各种类型的数据。

样本数据与大数据的这种区别,具有什么样的统计学意义?我们知道,样本数据是按照特定研究目的、依据抽样方案获得的格式化的数据,不仅数据量有限,而且如果过程偏离方案,数据就不能满足要求。

基于样本数据所进行的分析,其空间十分有限———通常无法满足多层次、多角度的需要,若遇到抽样方案事先未曾考虑到的问题,数据的不可扩充性缺点就暴露无疑。

而大数据是一切可以通过现代信息技术记录和量化的数据,不仅所蕴含的信息量巨大,而且不受各种框框的限制———任何种类的数据都来者不拒、也无法抵拒。

不难发现,大数据相比于样本数据的最大优点是,具有巨大的数据选择空间,可以进行多维、多角度的数据分析。

更为重要的是,由于大数据的大体量与多样性,样本不足以呈现的某些规律,大数据可以体现;样本不足以捕捉的某些弱小信息,大数据可以覆盖;样本中被认为异常的值,大数据得以认可。

这将极大地提高我们认识现象的能力,避免丢失很多重要的信息,避免失去很多决策选择的机会。

这里,我们自然就想到了大量观察与大数据这两个概念中的“大”的区别。

对于传统的统计研究方法而言,大量观察法是基础,是收集数据的基本理论依据,其主要思想是要对足够量的个体进行调查观察,以确保有足够的微观基础来消除或削弱个体差异对整体特征的影响,足以归纳出关于总体的数量规律。

所以,这里的“大”是足够的意思。

大量观察法的极端情况就是普查,但限于各种因素不能经常进行,所以一般情况下只能进行抽样调查,这就需要精确计算最小的样本量。

基于大量观察法获得的样本数据才符合大数法则或大数定律,才能用以推断总体。

而大数据则指不限量的数据,是基于现代信息技术的一切可以记录的全体数据,其特征之一就是尽量多地包含数据,它与样本容量无关,只与信息来源的数量与储存容量有关。

因此,这里的“大”是全体的意思。

可见,统计学的研究对象没有变,变的是数据的来源、体量、类型、速度与量化的方式。

这种变化对统计研究带来了什么样的挑战?《大数据时代》提出了三个最显著的变化:一是样本等于总体,二是不再追求精确性,三是相关分析比因果分析更重要[1]。

这些观点具有很强的震撼力,迫使我们对现有的统计研究思维进行反思。

尽管这些观点值得进一步商榷,但至少告诉我们这样一个道理:统计研究对象的基础变了,统计思维也要跟着变化,否则统计研究的对象只是全部数据的5%,而且越来越少,那又怎么能说统计学是一门关于数据的科学呢?又怎么去完善和发展开展数据分析研究的统计方法论呢?二、统计思维的变化改变统计思维,是大数据时代的必然要求。

否则,统计学科就有可能被大数据的潮流所吞没,至少会被边缘化,失去一次重要的参与推动历史变革的机遇。

当然,统计思维的变化应该以一个永恒不变的主题为前提,那就是通过数据分析去揭示事物的真相,这个真相就是事物的生存规律、联系规律和发展规律。

也就是说,数据分析要以数据背后的数据去还原事物的本来面目,以达到求真的目的。

如果说,我们原来限于各种条件只能根据有限的样本数据去实现这个目的,那么现在我们则可以在很多方面借助大数据去实现这个目的,关键就看我们开展数据分析的能力有多大,或者说利用大数据、从一切数据中提取有价值信息的能力有多大———因为大数据无疑增加了统计分析的难度,而这又首先取决于我们统计思维能否适应大数据时代的变化。

正如迈尔-舍恩伯格所说:大数据发展的核心动力就是人类测量、记录和分析世界的渴望[1]。

那么,统计思维应该发生怎样的变化?笔者认为主要要有如下三大变化:(一)认识数据的思维要变化前面已经提到,与传统数据相比,大数据不仅体量大、变化快,而且其来源、类型和量化方式都发生了根本性的变化,使得数据杂乱、多样、不规整。

首先,从来源上看,传统的数据收集因为具有很①也有指4V是Volume,Velocity,Variety和Veracity;或者Volume,Velocity,Variety和Vitality。

·12·统计研究2014年1月强的针对性,因此数据的提供者大多是确定的,身份特征是可识别的,有的还可以进行事后核对。

但大数据通常来源于物联网,不是为了特定的数据收集目的而产生,而是人们一切可记录的信号(当然,任何信号的产生都有其目的,但它们是发散的),并且身份识别十分困难。

从某种意义上讲,大数据来源的微观基础是很难追溯的。

其次,从类型上看,传统数据基本上是结构型数据,即定量数据加上少量专门设计的定性数据,格式化,有标准,可以用常规的统计指标或统计图表加以表现。

但大数据更多的是非结构型数据、半结构型数据或异构数据,包括了一切可记录、可存储的信号,多样化、无标准、难以用传统的统计指标或统计图表加以表现。

同时,不同的网络信息系统有不同的数据识别方式,相互之间也没用统一的数据分类标准。

再者,现在有的数据库是非关系型的数据库,不需要预先设定记录结构即可自动包容大量各种各样的数据。

第三,从量化方式上看,传统数据的量化处理已经有一整套较为完整的方式与过程,量化的结果可直接用于各种运算与分析。

但大数据中大量的非结构化数据如何量化(结构化)、如何从中提取信息、如何与结构化数据对接是一个崭新的问题。

正如Franks所说:“几乎没有哪种分析过程能够直接对非结构化数据进行分析,也无法直接从非结构化的数据中得出结论。

相关文档
最新文档