2016年大数据领域成果及未来趋势

2016年已结束，外媒KDnuggets日前针对大数据领域在2016年度取得的重大发展，以及2017年度可能出现的变化趋势，询问了行业内的顶级专家。虽然各位专家的意见不尽相同，但从其发言中大约可以总结出一个共通点：大数据研究正在由前几年的新鲜技术变得越来越普及和商业化。同时由于研究的向前推进，以数据为基础的人工智能、机器学习和物联网等其他各个领域也将会取得越来越大的成果。

Craig Brown，大数据、数据科学、数据库技术领域专家。美国知名的青年导师、科技导师，以及作家。他认为，数据科学领域在2016年出现了一次大规模数据增长。这一增长从需求端推动了诸多云计算服务供应商的快速成长，包括亚马逊AWS、微软Azure和Rackspace等。他认为，数据增长的势头将在2017年延续。并且，2017年将会出现更多基于这些大数据研究的应用项目，包括机器学习、认知计算以及预测分析等。不过，随着数据量增加，应用项目逐渐丰富，用户的数据安全问题也将变得日益严峻，这一点在2017年也不会有很大改善。2017年，数据科学家、首席数据官、首席数据架构师等职位将变得越来越抢手，岗位职责和定位也会越来越明晰。实时数据流和功能更强大的数据传输通道将

彻底颠覆所谓“快速数据”（fast data）和“可操控数据”（actionable data）的定义。

总体上说，大数据科学仍然是一个处于不断发展中的学科，在2017年，这一学科一定会迎来比2016年更大的发展。如果把大数据比作一辆汽车的驾驶员，那么在这位驾驶员的带领下，未来基于大数据的各种实际应用项目将会越来越丰富，也即这辆汽车上的乘客会越来越多。

James Kobielus，大数据领域专家，IBM公司大数据研究首席科学家。他认为，分布式框架Hadoop在大数据领域的重要性正在日渐减弱，MapReduce模型、HBase数据库，甚至分布式文件系统HDFS在大数据科学家眼中也远没有从前重要了。

2017年最显著的变化趋势应该来自于程序员群体，他们将越来越关注数据库领域的编程技能，通过这一技能的提升，获得更多的职业发展优势。他认为在2017年，最热门的大数据科学应用项目将会聚焦于流媒体分析、嵌入式深度学习、物联网、聊天机器人、认知计算、自动驾驶、计算机视觉和语音识别等领域。同时，我们也将会看到，新一代的神经网络芯片、GPU和其他的高性能认知计算框架也将在明年得到更大的发展。

Douglas Laney，美国著名咨询公司Gartner副总裁，首席分析师。2016年，大数据领域一个最大的变化就是人们不

再谈论大数据了，因为大数据已经充斥了我们的生活，随处可见。现在大家关注的焦点变成了如何将大数据业务化、商用化。在Gartner内部，和客户现在谈论最多的??题是如何管理、评估信息资产，以及如何将信息资产变现。

2017年，我们应该努力搞清楚大数据领域几项重要的权利和义务，包括数据的所有权、特权和隐私权，特别是由物联网产生的数据。另外，关于数据能否被视为一种全新形态的资产，这一问题会继续引发会计行业、律师行业和保险行业的困惑。但随着机构投资人和股票分析师们越来越关注一家企业的信息化进程，传统行业的这种困惑将会有所缓解。2017年，各行各业都将会更加关注大数据领域的人才招揽，例如数据经理人和其他的信息整合者。

Yves Mulkers，知名博客，一切皆数据（All Things Data）博主之一，负责维护大数据板块。他认为，在2016年，大数据这个词似乎不像前几年那样热门。随着大数据相关的基础设施、服务器、软件系统和理论体系的持续发展，目前大数据分析方面的解决方案已经逐渐成熟，并且越来越普及，而不像前几年那样还是少数科技极客眼中的新领域。

随着技术的成熟，自助和自动化的信息服务也将越来越受到重视。大数据分析工具和相关的解决方案虽然会变得越来越简单易用，但我们仍然需要具备基本的通信技术和信息处理领域的专业知识，随时准备迎接下一个发展阶段的到

来。未来，和机器学习、人工智能、VR/AR、物联网相关的大数据解决方案将越来越完备，摩尔定律的边界也会受到更多的挑战。

2020年大数据行业发展报告出炉

2020年大数据行业发展报告出炉马云曾经说过一句话，当今以及未来的世界当中，最珍贵的能源就是大数据。随着云计算和大数据技术的兴起和快速发展，大数据技术应用已经融入到了各行各业。很多公司已经从大数据中获益。大数据不仅运用在财务核算上，更能在从研发到采购、生产、物流、营销、客户、订单管理等等一系列企业运营上发挥作用。借助数据管理，企业不仅可以有效预估和分析管理效果，而且还能为企业在战略问题，资源整合问题，业务拓展提供决策依据。因此大数据产业的发展将可以几大的促进企业的进步，实现跨时代的变革。 2016-2021年大数据行业深度分析及“十三五”发展规划指导报告认为，2017年大数据行业将呈现六大趋势： 1.将会推出更多的分析工具随着数据量的不断增长，数据分析方法也将进一步提高。虽然SQL依然会是数据分析的标准方法，但是新兴分析工具也不可小觑。 Spark是其中之一，它是大数据时代下的一个快速处理数据分析工作的框架，多家世界顶级的数据企业例如Google，Facebook等现已纷纷转向Spark框架。这些新兴分析工具操作简单，对用户没有任何编码知识要求。 Microsoft和Salesforce都已经推出了新型分析工具， MicrosoftRServer和LightningCRM平台，非编码人员也可以创建应用程序来查看数据。 2.实时数据分析将获得更多关注技术专家预测，2017年企业将需要实时数据分析工具，来帮助他们利用数据进行实时决策。实时计算一般都是针对海量数据进行的，一般要求为秒级。目前有几款数据分析工具可以提供实时访问数据，如GoogleAnalytics和Clicky。高德纳资讯公司预测，到2018年，近50%的企业都将面临隐私泄露问题。事实

数据中心的未来发展趋势

数据中心未来的发展趋势经历了ISP/ICP飞速发展，.COM公司的风靡后，一种新的服务模式--互联网数据中心（Internet Data Center，缩写为IDC）正悄然兴起。它在国外吸引着像AT&T、AO- 、IBM、Exodus、UUNET等大公司的巨资投入；国内不但四大电信运营商中国电信、中国网通、中国联通、中国吉通开始做跑马圈地，一些专业服务商如清华万博、首都在线和世纪互联等，也参与了角逐。 IDC(Internet Data Center) - Internet数据中心，它是传统的数据中心与Internet的结合，它除了具有传统的数据中心所具有的特点外，如数据集中、主机运行可靠等，还应具有访问方式的变化、要做到7x24服务、反应速度快等。IDC是一个提供资源外包服务的基地，它应具有非常好的机房环境、安全保证、网络带宽、主机的数量和主机的性能、大的存储数据空间、软件环境以及优秀的服务性能。 IDC作为提供资源外包服务的基地，它可以为企业和各类网站提供专业化的服务器托管、空间租用、网络批发带宽甚至ASP、EC等业务。简单地理解，IDC是对入驻(Hosting)企业、商户或网站服务器群托管的场所；是各种模式电子商务赖以安全运作的基础设施，也是支持企业及其商业联盟(其分销商、供应商、客户等)实施价值链管理的平台。形象地说，IDC是个高品质机房，在其建设方面，对各个方面都有很高的要求。 IDC的总体结构如下图所示:

IDC的建设主要在如下几个方面：网络建设 IDC主要是靠其有一个高性能的网络为其客户提供服务，这个高性能的网络包括其- AN、WAN和与Internet接入等方面。 IDC的网络建设主要有： - IDC的- AN的建设，包括其- AN的基础结构，- AN的层次，- AN的性能。- IDC的WAN的建设，即IDC的各分支机构之间相互连接的广域网的建设等。- IDC的用户接入系统建设，即如何保证IDC的用户以安全、可靠的方式把数据传到IDC的数据中心，或对存放在IDC的用户自己的设备进行维护，这需要IDC 为用户提供相应的接入方式，如拨号接入、专线接入及VPN等。 - IDC与Internet互联的建设。

2020教育大数据行业趋势及存在的问题

2020年教育大数据行业趋势及存在的问题 2020年

目录 1.教育大数据行业前景趋势 (4) 1.1产品种类趋于多样化 (4) 1.2数据安全意识不断增强 (4) 1.3产学研合力谋求突破 (5) 1.4教育数据研究人员不断增加 (5) 1.5市场发展前景广阔 (6) 1.6行业协同整合成为趋势 (6) 1.7生态化建设进一步开放 (7) 1.8需求开拓 (7) 2.教育大数据行业现状 (8) 2.1教育大数据行业定义及产业链分析 (8) 2.2教育大数据市场规模分析 (10) 2.3教育大数据市场运营情况分析 (10) 3.教育大数据行业存在的问题 (13) 3.1数据标准有待完善 (13) 3.2数据采集覆盖面窄 (13) 3.3模型构建专业性不足 (14) 3.4产品服务单一 (14) 3.5开放共享尚未形成 (15) 3.6隐私保护有待完善 (15)

3.7供应链整合度低 (15) 3.8产业结构调整进展缓慢 (15) 4.教育大数据行业政策环境分析 (16) 4.1教育大数据行业政策环境分析 (16) 4.2教育大数据行业经济环境分析 (17) 4.3教育大数据行业社会环境分析 (17) 4.4教育大数据行业技术环境分析 (17) 5.教育大数据行业竞争分析 (19) 5.1教育大数据行业竞争分析 (19) 5.1.1对上游议价能力分析 (19) 5.1.2对下游议价能力分析 (19) 5.1.3潜在进入者分析 (20) 5.1.4替代品或替代服务分析 (20) 5.2中国教育大数据行业品牌竞争格局分析 (21) 5.3中国教育大数据行业竞争强度分析 (21) 6.教育大数据产业投资分析 (22) 6.1中国教育大数据技术投资趋势分析 (22) 6.2中国教育大数据行业投资风险 (22) 6.3中国教育大数据行业投资收益 (23)

数据库未来发展趋势(同名25272)

数据库技术最新发展数据库（Databases，简称DB）是指长期保存在计算机的存储设备上、并按照某种模型组织起来的、可以被各种用户或应用共享的数据的集合。数据库管理系统（Database Management Systems，简称DBMS）是指提供各种数据管理服务的计算机软件系统，这种服务包括数据对象定义、数据存储与备份、数据访问与更新、数据统计与分析、数据安全保护、数据库运行管理以及数据库建立和维护等。由于企业信息化的目的就是要以现代信息技术为手段，对伴随着企业生产和经营过程而产生的数据进行收集、加工、管理和利用，以改善企业生产经营的整体效率，增强企业的竞争力。所以，数据库是企业信息化不可缺少的工具，是绝大部分企业信息系统的核心。纵观数据库发展，三大数据库巨头公司纷纷推出其最新产品，数据库市场竞争日益加剧。从最新的IDC报告显示，在关系数据库管理系统(RDBMS)软件市场上，Oracle继续领先对手IBM和微软，但是微软在2006年取得了更快的销售增长率…… 根据对数据库发展的技术趋势不难看出，整个数据库发展呈现出了三个主要特征： (1)、支持XML数据格式 IBM公司在它新推出的DB2 9版本中，直接把对XML的支持作为其新产品的最大卖点，号称是业内第一个同时支持关系型数据和XML数据的混合数据库，无需重新定义XML数据的格式，或将其置于数据库大型对象的前提下，IBM DB2 9允许用户无缝管理普通关系数据和纯XML数据。对于传统关系型数据与层次型数据的混合应用已经成为了新一代数据库产品所不可或缺的特点。除了IBM，Oracle和微软也同时宣传了它们的产品也可以实现高性能XML存储与查询，使现有应用更好的与XML共存。 (2)、商业智能成重点为应对日益加剧的商业竞争，企业不断增加内部IT及信息系统，使企业的商业数据成几何数量级不断递增，如何能够从这些海量数据中获取更多的信息，以便分析决策将数据转化为商业价值，就成为目前数据库厂商关注的焦点。各数据库厂商在新推出的产品中，纷纷表示自己的产品在商业智能方面有很大提高。如：微软最新版SQL Server 2005就集成了完整的商业智能套件，包括数据仓库、数据分析、ETL工具、报表及数据挖掘等，并有针对性的做了一些优化。如何更好的支持商业智能将是未来数据库产品发展的主要趋势之一。 (3)、SOA架构支持 SOA已经成为目前IT业内的一个大的发展趋势，最初IBM和BEA是该理念的主要推动者，后来有越来越多的企业加入，开始宣称支持SOA，其中包括Oracle，而微软开始并不是非常赞同SOA的，但是，随着时间的发展，目前国内主流的数据库厂商都开始宣称他们的产品是完全支持SOA架构的，包括微软的SQL Server 2005，从微软态度的转变可以看出，未来IT业的发展与融合，SOA正在成长为一个主流的趋势。本文仅对数据库管理系统的现状以及一些重要的发展方向作一简要综述，并不具体对一些技术内容进行深入探讨，每一个方向的研究课题都可以充分地展开。

教育行业的大数据未来发展趋势

教育行业的大数据未来发展趋势大数据引领的风潮仍在继续，大数据革命推动各个领域的发展和变革，教育已经逐渐迈入大数据时代，那么大数据在教育行业有什么样的发展趋势呢? 趋势一：数据的采集和分析成为基石教育数据采集与深度分析成为各应用系统的必备功能。教育信息化市场产品类型丰富，涵盖教学、管理、教研、培训等多种业务。随着教育大数据战略与应用价值的逐步凸显，越来越多的信息化应用系统将加强数据采集与深度分析方面的功能，以采集更丰富的教育数据，提升信息系统的智能性和产品竞争力。此外，为了辅助用户解读和理解数据分析结果，可视化技术也越来越流行，成为各应用系统的基础性技术。趋势二：产品体系多样化教育大数据产品体系更加丰富、多样化。随着国家考试招生制度的改革及其他一系列教育改革的推进，应试教育将逐步转向真正的素质教育。提分将不再是广大师生和家长的唯一需求，教育的需求会变得越来越多样化和个性化。为了满足用户的多元化需求，教育大数据市场将出现越来越多提供特色服务的产品。据某机构调查，我国基础教育领域大数据产品主要的需求是学习分析、预警类产品，辅助教育管理、决策类产品，教育教学评价类产品和个性化服务类产品。趋势三：产业链分工精细化

教育大数据产业链分工更加精细化、服务更加专业化。追求极致是互联网思维的要点之一。为了持续提升教育服务的质量和专业度，教育大数据产业将进一步细化分工，产业链条之间的协同和运作将更加高效、专业。每个环节都将由专门的提供商提供最专业、最优质的服务。基础教育大数据市场有望出现一批专门从事教育数据采集、数据安全或教育数据挖掘的优秀本土企业。趋势四：数据安全意识不断增强教育数据安全与隐私受到广泛关注，成为产品质量评估的核心指标。随着社会公众数据安全与隐私保护意识的不断增强，教育大数据产品需要进一步提升数据安全性能。政府及教育机构在采购教育信息化产品时，数据安全将成为重要的考量点和评估指标。教育信息化相关标准制定单位，也会将数据安全与隐私保护作为核心内容纳入标准体系。达不到数据安全标准的企业产品，将面临巨大的被市场淘汰的风险。趋势五：产学研合力谋求突破越来越多的企业寻求与高校、科研机构及中小学校的深度合作。教育大数据产品的成功研发与应用推广，单靠企业的力量难以完成。企业一方面需要准确把握中小学的实际教育需求，另一方面又要与高校、科研机构协同攻克关键技术难题，设计有效的产品应用模式与策略。因此，教育大数据市场将呈现企、校、研广泛合作的态势，三方优势互补、有效协同，涌现一批优秀的、接地气的教育大数据产品。趋势六：人才培养意识开始凸显高校纷纷加强教育大数据技术课程体系建设和人才。培养数据人才匮乏是影响我国教育大数据产业发展的重要因素。高校承担着教育大数据专门人才培养的重任，未来将有更多的高校开设教育大数据课程或者设立相关专业方向。

大数据时代的数据库的创新与发展

大数据时代的数据库的创新与发展摘要：大数据时代的到来，使得传统数据库在处理百TB以上、特别是PB级数据的查询、统计、分析等应用时，遇到性能上的瓶颈。面对电信、金融、安全、政企等大数据量应用，包括电信话单、金融细帐、智能电网、经营分析、公安网监、舆情监控、审计稽查、应急指挥等，用户体验往往不可接受。海量数据的3V(数量Volume、速度Velocity、多样Variety)挑战着传统数据库曾经非常成功的“一种架构支持多类应用”的模式。互联网和大数据应用的冲击下，世界数据库格局在发生革命性的变化，通用数据库(OldSQL)一统天下变成了OldSQL、NewSQL、NoSQL共同支撑多类应用的局面。大数据是信息化的一个崭新发展阶段，通过分析各种大数据，人类对知识的认知可以见微知著、集腋成裘、由此及彼，对世界的认知也将更全面、更深入、和更具前瞻性。自2011年5月，EMC和IDC在合作研究“数字宇宙”五年之后提出“大数据”概念以来，“大数据经济”的影响力愈发显著，谷歌、Facebook竞相超过微软，曾经的“软件为王”让位于“数据为王”。可以预见，大数据时代将引发大量应用创新，比如，城市大数据应用将支撑智慧城市建设，还有智慧教育、智慧医疗、智慧交通、智慧金融等; 关键词：大数据时代，数据库；系统；创新；引言：“大数据”（ big data）或者称为“海量数据”，这个直白的名词，已经在全球引起了广泛关注，已经引领了又一轮数据技术的革命。美国EMC 公司于2011 年5 月在美国拉斯维加斯举办第11 届 EMC World 大会，大会的核心是帮助企业利用IT变革的重要趋势。此次大会以“云计算相遇大数据（ Cloud Meets Big Data）”为主题，着重展现当今两个最重要的技术趋势，正式抛出了“大数据”概念。根据IDC《数字世界》研究项目在2012年的统计，2010年全球数字资源的规模首次突破了ZB（1ZB=1万亿GB）级别，达到了1.227ZB；而2005年只有130Eb，五年增长了10倍。如果保持这种爆炸式的增长速度，到了2020年，我们的数字资源规模将超过40ZB，相当于世界上每个人拥有超过5200GB的数据。无疑，我们已进入了大数据时代。在 2011 年 12 月，我国工信部发布了物联网“十二五”规划，提出了4项关键技术创新工程。信息处理技术的内容包括海量数据存储、数据挖掘、图像视频智能分析等，都是大数据技术的重要组成部分；另外 3 项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，这些也都与“大数据”密切相关。我国也对大数据技术给与了足够的重视。基于以上概述，大数据时代已经到来，已经对我们的社会产生了重大影响，本文将尝试对大数据时代我国的索引和数据库事业的发展与创新进行研究和展望。大数据时代：多权威机构和企业对大数据给予了不同的定义。麦肯锡认为，“大数据所涉及的数据集规模已经超过了传统数据库软件获取、存储、管理和分析的能力。”IBM公司认为，可以用3个特征相结合来定义大数据：数量（V olume）、种类（Variety）和速度（Velocity），即庞大容量、极快速度和种类丰富的数据。IDC认为，“大数据不是一个事物，而是一个跨多个信息技术领域的活动。大数据技术描述了新一代的技术和架构，其被设计用于通过使用高速（V elocity）的采集、发现或分析，从超大容量（V olume）的多样（Variety）数据中经济地提取价值（Value）。” 综合对种不同的见解，本文认为，具备以下特征的就是大数据。

数据库未来发展趋势(更新版)

东华大学报告名称: 数据库技术最新发展学院：专业：姓名：学号：指导老师： 2015-12-10

1.引言自从计算机问世以后，就有了处理数据、管理数据的需求，由此,计算机技术新的研究分支数据库技术应运而生。数据库（Databases，简称DB）是指长期保存在计算机的存储设备上、并按照某种模型组织起来的、可以被各种用户或应用共享的数据的集合。数据库管理系统（Database Management Systems，简称DBMS）是指提供各种数据管理服务的计算机软件系统，这种服务包括数据对象定义、数据存储与备份、数据访问与更新、数据统计与分析、数据安全保护、数据库运行管理以及数据库建立和维护等。随着计算机应用领域的不断拓展和多媒体技术的发展,数据库已是计算机科学技术中发展最快、应用最广泛的重要分支之一。从20世纪60年代末开始,数据库系统已从第一代层次数据库、网状数据库,第二代的关系数据库系统,发展到第三代以面向对象模型为主要特征的数据库系统。关系数据库理论和技术在70~80年代得到长足的发展和广泛而有效地应用,80年代,关系数据库成为应用的主流,几乎所有新推出的数据库管理系统(DataBaseManagementSystem,DBMS)产品都是关系型的,他在计算机数据管理的发展史上是一个重要的里程碑,这种数据库具有数据结构化、最低冗余度、较高的程序与数据独立性、易于扩充、易于编制应用程序等优点,目前较大的信息系统都是建立在关系数据库系统理论设计之上的。但是,这些数据库系统包括层次

数据库、网状数据库和关系数据库,不论其模型和技术上有何差别,却主要是面向和支持商业和事务处理应用领域的数据管理。然而,随着用户应用需求的提高、硬件技术的发展和InternetIntranet提供的丰富多彩的多媒体交流方式,促进了数据库技术与网络通信技术、人工智能技术、面向对象程序设计技术、并行计算技术等相互渗透,互相结合,成为当前数据库技术发展的主要特征,形成了数据库新技术。目前，数据库技术已相当成熟，被广泛应用于各行各业中，成为现代信息技术的重要组成部分，是现代计算机信息系统和计算机应用系统的基础和核心。 2.数据库技术的发展历程在数据库系统出现以前，各个应用拥有自己的专用数据，通常存放在专用文件中，这些数据与其他文件中数据有大量的重复，造成了资源与人力的浪费。随着机器存储数据的日益增多，数据重复的问题越来越突出。于是人们就想到将数据集中存储、统一管理，这样就演变成数据库管理系统而形成数据库技术。数据库的诞生以20世纪60年代IBM 推出的数据库管理产品IMS 为标志。1969年IBM 公司研制了基于层次模型数据库管理系统IMS （Information Management System），并作为商品化软件投入市场。数据库的出现，实现了数据资源的整体管理。IMS系统的推出，使得数据库概念得到了普及，也使得人们认识到数据的价值和统一管理的

大数据对教育的影响

随着计算机互联网、移动互联网、物联网、平板电脑、手机的大众化和微博、论坛、微信等网络交流方式的日益红火，数据资料的增长正发生着巨大的变化。大数据兴起的第一个原因是数据量越来越大。从监测的数据来看，数据量越来越多，每年都会翻番，数据一直在飞速增长；针对即时数据的处理也变得越来越快；通过各种终端，比如手机、PC、服务器等产生的数据越来越多。大数据兴起的第二个原因也是最重要的原因就是科技的进步导致了存储成本的下降，这使得设备的造价出现大幅下降。新技术和新算法的出现是大数据火起来的第三个原因。最后一个原因也是最本质的原因就是商业利益的驱动极大地促进了大数据的发展。在教育行业，随着MOOC（massive open online courses）的流行，大数据对教育的影响也逐渐显露头角。大数据之所以会对教育产生巨大的影响，这与 MOOC 教育有着千丝万缕的关系。在大数据时代里，教师将主要致力于挖掘与学生学习相关的表现，探寻最适合学生学习的方法，而不是依赖于某些周期性的能力测试。教师可以分析到学生已经掌握了什么，什么方法对学生来说是最有效的学习路径。通过对在线学习等工具的分析，可以评估学生在线学习行为的时间长度，以及学生们如何获得电子资源，如何迅速地掌握概念。大数据主要在四个方面对教育产生了影响，主要体现在：（一）改变教育研究中对数据价值的认识。大数据与传统数据最核心的区别体现在信息采集的方式以及对数据的应用上。传统数据的采集方式相对来说只能够彰显出学生的群体水平，而非个人水平。而大数据最大的特点和优点是可以逐个去关注到学生的微观表现，例如他在不同学科课堂上“开小差”的次数分别为多少，他在一道题上逗留了多久，等等。（二）方便教师更全面了解每一个学生。大数据让教师能够更方便获得每一个学生在学校中的真实信息，例如：在不同考试中的错误对比分析情况，有利于开展个性化教育。另外，也能够帮助教师根据学生整体学习情况选择最合理、最能让全体学生接受的教学模式，从而提高教师的工作效率和学生的学习效率。（三）帮助学生进行个性化高效学习。学生借助“大数据”，可以更好地了解自己的学习状况，针对性开展自主学习，提高学习效率。教育领域的大数据跟当下发展得如火如荼的在线教育密不可分，当前的教育模式不再仅仅局限于老师讲，学生听、期中期末考试评分等等。大数据帮助我们以全新的视角判断事物的可行性和利弊性；详尽地展现了在传统教学方式下无法察觉到的深层次学习状态，进而有条件为每个学生提供个性化教学服务。（四）增强教师责任心和强化师德建设。因为在大数据平台下，教师之间的竞争更加明显和强化，教师要不断提高自己的文化素养和教育素养来应对这种竞争。例如：在大数据之前，教师教书授业的好坏，对他个人影响甚微。而如今，不认真备课、授课的老师将逐渐被市场淘汰或事业停滞不前。与其他行业的大数据相比，教育行业大数据目前数据量依旧比较小，远小于当下如火如荼的电商行业的商业数据。所以当前阶段主要还是以传统教学为主，并一定程度上结合大数据所带来的便利共同促进学生的发展。但在不远的将来，大数据一定会对教育产生更深远的影响，能更好地服务于基础教育以及高等教育。同时，有利必有弊，大数据同样也能带来“隐私”忧患，如何避免将来教师恶意利用大数据而对部分学生进行隔离教学也是今后该值得思考的问题。另一方面，教师应该根据大数据的 “监督”作用去增强自身责任心和强化自身道德建设，而不是想着钻大数据的“漏洞”使得自己看起来富有责任心和道德高尚，这点尤为重要。

大数据在教育行业中的应用

1.大数据在实验室管理方面的应用海量数据已经使我们进入了大数据时代，数据信息的来源、传播速度和传播数量正在影响、改变着人们的思维方式和生活、工作习惯。近年来，基于“大数据”的实验室管理系统的开发以及互联网的实验室管理技术正在兴起。但真正被业内人士承认的教育领域的大数据应用却为数不多，其中被公认的当数东华大学的智能实验室项目。 2009年，东华大学教务处处长吴良提出实验室智能化管理的思路，并将材料学院作为试点单位。实验室智能化管理即用物联网的方式把实验室里所有的仪器设备都管理起来。实验室智能管理过程中记录了学生在实验室内所有的活动情况，包含学生进入实验室的情况，使用的仪器设备情况，使用仪器设备时长等，以及所有仪器的电流、电压都可以监控。如今，东华大学所有学院的实验室都纳入了智能实验室的管理。东华大学通过实验室智能管理系统进行各个方面的数据采集，并对数据进行深度挖掘，形成了各种各样的图表。从图表中可以看出哪些实验室申请的设备根本不必购买，哪些实验室不再需要拨钱。实验室的使用率和第二年的经费完全挂钩，最后实现教育经费使用的集约高效；也可以结合大数据的分析和模拟，建立新型的实验教学课程。另外，华东大学智能实验室利用云平台（东华云）通过服务器虚拟化和实验教学资源管理系统进行管理，简化了管理流程, 节约了管理成本, 提高了服务器资源申请的灵活性，实现了实验资源管理的信息化和透明化。目前，东华大学智能实验室还实现了24小时开放无人管理、跨学院使用等人工无法实现的管理，数据显示，智能实验室的管理对学生学习自主性的提高有显著影响，学生在实验室的时间甚至超过了在教室的时间。 2.大数据在校园网用户行为分析方面的应用经过多年的积累，人类的数据量、数据处理技术和能力都得到了质的飞跃，大数据时代给人类社会带来了诸多具有革命性的变化，而校园网的出现则是传统“言传身教”教育的一次革命。中职学生思想尚不成熟，自律力和识别能力不强，对于开放式的网络有些迷茫。校园网学生用户行为分析的研究是通过对校园网络的测量和分析，挖掘和发现网络中呈现出来的各种行为规律，同时识别一些异常网络行为，最后将用户行为分析展示。这样以便学校采取对应的策略及措施引导中职学生健康上网，从而使校园网真正成为学生获取知识的平台，提高学生的整体综合素质。广东省电子职业技术学校罗萍设计了一个基于大数据的校园网学生用户行为分析系统，该系统从网站浏览信息、网站发帖留言、搜索关键词、网络购物等四个维度来描述基于校园网的学生用户行为。通过对网络内容的分析，可以进一步细化到学生用户在网络中具体网络

大数据行业生态图谱

大数据行业生态图谱3.0——信息图发表于2014-05-29 15:07| 1774次阅读| 来源中国大数据| 2条评论| 作者佚名大数据分布式文件系统风险投资摘要：2012年，FirstMark资本的MattTurck绘制了大数据生态地图2.0版本，涵盖了大数据的38种商业模式，被业界奉为大数据创业投资的清明上河图。两年后的今天，经过漫长的等待，Turck终于推出大数据生态地图3.0版本。【编者按】创业者们纷纷涌入大数据市场，尾随的VC们也是挥金如土，导致大数据创业市场目前已经非常拥挤。虽然大数据创业市场已经人山人海，但是依然有足够的空间给新的创业公司，现阶段大数据基础设施和分析工具领域的创新吸引了大量的资金，FirstMark资本的MattTurck绘制了大数据生态地图2.0版本，涵盖了大数据的38种商业模式，被业界奉为大数据创业投资的清明上河图。经过漫长的等待，Turck终于推出大数据生态地图3.0版本。他对大数据市场的几个最为关键的演变趋势做出预测。以下为原文： 2012年，FirstMark资本的MattTurck绘制了大数据生态地图2.0版本，涵盖了大数据的38种商业模式，被业界奉为大数据创业投资的清明上河图。两年后的今天，经过漫长的等待，Turck终于推出大数据生态地图3.0版本。（期间bloomberg推出过一个2013版大数据生态地图）

在大数据生态地图3.0版中，Turck从一个风险投资者的角度对两年来大数据市场的最新发展进行了深入的研判，并对未来趋势进行解读，以下是Turck眼中大数据市场的几个最为关键的演变趋势：竞争加剧：创业者们纷纷涌入大数据市场，尾随的VC们也是挥金如土，导致大数据创业市场目前已经非常拥挤。例如一些创业项目类别，例如数据库（无论是NoSQL还是NewSQL），或者社交媒体分析，目前正面临整合或去泡沫化（随着Twitter收购BlueFin和GNIP，社交分析领域的整合已经开始）虽然大数据创业市场已经人山人海，但是依然有足够的空间给新的创业公司，现阶段大数据基础设施和分析工具领域的创新吸引了大量的资金，当然，这类大数据创业本来就是资金密集型项目。大数据市场尚处于初期阶段：虽然大数据的概念已经热炒了数年，但我们依然处于市场的早期阶段，虽然过去几年类似Drawn和Scale这样的公司失败了，但是相当多的公司已经看到了胜利的曙光，例如Infochimps、Causata、Streambase、ParAccel、Aspera、GNIP、BlueFinLanbs、BlueKai等。还有不少大数据创业公司已经形成规模和气候，并且获得了海量融资，例如MongoDB已经募集2.3亿美元，Plalantir9亿，Cloudera1亿。但是就成功的IPO或公司而言，市场尚处于早期阶段（虽然已经有Splunk、Tableau等成功IPO）。此外，目前阶段一些传统IT巨头已经展开了收购大战，例如Oracle收购BlueKai和IBM收购Cloudant。在很多大数据创业领域，创业公司们依然在为市场领袖的地位展开混战。从炒作回归现实：虽然经过几年声嘶力竭的热潮后，媒体对大数据已经有些审美疲劳，但这恰恰是大数据真正落地的重要阶段的开始。未来几年是大数据市场竞争的关键时期，企业的大数据应用从概念验证和实验走向生产环境，这意味着大数据厂商的收入将快速增长。当然，这也是一个检验大数据是否真的有“大价值”的时期。大数据基础设施：虽然Hadoop已经确立了其作为大数据生态系统基石的地位，但市场上依然有不少Hadoop的竞争和替代产品，但这些产品还需要时间进化。基于Hadoop分布式文件系统的开源框架Spark近来成为人们讨论的热门话题，因为Spark能够弥补Hadoop的短板，例如提高互动速度和更好的编程界面。而快数据（实时）和内存计算也始终是大数据领域最热门的话题。一些新的热点也在不断涌现，例如数据转换整理工具Trifacta、Paxata 和DataTamer等。时下一个关键的争论是企业数据是否会转移到云端（公有云或者私有云），如果是，什么时候会发生？一些基于云端的Hadoop服务创业公司例如Qubole、Mortar坚信从长远看所有企业数据最终都会转移到云端。

2020年(发展战略)数据库新技术及其发展方向

（发展战略）数据库新技术及其发展方向

数据库新技术及其发展趋势数据库技术是计算机科学的重要分支,主要研究如何安全高效地管理大量、持久、共享的数据。数据库的研究始于20世纪60年代中期,它的发展有着三大标志性事件。第壹件大事,1969年IBMXX公司研制开发了基于层次模型的数据库管理系统的商品化软件InformationManagementSystem,即IMS系统,是首例成功的数据库管理系统软件。第二件大事,美国数据系统语言协会CODASYL(ConferenceOnDataSystemLanguage)下属的数据库任务组DBTG(DataBaseTaskGroup)对数据库方法进行系统的研究和讨论后,于20世纪60年代末到70年代初提出了若干方案。DBTG方案确定且建立了数据库系统的许多概念、方法和技术。DBTG所提议的方法是基于网状结构的,它是数据库网状模型的基础和典型代表。第三件大事,1970年IBMXX公司SanJose研究实验室的研究员E.F.Codd 博士发表了题为“大型共享数据库数据的关系模型”的论文,提出数据库的关系模型,从而开创了数据库关系方法和关系数据理论的研究领域,为关系数据库技术奠定了理论基础,E.F.Codd因此于1981年获得ACM图录奖。20世纪80年代几乎所有新开发的系统均是关系系统。随着计算机系统硬件、Internet和Web技术的发展,数据库系统所管理的数据格式、数据处理方法以及应用环境不断变化,同时人工智能、多媒体技术和其他学科技术的发展,数据库技术面临着前所未有的挑战。当前数据库技术发展的现状，关系数据库技术仍然是主流

大数据热点技术综述

第43卷第3期 2017年3月北京工业大学学报 JOURNAL OF BEIJING UNIVERSITY OF TECHNOLOGY Vol.43 No.3 Mar. 2017大数据热点技术综述陈军成\ 丁治明\高需2 (1.北京工业大学计算机学院，北京100124 ; 2.中国科学院软件研究所，北京100190) 摘要：大数据是当前学术界和工业界关注的热点，从大数据文件系统、大数据分布式存储策略、大数据资源调度以及大数据计算框架等几个方面阐述了当前典型的大数据相关技术及热点技术，并进一步指出下一步可能的研究方向：如何通过语义提髙计算效率以及如何髙效处理时空大数据. 关键词：大数据；数据存储；计算框架中图分类号：U461; TP308 文献标志码：A 文章编号：0254 -0037(2017)03 -0358 - 10 doi：10.11936/bjutxb2016090005 Survey of Big Data Hot Techniques C H E N Juncheng1, D IN G Z h im in g1,G A O X u2 (1. College of Computer Science，Beijing University of Technology，Beijing 100124，China； 2. Institute of Software，China Academy of Sciences，Beijing 100190，China) Abstract：B ig data attracts a tten tion o f academ ia and in d u s try.A c co rd in g to the basic features o f b ig data and c u rre n t c h a lle n g e s，the ty p ic a l b ig data’s technologies o f b ig data file system were presented.The storage stra te g y，resource sc h e d u le，b ig data co m p utin g fra m e w o rk，and e sp ecially hot techniques were d is trib u t e d.L a s t，th is paper po in ts out two possible research d ire c tio n s，w h ic h are im p ro v in g com pute e fficie n cy through data sem antic and processing te m p o ra l-sp a tia l b ig data e ffic ie n tly. Key words：b ig d a ta;data storage;com p utin g fram ew ork 近年来，大数据迅速成为工业界和学术界争相讨论的热点，甚至引起了国家层面的关注.美国政府将大数据看作“未来的新石油冶，我国政府则在 2015年正式发文《促进大数据发展行动纲要》，从国家层面引导大数据相关产业的发展. 根据维基百科的定义，大数据又称为巨量数据、海量数据、大资料等,是指无法通过人工或者计算机，在合理的时间内达到截取、管理、处理并整理成为人类所能解读的形式的信息[1]，通常应用于商业模式及趋势的发现与探究、疾病预测、实时交通等领域，特别是在科学研究领域，如脑科学、基因科学、生物工程等.通常情况下，科学家面对的是海量数据，很难直接发现其中的因果关系，然而，借助大数据相关技术手段，科学家能相对容易地发现其中的关联关系.这种关联关系可以进一步指引科学家深入探究其中的因果关系. 与传统的数据相比，大数据具有5 V特征，即数据规模庞大（volum e)、速度快（v e lo c ity)、形态多 (v a rie ty)、识别困难（v e ra c ity)以及价值大但价值密度低（v a lu e)等.大数据系统通常需要解决如何高效存储数据、如何处理瞬间爆发的数据以及如何应对形态各异的结构化、半结构化以及非结构化数据等问题. 针对这些问题，国际巨头G oogle、F acebook、收稿日期：2016-09-02 基金项目：国家自然科学基金资助项目（91546111);北京市博士后基金资助项目（Q6007011201602) 作者简介：陈军成（1980—)，男，讲师，主要从事大数据、软件测试与分析方面的研究，E-mail：juncheng@ bjut. edu. cn

大数据发展现状与未来发展趋势研究

大数据发展现状与未来发展趋势研究朱孔村（江苏省科学技术情报研究所，江苏南京210042）【摘要】数据是信息化时代的“新石油”资源，如何利用好这种“新石油”资源需要大数据技术的支持。文章介绍了大数据技术及其发展历程，概括了当前国内外大数据的发展现状并展望了大数据技术和产业方面的未来发展趋势。【关键词】大数据；现状；趋势【中图分类号】TP391【文献标识码】A【文章编号】1008-1151(2019)01-0115-04 Research on the Current Situation and Future Development Trend of Big Data Abstract: Data is the “new petroleum” resource of the information age and how to make good use of this “new petroleum” resource needs the support of big data technology. This paper first introduces the big data technology and its development process and summarizes the current development of big data at home and abroad. Finally, the future development trend of big data technology and industry is prospected. Key words: big data; current situation; trend 1 大数据技术概述 1.1大数据技术随着物联网、云计算、移动互联网等技术的成熟，以及智能移动终端的普及，全社会的数据量呈指数型增长，全球已经进入以数据为核心的大数据时代。大数据并不是一个新的概念，信息技术发展的每一个阶段都会遇到数据处理的问题，人类需要不停的面对来自数据的挑战。为满足商业结构化数据存储的需求而产生了关系型数据库，为满足互联网时代非结构化数据存储需求而产生了NoSQL技术，而大数据技术的产生是为了解决大型数据集分析的问题。大数据技术目前还没有一个确切的定义，各行各业有着自己的见解，但总体而言，其关键在于从数量庞大、种类繁多的数据中提取出有用的信息。维基百科从数据处理的角度将大数据定义为一个超大的、难以用现有常规的数据库管理技术和工具处理的数据集。国际数据公司（IDC）给出的报告指出，大数据技术描述了一种新一代技术和构架，以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值[1]。少量的数据看似杂乱无章，但是当数据累积到一定程度时，就会呈现出一种规律和秩序。大数据的价值就在于数据分析，利用大数据分析技术，从海量数据中总结经验、发现规律、预测趋势，最终为辅助决策服务。《大数据时代》的作者克托·迈尔-舍恩伯格认为：“大数据开启了一次重大的时代转型”，他指出大数据将带来巨大的变革，改变人们的生活、工作和思维方式，改变人们的商业模式，影响人们的经济、政治、科技和社会等各个层面。 1.2大数据发展历程 1.2.1萌芽阶段 20世纪90年代，“大数据”这个术语开始出现。1998年SGI首席科学家John Masey在USENIX大会上提出大数据的概念，他当时发表了一篇名为Big Data and the Next Wave of Infrastress的论文，使用了大数据来描述数据爆炸的现象。但是那时的大数据只表示“大量的数据或数据集”这样的字面含义，还没有涵盖到相关的采集、存储、分析挖掘、应用等技术方法与特征内涵 1.2.2发展阶段从20世纪末到21世纪初期是大数据的发展期，在这一阶段中大数据逐渐为学术界的研究者所关注，相关的定义、内涵、特性也得到了进一步的丰富。2003至2006年，Google 发布的GFS、MapReduce和BigTable三篇论文对大数据的发展起到重要作用。2006至2009年，大数据技术形成并行运算与分布式系统。2009年，Jeff Dean在BigTable基础上开发了Spanner数据库。随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术如数据仓库、专家系统、知识管理系统等开始被应用。 1.2.3成熟阶段 2011年至今，是大数据发展的成熟阶段，越来越多的研究者对大数据的认识从技术概念丰富到了信息资产与思维变革等多个维度，一些国家、社会组织、企业开始将大数据上升为总第21卷233期大众科技Vol.21 No.1 2019年1月Popular Science & Technology January 2019 【收稿日期】2018-11-06 【作者简介】朱孔村（1985－），男，山东临沂人，江苏省科学技术情报研究所实习研究员，从事电子政务相关工作。 - 115 -

大数据的热点、痛点与机会

大数据的热点、痛点及机会 2013-12-30 楚落电商360 一、大数据是不是一个昙花一现的概念炒作？有人说，2013年是大数据元年，其实即将过去的2013年实在是不平凡的一年，不仅仅是大数据元年，还有人认为2013年也是互联网金融元年。2013年里，大数据很热，热得连我这个与金融数据打了十几年的交道的人也很是吃惊。在过去的十几年里，数据分析一直是一个很小众的事情，我向来很难向我的朋友们解释我所从事的职业。可是，仿佛突然一夜之间所有人都明白了。现在我只要一提我的专业是数据分析，所有人都频频点头。很多事情，一旦到了每一个人都

在热议的时候就变得很可疑。即使是在数据分析师的小圈子里，也有很多人质疑大数据是不是又一次炒作，不过又是一个硬件厂商为了卖硬件搞出来的噱头。对此，我的观点有点不一样。在以前的文章里，我曾经提到过，我认为：（1）物联网；（2）云存储，云计算；（3）大数据；（4）4G网络及其它互联网技术构成了信息时代的第三次浪潮。它们是不可分离的四个组成成分，将构成人类社会的神经系统。其中物联网是获取信息的触角；云存储云计算是信息存储的仓库；大数据是进行分析并给出指令的大脑；而4G以及今后的其它互联网技术革新技术则是信息传输的通道。它们紧密结合，相互作用，每一项技术都受到其它技术的影响，每一项技术的发展都将反过来推动整体技术的提高与发展。这四项技术结合而形成的信息时代第三次浪潮，对于人类社会的影响绝不亚于个人计算机的产生，以及互联网的出现。如果说个人计算机的产生让信息开始个人化，互联网的出现创建了一个虚拟世界，那以物联网，大数据为代表的第三次浪潮将帮助人类社会链接虚拟世界与现实世界并且逐步形成人类社会的神经系统建立自学习能力。由此可见，从这个层面来看，大数据绝对不是一个昙花一现的概念，它将在今后的很多年中一直伴随我们。正如互联网产生的初期出现过.com泡沫一样，大数据在发展的初期也免不了发烧。正如Garnter公司2013年技术成熟度曲线所揭示的一样，大数据技术正处在过热期的顶端，所以的确热得有点过了头。大家不难发现，很多人都在讨论大数据，但是明白大数据是什么，同时真正利用并产生了切切实实效果的企业并不多。在过热期之后便是低谷区。

数据库未来发展趋势

库大型对象的前提下，IBM DB2 9允许用户无缝管理普通关系数据和纯XML数据。对于传统关系型数据与层次型数据的混合应用已经成为了新一代数据库产品所不可或缺的特点。除了IBM，Oracle和微软也同时宣传了它们的产品也可以实现高性能XML存储与查询，使现有应用更好的与XML共存。 (2)、商业智能成重点为应对日益加剧的商业竞争，企业不断增加内部IT及信息系统，使企业的商业数据成几何数量级不断递增，如何能够从这些海量数据中获取更多的信息，以便分析决策将数据转化为商业价值，就成为目前数据库厂商关注的焦点。各数据库厂商在新推出的产品中，纷纷表示自己的产品在商业智能方面有很大提高。如：微软最新版SQL Server 2005就集成了完整的商业智能套件，包括数据仓库、数据分析、ETL工具、报表及数据挖掘等，并有针对性的做了一些优化。如何更好的支持商业智能将是未来数据库产品发展的主要趋势之一。 (3)、SOA架构支持 SOA已经成为目前IT业内的一个大的发展趋势，最初IBM和BEA 是该理念的主要推动者，后来有越来越多的企业加入，开始宣称支持SOA，其中包括Oracle，而微软开始并不是非常赞同SOA的，但是，随着时间的发展，目前国内主流的数据库厂商都开始宣称他们的产品是完全支持SOA架构的，包括微软的SQL Server 2005，