工业大数据的未来发展方向

工业大数据的未来发展方向（从阿里和航天说起）

2016年12月5日，清华大数据技术·前沿系列讲座——“工业大数据的技术趋势与应用场景”在清华大学FIT楼多功能厅成功举办，本期讲座邀请到了阿里巴巴集团副总裁、阿里云业务总经理刘松、航天科工集团航天云网科技发展有限公司副总经理祝守宇和阿里云事业群数据业务总架构师周卫天来为大家介绍工业大数据的建设背景、发展现状、国家战略、发展趋势、竞争对手、发展启示及建设意义。

作者：佚名来源：THU数据派|2016-12-12 13:32

2016年12月5日，清华大数据技术·前沿系列讲座——“工业大数据的技术趋势与应用场景”在清华大学FIT 楼多功能厅成功举办，本期讲座邀请到了阿里巴巴集团副总裁、阿里云业务总经理刘松、航天科工集团航天云网科技发展有限公司副总经理祝守宇和阿里云事业群数据业务总架构师周卫天来为大家介绍工业大数据的建设背景、发展现状、国家战略、发展趋势、竞争对手、发展启示及建设意义。

阿里巴巴集团副总裁、阿里云业务总经理刘松首先致辞

刘松，现任阿里巴巴集团副总裁，兼阿里云业务总经理，负责阿里巴巴云计算生态构建工作，包括：大中型合作伙伴的战略合作，云市场与ISV的发展，大学合作与开发者计划，阿里巴巴双创示范基地，阿里云创客+，云栖100合作计划，阿里云研究中心等方面，并担任云生态战略与技术发展趋势的主要发言人。

刘总主要从三个层面的角度分享了他的想法。

一、数据技术(Data Technology)的发展趋势作。目前数据成为互联网平台企业的关键技术，包括苹果、谷歌、亚马逊等全球十大科技公司都逐渐演变成数据化、智能化的平台公司。数据技术的(DT)发展将对各行各业产生影响，新一代信息技术的优化使得全球的软件定义、数据驱动的商业模式逐步明显，数据智能也会在各个传统行业得以应用。

二、中国工业互联网的路径选择。德国公司发展工业4.0的原因是害怕谷歌、facebook等互联网平台公司对消费互联网数据的控制，提出工业4.0与其抗衡;而美国以GE为代表推出了predix平台，但仍然采用着将软件工程作为工业附属的操作模式，这种模式目前看来可行，但是横向扩展有限，而美国东西海岸的科技界对此仍处于不合作状态。目前在中国，基于良好的移动互联网经济，如果将互联网的平台模式和传统工业(包括汽车、飞机、机床、能源互联网)等产业结合起来，探索出新的跨界重混模式，会因为巨大互补效应而产生化学反应，中国制造业可能会走上一条换道升级的路径。

三、中国工业大数据的挑战与机遇。目前中国的工业生产模式很重，通过数据智能改进的产业机会非常大。除了技术和产品层，中国工业大数据要解决的非技术挑战主要有两点：一是文化的问题。工业企业文化和互联网企业文化差异很大，要解决work together的问题;二是人才的问题。这个领域需要的人才非常广泛，要有对工业本身理解的人才，需要了解具体的生产工艺，要有工业软件人才、要有数据处理的人才，这个领域是一个绝对跨界融合的产业，难点在于跨界合作的人才集成。工业大数据的推进问题，我们首先考虑的是能不能把人才高效地积聚起来。人的要素、文化的要素是推进工业大数据两个最重要的因素。

航天科工集团航天云网副总经理的祝守宇为大家分享工业互联网和工业大数据的应用

祝守宇，国家千人计划专家，教授级高级工程师，清华大学自动化专业学士、硕士。祝守宇先生的主要研究领域包括移动互联网大数据分析、工业互联网数据分析等，拥有国内外发明专利数十项，省部级科技奖励多次。

航天科工集团的前身是国防部第五研究院，由著名导弹学家、火箭专家钱学森组建。目前其主要以一主两翼三创新为整体发展目标，包括一主：航天防务、两翼：信息技术和装备制造、三创新：技术创新、商业模式创新、管理创新。在产业政策层面，工信部力推“制造强国+网络强国”的行动计划，将“中国制造2025”和“互联网+”行动计划列为未来产业发展的主攻方向。

航天科工集团航天云网公司的发展愿景是建设国家级工业互联网平台。航天企业采取互联网思维，将航天云网打造成为全国第一批、国内第一个工业互联网平台，实现“人人皆可制造”的目标。航天云网的主要业务方向为：一、工业4.0，涉及互联网+智能制造，重点在于企业智能化改造无人工厂、黑灯工厂。二、工业互联网，突出的是设备资产的管理。三、中国特色的互联网+制造资源共享，暨产业互联网。相比于移动互联网，工业互联网是“硬科技”，伸手要数据进行分析的模式是低端模式，而真正有效的模式是从最基础的工业解决方案开始，帮你产生数据，进而再去分析处理数据。航天科工集团不仅是国内智能装备领域的领航者，还是同时涵盖“高端装备制造”和“信息技术”的为主营业务的集团。这也反映了中国工业互联网发展上，企业对基础技术上的积累和能力的重视。

那么如何看待工业互联网产业呢?通过与消费互联网对比，我们可以得到更好的理解。消费互联网时代是以人的连接为主，主要形式实际上是手机和PC，手机数据量又远远超过PC。它的数据产生于三个方面，PC、手机、消费型智能硬件(手环、手表)。工业互联网以机器生产系统为主，数据来源主要有三项。第一个是复杂装备，第二是生产体系，第三个是工业级的智能硬件，比如说空调、充电装置、路灯等等小型的装备，大的复杂装备包括航空发动机等等。全球的物联网，连接进网的设备，预计到2019年大概是250亿个，PC和手机大概八九十亿。从设备链接的数量来看，工业设备的联网要远超消费联网。

我们来分析一下消费互联网的产业链条。消费互联网的产业链条是通过手机和PC产生数据，通过基础平台运营商为链接(移动、联通等)，在运营商之上产生BAT类似的应用，这一类应用从运营商的角度来讲叫OTT。整个产业的推动实际上是通过运营商来完成的，向下来推动手机和智能硬件的发展，向上推动应用的发展，当然最有价值的就是这个行业的推动者。

同样的，工业互联网中采用的数据不一样但数据设备仍然是最顶层的基础，往上一层是现代的云计算大数据平台，是像航天云网和阿里这样的企业等等，再上面的是一些工业级的应用，所以从产业推动来讲，跟消费互联网很类似。最终价值和重要性，需要靠中间的平台层去推动整个产业的发展。借助业界的大拿讲的话，“远景清晰可见，工业互联网”是变革的真正机遇，这将远远超越“消费互联网”。

相比于大数据技术在消费级互联网中的应用，我们的工业大数据是大家更应该投入的产业，这是一件举足轻重的大事，我们也能够在更大的舞台上，做出更多对人类发展有巨大贡献的事。“资源共享、能力协同、开放合作、互利共赢”是航天云网人的企业内涵和精神理念，作为国家的战略性平台，欢迎大家加入我们的队伍，也欢迎大家跟我们合作。

阿里云事业群数据业务总架构师周卫天老师为大家带来精彩的演讲

周卫天老师通过融合一些案例对整个大数据领域的技术发展趋势与工业大数据的技术驱使向在场的观众进行分享。

信息革命2.0：DT时代正式开启

DT时代已经来临。数据取代石油，成为全球经济基础要素。IT技术成为重要生产力，云计算成为基础设施，互联网+物联网构成万物互联的信息交互渠道，全球市值TOP5第一次全部都是科技公司：Apple，Google，微软，Amazon，Facebook全部是云化、数据化、智能化的公司。

2009年，马云先生讲了阿里巴巴是一家数据公司，在2010年的时候，马云先生反复强调要做云计算，坚持发展云计算。数据平台的核心是软件能力，未来五年，大数据的发展趋势就包括延伸软件平台，把传感的技术、芯片的技术集成起来。

数据分析处理能力实战锤炼

阿里在实战中的阿里大数据是怎么来的?首先体现在支付能力上。刚刚过去的“双十一”，阿里有两个惊人的数据，12万笔/秒支付的顶峰;峰值支持能力10分钟，30分钟压测能力,10.5亿笔总支付的记录,电商平台、蚂蚁支付拉高了整个阿里体系的技术能力。这类金融系统每秒十几万笔是非常了不起的数据。

阿里在数据处理上的经验总结为两点。第一，是数据处理，第二，是人工智能。阿里有一个天池平台，由于支持大量多业务，今天阿里已经有了几百万张表。在我们国家，比如一些大的部委，十几万张或者是几十万张表已经很大了，当我们处理百万张表的时候，建模就不能用传统的方式来做。按照我的主要业务营销、财务、实践模块，把表与表之间的关系，设计地非常圆满，然后基于这个之上再来开发应用。在阿里，因为互联网的快速增长、野蛮增长，来一个业务就建一个表，一个表拉几个字段，每晚会对增量数据进行对比，这是阿里本身的一套技术体系。所有元数据表，每一个字段都有一个开发的同学认领，对主要的所有字段都会按照数据的级别、按照业务的重要程度、调用的频率排重要度进行排列。数据之后会经平台的甄别来判定数据的可信程度。确保了数据质量的准确性、唯一性，数据的准确性对数据分析至关重要。

第二，今天，阿里云后面有一支比较大的团队做视觉智能、语音智能。将数据打通，包括线上线下的数据，网上的虚拟身份的ID，怎么跟xx号码、身分证号码怎么打通，把数据进行有效的利用。阿里拥有一个天池众智平台，所有涉及到高级算法、智能算法的问题，通过众智平台，由阿里自己的科学家把问题的目标、问题进行分解，平台上五万名科学家和算法爱好者提供一个最好的方案。正是因为这样一个大数据智能平台才支撑了阿里形形色色的业务。

阿里的登月历程与选择

阿里在2013年开启登月工程，把原来很多的业务、支付宝、小贷、集团的B2B，以及后来已经开始有收购的业务，做到统一的平台上来。

阶段一：阿里启动前约2到3个月进行了全面的工作准备，进行了公共平台和服务层的建设搭建;数据规范、指标体系、数据安全、质量控制的流程制度及工具的开发;成立了登月数据委员会(全职同学不同时期约七到十人左右;虚拟团队的同学每个主要业务团队都规定了对接接口的同学)

阶段二：2014年正式启动从云梯1迁移到云梯2的过程，最终分解为几十个登月项目。云梯2中开发、调度、质量控制和元数据管理Meta是全新的、不一样的一套体系。比如：DQC和ODPS底层的大数据统计分析功能、计量功能的演化。光是元数据Meta管理和统计分析的模式和云梯1里面的Oracle库、GP库、开源Hadoop库很不一样。2015年6月所有老系统全部接管，完成了新旧系统的并除。

对于大数据的技术走向和趋势，周总提到了三点:

一、智能化

所谓智能化本质上是计算机化，不是固定僵硬的系统，而是能自动执行程序、可编程可演化的系统，更高的要求是具有自学习和自适应功能。无人自动驾驶汽车是智能化的标志性产品，它融合实时感知、导航、自动驾驶、联网通信等技术，比有人驾驶更安全、更节能。

二、个性化

个性化的背后是大数据和视觉识别技术的发展。人脸识别、语音智能、OCR证件的认证，这是个性化很早的一面。最新的语音识别的数据是利用深层的神经网络，正是由于现在数据的爆发，以及计算处理能力的提升，也就是GPU 很多的能力，今天生成的神经网络已经能够计算到12层、13层了。

个性化的数据库。以某衣服制造厂商的数据库为例，其版型数据库能做到3000+版型/天，而如果使用手工打版，每天生产1200多套西服的红领，至少需要500多个打版师傅。款式数据库，这是实现客户订单提交、产品设计、生产制造、采购营销、物流配送、售后服务一体化的开放性互联网平台，做到了个性化和融合化的完美契合。

个性化的搜索引擎-千人千面。实时预测用户对物品偏好，个性化推荐，千人千面，支持定制推荐算法。

三、融合化

大数据跟工业制造当中的特征工程是可以结合的，让大数据去完善、加强原来特征工程中对于工业制造的质量控制、质量改善、良品率的提升，同时大数据的分析能做传统特征工程不能做的事情。

智能工厂、货运列车故障检测需求分析、重型的设备公司等等，这些重型机械企业都在转型，通过大数据可以预测出最有价值的客户，甚至在融资、将来设备的租赁方面等都有贡献。

我们的大数据跟工业的特征工程、传统经验融合起来，产生更多的智能，从而让大数据能够真正地为智能制造、互联网+的华丽转身做一点贡献、做一点力量。

整场活动干货满满，嘉宾精彩的分享使参与活动的学生和业界人士反响很热烈。本次活动由清华大学数据科学院主办，清华大数据产业联合会协办。

【编辑推荐】

1.大数据让教育实现“私人订制”

2.大数据可视化破解信息安全难题

3.大数据工作的正确打开姿势

4.新一代信息技术产业加速变革大数据产业迎发展机遇

5.钱岭：大数据研发历程的回顾和思考

数据中心的未来发展趋势

数据中心未来的发展趋势经历了ISP/ICP飞速发展，.COM公司的风靡后，一种新的服务模式--互联网数据中心（Internet Data Center，缩写为IDC）正悄然兴起。它在国外吸引着像AT&T、AO- 、IBM、Exodus、UUNET等大公司的巨资投入；国内不但四大电信运营商中国电信、中国网通、中国联通、中国吉通开始做跑马圈地，一些专业服务商如清华万博、首都在线和世纪互联等，也参与了角逐。 IDC(Internet Data Center) - Internet数据中心，它是传统的数据中心与Internet的结合，它除了具有传统的数据中心所具有的特点外，如数据集中、主机运行可靠等，还应具有访问方式的变化、要做到7x24服务、反应速度快等。IDC是一个提供资源外包服务的基地，它应具有非常好的机房环境、安全保证、网络带宽、主机的数量和主机的性能、大的存储数据空间、软件环境以及优秀的服务性能。 IDC作为提供资源外包服务的基地，它可以为企业和各类网站提供专业化的服务器托管、空间租用、网络批发带宽甚至ASP、EC等业务。简单地理解，IDC是对入驻(Hosting)企业、商户或网站服务器群托管的场所；是各种模式电子商务赖以安全运作的基础设施，也是支持企业及其商业联盟(其分销商、供应商、客户等)实施价值链管理的平台。形象地说，IDC是个高品质机房，在其建设方面，对各个方面都有很高的要求。 IDC的总体结构如下图所示:

IDC的建设主要在如下几个方面：网络建设 IDC主要是靠其有一个高性能的网络为其客户提供服务，这个高性能的网络包括其- AN、WAN和与Internet接入等方面。 IDC的网络建设主要有： - IDC的- AN的建设，包括其- AN的基础结构，- AN的层次，- AN的性能。- IDC的WAN的建设，即IDC的各分支机构之间相互连接的广域网的建设等。- IDC的用户接入系统建设，即如何保证IDC的用户以安全、可靠的方式把数据传到IDC的数据中心，或对存放在IDC的用户自己的设备进行维护，这需要IDC 为用户提供相应的接入方式，如拨号接入、专线接入及VPN等。 - IDC与Internet互联的建设。

数据库未来发展趋势(同名25272)

数据库技术最新发展数据库（Databases，简称DB）是指长期保存在计算机的存储设备上、并按照某种模型组织起来的、可以被各种用户或应用共享的数据的集合。数据库管理系统（Database Management Systems，简称DBMS）是指提供各种数据管理服务的计算机软件系统，这种服务包括数据对象定义、数据存储与备份、数据访问与更新、数据统计与分析、数据安全保护、数据库运行管理以及数据库建立和维护等。由于企业信息化的目的就是要以现代信息技术为手段，对伴随着企业生产和经营过程而产生的数据进行收集、加工、管理和利用，以改善企业生产经营的整体效率，增强企业的竞争力。所以，数据库是企业信息化不可缺少的工具，是绝大部分企业信息系统的核心。纵观数据库发展，三大数据库巨头公司纷纷推出其最新产品，数据库市场竞争日益加剧。从最新的IDC报告显示，在关系数据库管理系统(RDBMS)软件市场上，Oracle继续领先对手IBM和微软，但是微软在2006年取得了更快的销售增长率…… 根据对数据库发展的技术趋势不难看出，整个数据库发展呈现出了三个主要特征： (1)、支持XML数据格式 IBM公司在它新推出的DB2 9版本中，直接把对XML的支持作为其新产品的最大卖点，号称是业内第一个同时支持关系型数据和XML数据的混合数据库，无需重新定义XML数据的格式，或将其置于数据库大型对象的前提下，IBM DB2 9允许用户无缝管理普通关系数据和纯XML数据。对于传统关系型数据与层次型数据的混合应用已经成为了新一代数据库产品所不可或缺的特点。除了IBM，Oracle和微软也同时宣传了它们的产品也可以实现高性能XML存储与查询，使现有应用更好的与XML共存。 (2)、商业智能成重点为应对日益加剧的商业竞争，企业不断增加内部IT及信息系统，使企业的商业数据成几何数量级不断递增，如何能够从这些海量数据中获取更多的信息，以便分析决策将数据转化为商业价值，就成为目前数据库厂商关注的焦点。各数据库厂商在新推出的产品中，纷纷表示自己的产品在商业智能方面有很大提高。如：微软最新版SQL Server 2005就集成了完整的商业智能套件，包括数据仓库、数据分析、ETL工具、报表及数据挖掘等，并有针对性的做了一些优化。如何更好的支持商业智能将是未来数据库产品发展的主要趋势之一。 (3)、SOA架构支持 SOA已经成为目前IT业内的一个大的发展趋势，最初IBM和BEA是该理念的主要推动者，后来有越来越多的企业加入，开始宣称支持SOA，其中包括Oracle，而微软开始并不是非常赞同SOA的，但是，随着时间的发展，目前国内主流的数据库厂商都开始宣称他们的产品是完全支持SOA架构的，包括微软的SQL Server 2005，从微软态度的转变可以看出，未来IT业的发展与融合，SOA正在成长为一个主流的趋势。本文仅对数据库管理系统的现状以及一些重要的发展方向作一简要综述，并不具体对一些技术内容进行深入探讨，每一个方向的研究课题都可以充分地展开。

大数据时代的数据库的创新与发展

大数据时代的数据库的创新与发展摘要：大数据时代的到来，使得传统数据库在处理百TB以上、特别是PB级数据的查询、统计、分析等应用时，遇到性能上的瓶颈。面对电信、金融、安全、政企等大数据量应用，包括电信话单、金融细帐、智能电网、经营分析、公安网监、舆情监控、审计稽查、应急指挥等，用户体验往往不可接受。海量数据的3V(数量Volume、速度Velocity、多样Variety)挑战着传统数据库曾经非常成功的“一种架构支持多类应用”的模式。互联网和大数据应用的冲击下，世界数据库格局在发生革命性的变化，通用数据库(OldSQL)一统天下变成了OldSQL、NewSQL、NoSQL共同支撑多类应用的局面。大数据是信息化的一个崭新发展阶段，通过分析各种大数据，人类对知识的认知可以见微知著、集腋成裘、由此及彼，对世界的认知也将更全面、更深入、和更具前瞻性。自2011年5月，EMC和IDC在合作研究“数字宇宙”五年之后提出“大数据”概念以来，“大数据经济”的影响力愈发显著，谷歌、Facebook竞相超过微软，曾经的“软件为王”让位于“数据为王”。可以预见，大数据时代将引发大量应用创新，比如，城市大数据应用将支撑智慧城市建设，还有智慧教育、智慧医疗、智慧交通、智慧金融等; 关键词：大数据时代，数据库；系统；创新；引言：“大数据”（ big data）或者称为“海量数据”，这个直白的名词，已经在全球引起了广泛关注，已经引领了又一轮数据技术的革命。美国EMC 公司于2011 年5 月在美国拉斯维加斯举办第11 届 EMC World 大会，大会的核心是帮助企业利用IT变革的重要趋势。此次大会以“云计算相遇大数据（ Cloud Meets Big Data）”为主题，着重展现当今两个最重要的技术趋势，正式抛出了“大数据”概念。根据IDC《数字世界》研究项目在2012年的统计，2010年全球数字资源的规模首次突破了ZB（1ZB=1万亿GB）级别，达到了1.227ZB；而2005年只有130Eb，五年增长了10倍。如果保持这种爆炸式的增长速度，到了2020年，我们的数字资源规模将超过40ZB，相当于世界上每个人拥有超过5200GB的数据。无疑，我们已进入了大数据时代。在 2011 年 12 月，我国工信部发布了物联网“十二五”规划，提出了4项关键技术创新工程。信息处理技术的内容包括海量数据存储、数据挖掘、图像视频智能分析等，都是大数据技术的重要组成部分；另外 3 项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，这些也都与“大数据”密切相关。我国也对大数据技术给与了足够的重视。基于以上概述，大数据时代已经到来，已经对我们的社会产生了重大影响，本文将尝试对大数据时代我国的索引和数据库事业的发展与创新进行研究和展望。大数据时代：多权威机构和企业对大数据给予了不同的定义。麦肯锡认为，“大数据所涉及的数据集规模已经超过了传统数据库软件获取、存储、管理和分析的能力。”IBM公司认为，可以用3个特征相结合来定义大数据：数量（V olume）、种类（Variety）和速度（Velocity），即庞大容量、极快速度和种类丰富的数据。IDC认为，“大数据不是一个事物，而是一个跨多个信息技术领域的活动。大数据技术描述了新一代的技术和架构，其被设计用于通过使用高速（V elocity）的采集、发现或分析，从超大容量（V olume）的多样（Variety）数据中经济地提取价值（Value）。” 综合对种不同的见解，本文认为，具备以下特征的就是大数据。

数据库未来发展趋势(更新版)

东华大学报告名称: 数据库技术最新发展学院：专业：姓名：学号：指导老师： 2015-12-10

1.引言自从计算机问世以后，就有了处理数据、管理数据的需求，由此,计算机技术新的研究分支数据库技术应运而生。数据库（Databases，简称DB）是指长期保存在计算机的存储设备上、并按照某种模型组织起来的、可以被各种用户或应用共享的数据的集合。数据库管理系统（Database Management Systems，简称DBMS）是指提供各种数据管理服务的计算机软件系统，这种服务包括数据对象定义、数据存储与备份、数据访问与更新、数据统计与分析、数据安全保护、数据库运行管理以及数据库建立和维护等。随着计算机应用领域的不断拓展和多媒体技术的发展,数据库已是计算机科学技术中发展最快、应用最广泛的重要分支之一。从20世纪60年代末开始,数据库系统已从第一代层次数据库、网状数据库,第二代的关系数据库系统,发展到第三代以面向对象模型为主要特征的数据库系统。关系数据库理论和技术在70~80年代得到长足的发展和广泛而有效地应用,80年代,关系数据库成为应用的主流,几乎所有新推出的数据库管理系统(DataBaseManagementSystem,DBMS)产品都是关系型的,他在计算机数据管理的发展史上是一个重要的里程碑,这种数据库具有数据结构化、最低冗余度、较高的程序与数据独立性、易于扩充、易于编制应用程序等优点,目前较大的信息系统都是建立在关系数据库系统理论设计之上的。但是,这些数据库系统包括层次

数据库、网状数据库和关系数据库,不论其模型和技术上有何差别,却主要是面向和支持商业和事务处理应用领域的数据管理。然而,随着用户应用需求的提高、硬件技术的发展和InternetIntranet提供的丰富多彩的多媒体交流方式,促进了数据库技术与网络通信技术、人工智能技术、面向对象程序设计技术、并行计算技术等相互渗透,互相结合,成为当前数据库技术发展的主要特征,形成了数据库新技术。目前，数据库技术已相当成熟，被广泛应用于各行各业中，成为现代信息技术的重要组成部分，是现代计算机信息系统和计算机应用系统的基础和核心。 2.数据库技术的发展历程在数据库系统出现以前，各个应用拥有自己的专用数据，通常存放在专用文件中，这些数据与其他文件中数据有大量的重复，造成了资源与人力的浪费。随着机器存储数据的日益增多，数据重复的问题越来越突出。于是人们就想到将数据集中存储、统一管理，这样就演变成数据库管理系统而形成数据库技术。数据库的诞生以20世纪60年代IBM 推出的数据库管理产品IMS 为标志。1969年IBM 公司研制了基于层次模型数据库管理系统IMS （Information Management System），并作为商品化软件投入市场。数据库的出现，实现了数据资源的整体管理。IMS系统的推出，使得数据库概念得到了普及，也使得人们认识到数据的价值和统一管理的

2020年(发展战略)数据库新技术及其发展方向

（发展战略）数据库新技术及其发展方向

数据库新技术及其发展趋势数据库技术是计算机科学的重要分支,主要研究如何安全高效地管理大量、持久、共享的数据。数据库的研究始于20世纪60年代中期,它的发展有着三大标志性事件。第壹件大事,1969年IBMXX公司研制开发了基于层次模型的数据库管理系统的商品化软件InformationManagementSystem,即IMS系统,是首例成功的数据库管理系统软件。第二件大事,美国数据系统语言协会CODASYL(ConferenceOnDataSystemLanguage)下属的数据库任务组DBTG(DataBaseTaskGroup)对数据库方法进行系统的研究和讨论后,于20世纪60年代末到70年代初提出了若干方案。DBTG方案确定且建立了数据库系统的许多概念、方法和技术。DBTG所提议的方法是基于网状结构的,它是数据库网状模型的基础和典型代表。第三件大事,1970年IBMXX公司SanJose研究实验室的研究员E.F.Codd 博士发表了题为“大型共享数据库数据的关系模型”的论文,提出数据库的关系模型,从而开创了数据库关系方法和关系数据理论的研究领域,为关系数据库技术奠定了理论基础,E.F.Codd因此于1981年获得ACM图录奖。20世纪80年代几乎所有新开发的系统均是关系系统。随着计算机系统硬件、Internet和Web技术的发展,数据库系统所管理的数据格式、数据处理方法以及应用环境不断变化,同时人工智能、多媒体技术和其他学科技术的发展,数据库技术面临着前所未有的挑战。当前数据库技术发展的现状，关系数据库技术仍然是主流

大数据发展现状与未来发展趋势研究

大数据发展现状与未来发展趋势研究朱孔村（江苏省科学技术情报研究所，江苏南京210042）【摘要】数据是信息化时代的“新石油”资源，如何利用好这种“新石油”资源需要大数据技术的支持。文章介绍了大数据技术及其发展历程，概括了当前国内外大数据的发展现状并展望了大数据技术和产业方面的未来发展趋势。【关键词】大数据；现状；趋势【中图分类号】TP391【文献标识码】A【文章编号】1008-1151(2019)01-0115-04 Research on the Current Situation and Future Development Trend of Big Data Abstract: Data is the “new petroleum” resource of the information age and how to make good use of this “new petroleum” resource needs the support of big data technology. This paper first introduces the big data technology and its development process and summarizes the current development of big data at home and abroad. Finally, the future development trend of big data technology and industry is prospected. Key words: big data; current situation; trend 1 大数据技术概述 1.1大数据技术随着物联网、云计算、移动互联网等技术的成熟，以及智能移动终端的普及，全社会的数据量呈指数型增长，全球已经进入以数据为核心的大数据时代。大数据并不是一个新的概念，信息技术发展的每一个阶段都会遇到数据处理的问题，人类需要不停的面对来自数据的挑战。为满足商业结构化数据存储的需求而产生了关系型数据库，为满足互联网时代非结构化数据存储需求而产生了NoSQL技术，而大数据技术的产生是为了解决大型数据集分析的问题。大数据技术目前还没有一个确切的定义，各行各业有着自己的见解，但总体而言，其关键在于从数量庞大、种类繁多的数据中提取出有用的信息。维基百科从数据处理的角度将大数据定义为一个超大的、难以用现有常规的数据库管理技术和工具处理的数据集。国际数据公司（IDC）给出的报告指出，大数据技术描述了一种新一代技术和构架，以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值[1]。少量的数据看似杂乱无章，但是当数据累积到一定程度时，就会呈现出一种规律和秩序。大数据的价值就在于数据分析，利用大数据分析技术，从海量数据中总结经验、发现规律、预测趋势，最终为辅助决策服务。《大数据时代》的作者克托·迈尔-舍恩伯格认为：“大数据开启了一次重大的时代转型”，他指出大数据将带来巨大的变革，改变人们的生活、工作和思维方式，改变人们的商业模式，影响人们的经济、政治、科技和社会等各个层面。 1.2大数据发展历程 1.2.1萌芽阶段 20世纪90年代，“大数据”这个术语开始出现。1998年SGI首席科学家John Masey在USENIX大会上提出大数据的概念，他当时发表了一篇名为Big Data and the Next Wave of Infrastress的论文，使用了大数据来描述数据爆炸的现象。但是那时的大数据只表示“大量的数据或数据集”这样的字面含义，还没有涵盖到相关的采集、存储、分析挖掘、应用等技术方法与特征内涵 1.2.2发展阶段从20世纪末到21世纪初期是大数据的发展期，在这一阶段中大数据逐渐为学术界的研究者所关注，相关的定义、内涵、特性也得到了进一步的丰富。2003至2006年，Google 发布的GFS、MapReduce和BigTable三篇论文对大数据的发展起到重要作用。2006至2009年，大数据技术形成并行运算与分布式系统。2009年，Jeff Dean在BigTable基础上开发了Spanner数据库。随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术如数据仓库、专家系统、知识管理系统等开始被应用。 1.2.3成熟阶段 2011年至今，是大数据发展的成熟阶段，越来越多的研究者对大数据的认识从技术概念丰富到了信息资产与思维变革等多个维度，一些国家、社会组织、企业开始将大数据上升为总第21卷233期大众科技Vol.21 No.1 2019年1月Popular Science & Technology January 2019 【收稿日期】2018-11-06 【作者简介】朱孔村（1985－），男，山东临沂人，江苏省科学技术情报研究所实习研究员，从事电子政务相关工作。 - 115 -

数据库未来发展趋势

库大型对象的前提下，IBM DB2 9允许用户无缝管理普通关系数据和纯XML数据。对于传统关系型数据与层次型数据的混合应用已经成为了新一代数据库产品所不可或缺的特点。除了IBM，Oracle和微软也同时宣传了它们的产品也可以实现高性能XML存储与查询，使现有应用更好的与XML共存。 (2)、商业智能成重点为应对日益加剧的商业竞争，企业不断增加内部IT及信息系统，使企业的商业数据成几何数量级不断递增，如何能够从这些海量数据中获取更多的信息，以便分析决策将数据转化为商业价值，就成为目前数据库厂商关注的焦点。各数据库厂商在新推出的产品中，纷纷表示自己的产品在商业智能方面有很大提高。如：微软最新版SQL Server 2005就集成了完整的商业智能套件，包括数据仓库、数据分析、ETL工具、报表及数据挖掘等，并有针对性的做了一些优化。如何更好的支持商业智能将是未来数据库产品发展的主要趋势之一。 (3)、SOA架构支持 SOA已经成为目前IT业内的一个大的发展趋势，最初IBM和BEA 是该理念的主要推动者，后来有越来越多的企业加入，开始宣称支持SOA，其中包括Oracle，而微软开始并不是非常赞同SOA的，但是，随着时间的发展，目前国内主流的数据库厂商都开始宣称他们的产品是完全支持SOA架构的，包括微软的SQL Server 2005，

学习数据库开发将来有哪些就业方向

学习数据库开发将来有哪些就业方向有很多人看到了计算机专业的发展前景，都来学了。可是学着学着，自己也迷茫起来了，不知道自己能胜任IT行业哪些工作岗位。于是就会有人不断的抛出这样的问题来：学习数据库开发将来有哪些就业方向？今天我就想大家分享一下数据库开发人员将来的就业岗位有什么。数据库专业上的职位总共分为是十种。下面提到的前面五种的重点是设计和应用，侧重于软件和数据逻辑层面；后面五种的重点是运营和维护，侧重与硬件和数据物理层面；这些职位没有好与不好之分，每个方向都可以做得很好，并且这些职位不是孤立，反而是互相交叉的，只是侧重点不同。 1、数据库应用开发除了要了解基本的 SQL 方面的知识，还要对开发流程、软件工程、各种框架和开发工具等等。数据库应用开发这个方向上的机会最多，职位也最多。 2、数据建模专家

负责将用户对数据的需求转化为数据库物理设计和物理设计。这个方向上在大公司有专门职位，在中小公司则可能由程序员承担。 3、商业智能专家主要从商业应用，最终用户的角度去从数据中获得有用的信息，需要使用SSRS,crystal report 等报表工具，或者其他一些数据挖掘。 4、ETL开发使用 ETL工具或者自己编写程序在不同的数据源之间对数据进行导入，导出，转换 5、数据构架师主要从全局上制定和控制关于数据库在逻辑这一层的大方向。这个方向上在大公司有专门职位，或者由开发人员负责。 6、数据库管理员

数据库的安装、配置、调优、备份/恢复、监控、自动化等，协助应用开发。这个方向上的职位相对少一些，但一般有点规模的公司还是会有这样的职位。 7、数据仓库专家应付超大规模的数据，历史数据的存储，管理和使用，和商业智能关系密切 8、存储工程师专门负责提供数据存储方案，使用各种存储技术满足数据访问和存储需求。通信，金融，数据中心等公司通常有这种职位。 9、性能优化工程师专长数据库的性能调试和优化，为用户提供解决性能瓶颈方面的问题。对数据库性能有严格要求的公司会有这种职位。 10、高级数据库管理员对性能优化、存储技术、数据库的高可用性技术、大规模数据库

5G时代建筑行业未来发展的5大趋势

5G时代建筑行业未来发展的5大趋势随着我国市场经济的快速发展和信息化水平的不断提高，作为国民经济重要支柱产业的建筑业也随之开始进行数字化转型升级。但是由于施工环境复杂、露天作业多、人员流动性大等建筑业自身特点，安全事故仍频繁发生。 5G时代的加速到来，具有关键作用的5G凭借其高速率、大带宽、低时延、高可靠等特性应用于建筑业各业务场景，必将会大大降低施工现场安全事故的发生。 5G技术将进一步推动整个建筑施工过程智能化、无人化，为建筑业企业打造数字化新模式，加强产业数字化建设，助力推动建筑业的安全、创新发展。在2019世界5G大会上，中国联通与华为、广联达联合发布《5G与数字建造白皮书》。2020年6月17日，华为携手广联达，举行了题为“以数字的画笔描绘建筑业转型蓝图——5G助力建筑业转型升级”的线上会议。 5G势不可挡，5G技术与建筑业数字化转型深度融合，将对建筑行业产生深远的影响。以下，我们为大家分享5G时代建筑行业未来发展的5大趋势。施工现场将大规模组网5G网络

建筑业的数字化发展的核心是对数据的获取和应用，在5G时代，可以结合物联网、移动互联网等技术更好的实现万物互联，更高质量的在工地现场收集建造过程信息。再结合BIM技术将建造阶段产生的实际数据与进度、成本计划在数字实体做关联，实现现实世界与数字世界的实时对照，更好的利用数字化手段实现建筑业的转型升级。在此施工过程中，5G技术的应用至关重要，同时也对5G 技术在施工现场的组网搭建提出了更高的要求与挑战。建筑工程项目时间周期长、场景差异大、环境复杂恶劣、安全性要求高，建造过程是一个从无到有的创造过程，工程物理环境、空间关系随时可能发生变化，导致网络可能也需要频繁做出相应调整。对于建筑企业是个繁琐的负担，所以我们提出建设“柔性5G网络”的解决方案，用来适配建筑业特殊的场景化诉求。这将有利于施工现场的规模组网。工程现场多传感器融合的智能感知建筑业的数字化转型，首先要实现建筑物数据以及管理行为与结果的“数据化”，而实现“数据化”的前提是要先获取精确的数据。将5G 技术与物联网技术深度融合，可以把所有的物品通过信息传感设备，按约定的协议，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理。

2011数据库技术发展现状与未来趋势

2011数据库技术发展现状与未来趋势调查报告, Oracle, 数据库, 软件, 运动数据库, 技术发展, 趋势近几年来，NoSQL运动如火如荼，不断有业内的巨头加入阵营，发布和推广NoSQL的相关产品，开拓应用场景。传统关系型数据库软件厂商也不甘寂寞，新产品、新版本、新特性不断发布，新官司、新收购也频频爆出，即使一向沉静的数据库市场，也被震出了几丝波澜。就让我们一起来回顾近两年间数据库市场的风云变幻和起伏跌宕，并展望未来几年，数据库市场及相关领域的发展吧。 ORACLE依然拉风进入2011年，ORACLE继续拉风的强势，据Gartner近期发布的调查报告显示，在RDBMS市场，Oracle的市场份额已经占到48.1%，仍然位居第一位，其市场份额超过了之后的五个竞争对手的总和。近些年来，ORACLE在资本层面频频发起重量级的并购，先后收购了PeopleSoft、BEA、SUN等知名软件企业，极大增强了自家整体实力。产品线上也是四面出击，现如今的ORACLE早已由一个单纯的数据库软件厂商，蜕变成产品集合涵盖了包括数据库、中间件、操作系统、企业化管理、商业智能、虚拟机、开发工具等，从软件到硬件，可对外提供完整企业解决方案的巨无霸厂商，完成从卖产品到卖服务的重大角色转变。 ORACLE的产品线漫长且数量众多，进入2011年，在笔者看来，下列产品值得着重描述，这些产品未来的发展，也有可能会对整个市场产生重大影响。

1) Exadata 2008年的OOW大会上，ORACLE与HP合作推出了具备划时代意义的数据库一体机Exadata，专攻OLAP市场，该款产品的硬件由HP提供，ORACLE则提供软件支持。完成对SUN的收购后，ORACLE变相拥有了自己的硬件产品 - 来自SUN的硬件系统。经过资源的整合，ORACLE迅速推出了Exadata V2，硬件方面改用SUN的X86架构产品现在是自家的产品了，数据库系统则升级到最新版本的11gR2，相比上一代产品，Exadata V2变化巨大。首先是硬件方面的变化，虽说V2的整体架构相比一代产品没有大的改变，不过一方面数据库服务器的主机换成了SUN的硬件，配置有所增强，另外每台 Storage Cell更是配置了384Gb的Flash Cache。在软件设计方面，Exadata首次引入了HCC特性(Hybrid Columnar Compression)，中文直译的话应该叫做混合列压缩，这是在传统的行存储方式和数据仓库系统中常被应用的列式存储混合应用的一种变通方式，HCC 相当于是在Block和Extend之间又引入了一级存储关系，定义为压缩单元(Compress Unix,CU)，在一个CU内按照列的方式存储，而每个CU与CU则按照基本行的方式保存，相当于综合了列式存储高压缩比和行式访问的特点。除此之外，Exadata还有一些Smart的技术，比如说V1中就被引入的Smart Scan技术，以及新增的Storage Index技术等，想必ORACLE也是希望籍着这些"Smart"的技术来表明，Exadata并非仅只是一个配置强豪华的黑匣子。

实时数据库的关键技术及未来发展前景

实时数据库的关键技术及未来发展前景摘要：作为数据库领域的一个重要分支。实时数据库弱化了关系型数据库的某些功能，通过采用专用的工业实时数据压缩算法以及特殊的历史数据存储索引机制，应对特殊的需求。实时数据库推动了信息化从传统领域向新的领域扩展，向更高层次发展。这些新的领域包括生产实时监视、电力调度、交通监视及控制、实时仿真、作战指挥自动化等。展望未来，在物联网领域实时数据库将会发挥更重要的作用。关键词：实时数据库数据压缩算法信息化关系数据库物联网中图分类号：TP311.133.2文献标识码：A文章编号：1007-9416（2014）04-0215-02 1引言 1.1实时数据库简介及应用背景实时数据库作为一种特殊的数据库，早在十多年前就已经在国外的大型流程工业企业部署应用。随着网络、存储及计算技术的飞速发展，实时数据库广泛应用于电力、

钢铁、石油、石化、交通、航空、水利、环保等重要行业和领域，已经是工业领域信息化的核心基础软件，在“信息化与工业化融合”过程中发挥着重要作用。 1.2国内外主流实时数据库介绍目前国内外市场上主流的实时数据库有：美国OSI公司的PI实时数据库，美国GE公司的IH实时数据库和美国印步公司的eDNA实时数据库。国产的有代表性的实时数据库有：上海麦杰的openPlant，北京中科启信的Agilor。 2实时数据库的主要特点及架构 2.1实时数据库的特点实时数据库面向的应用领域有如下3个特点： 2.1.1单位时间内响应的数据量大如：一个的火电厂的SIS系统使用实时数据库存储数据，同时需要处理的测点数超过了一万，这些测点的变化周期通常在1秒钟之内，也就是说，需要将超过一万点的数据在1秒钟之内保存到数据库中。 2.1.2存储数据量大实时数据库的核心就是对大量的实时信息进行处理，由于成年累月的数据将占据大量的硬盘空间。假设同时处理对于1万点的系统，每1秒钟存储一次，每次单点占用8个字节，那么保存10年的数据量将有 10000*8*10*365*86400=25228800000000字节，接近