大数据下云安全技术的发展方向
２２３
大数据下云安全技术的发展方向
吴春德
（广东省电信规划设计院有限公司，广东广州510630）
摘要：大数据环境下，网络安全问题成为迫切需要解决的问题，而云服务得到了广泛地普及，越来越多的客户数据放置到
云服务器上，因此云安全已然成为全球关注的焦点。文章论述了大数据环境下云安全技术发展的方向，进而构建更为完善、科学、安全系数高的云安全体系，为广大客户提供更为安全、优质的服务。关键词：大数据；云安全技术；发展方向中图分类号：TP393.08文献标识码：A 文章编号：1673-1131（2019）02-0223-02云计算是一个巨大的IT 共享虚拟资源池，它集大量计算、存储以及软件资源于一身，能够为人们提供快捷、有效、时效性强的资源，既能够提高人们的生活品质与质量，也为社会发展信息化、网络化贡献一份力量。然而，随着云服务的普及，越来越多的用户将数据放置于云服务器上，其自身的价值吸引了大批窥窃者与攻击者，甚至可以说针对云平台的“功”从未停止过，因此云安全已然成为全球关注的焦点。大数据背景下，只有建立严谨、严格的安全标准，才能够安心、安全地享受云计算提供的灵活性、时效性、自动化性服务。
1大数据环境下云安全面临的挑战
云计算具有一种典型的架构（如图1所示）。云安全是云
计算的重要应用，也是传统信息技术安全在云计算时代的延伸，而在大数据网络环境下，数据安全、云应用安全以及云平台安全等方面都会遇到新的挑战，笔者结合图1，分析了云安全面临的挑战，
主要表现于以下几个方面：
图1云计算的典型架构
1.1数据安全
当前，云平台的数量非常多，其往往都可以提供存储服务，但是由于各种因素的影响，云平台提供的储存服务并不能够互相兼容。所以，用户转移云平台的过程并不顺利，必然遇到困难，甚至会出现数据丢失的情况。可见，云模式下，用户对数据物理安全的控制低下，甚至完全失去了控制权。为了提高数据的安全性，大部分云平台中都出现了数据加密技术，而通过数据加密确实可以建起一堵虚拟的墙，但是在实际的云计算中，静态数据加密在大多数情况下是行不通的，因为使用静态数据加密后，会失去查询、处理以及搜索加密数据的权限。简单来讲，数据加密后，无法保证数据的完整性，且会出现“密钥”归属问题。可见，数据加密并不是提高数据安全的有效方法，而数据安全已然成为大数据环境下云平台面临的一个新的挑战。
1.2云应用安全
云平台已被应用于社会的各个领域，其用户与日俱增。然
而，用户在实际的使用过程中，不可能单独使用一种代码软件，而是会使用多种内部开发的代码软件，这无疑为兼容问题的出现创造了条件，同时混合技术的应用，也可能会在云应用中
留下安全漏洞。为了满足各种用户的需求，必定会不断地增
加新的功能，而用户为了体验、运用新功能，就要对软件进行升级改进，因为旧版的软件根本不能对数据起到保护作用，甚至会影响软件的正常运行。也就是说，云应用的改变速度，既能够满足用户的需求，为用户提供良好的服务，同时也会影响云安全软件的生命周期和安全。
1.3云平台安全
就云平台来讲，它的防御系统和入侵检查都是在虚拟机的环境下进行的，而多型虚拟机共存的环境，确实增加了终端之间相互感染、相互攻击的可能性，无疑是动摇了云平台的安全。互联网是访问云平台数据的必要途径，而通过互联网访问数据的过程中，可能会导致数据被暴露的情况，进而将数据置身于一个存在安全风险的环境中，因此需要对云平台系统控制和数据访问控制进行严密的监控，提升云平台的安全性。除此之外，Web 的应用，为恶意木马、攻击者提供来了一个攻击的漏洞，将云平台置身于远程威胁中。因此，要始终保持警惕，及时修补系统中出现的漏洞，确保云平台安全。
2大数据背景下云安全技术发展的方向
云安全是继“云计算”、“云存储”之后出现的“云”技术的
重要应用，它在病毒与反病毒软件的技术竞争中成功的为反病毒软件夺得了先机，更是解决当前大数据环境下数据安全问题的有效方法。
2.1
云安全技术
图2云安全的立体结构防御图
云安全技术是一项确保网络安全的技术，它具有较高的有效性、时效性、隐私性以及可靠性。实践证明，云安全技术确实能够对网络运行的安全管理提供保护。云计算实现了分析、挖掘大数据，而大数据背景下，其赖以生存的云平台，面临着一个严峻的问题与条件——安全问题。目前，云安全管理体系的构建应该将“大数据平台”作为基础，构建一个综合的云安全防护平台，实现云平台的安全监测、检测、防御等。云安全防护系统的关键技术就是云安全技术，该系统能够有效地解决云平台中出现的各种管理问题以及安全问题，如入侵威胁、数据丢失等，为广大用户提供安全技术和数据支撑。
2.3发展的方向（下转第225页）
2019
（Sum.No 194）
信息通信
INFORMATION &COMMUNICATIONS
2019年第2期（总第194期）
大数据技术进展与发展趋势
大数据技术进展与发展趋势 在大数据时代，人们迫切希望在由普通机器组成的大规模集群上实现高性能的以机器学习算法为核心的数据分析，为实际业务提供服务和指导，进而实现数据的最终变现。与传统的在线联机分析处理OLAP不同，对大数据的深度分析主要基于大规模的机器学习技术，一般而言，机器学习模型的训练过程可以归结为最优化定义于大规模训练数据上的目标函数并且通过一个循环迭代的算法实现，如图4所示。因而与传统的OLAP相比较，基于机器学习的大数据分析具有自己独特的特点[24]。图4 基于机器学习的大数据分析算法目标函数和迭代优化过程（1）迭代性：由于用于优化问题通常没有闭式解，因而对模型参数确定并非一次能够完成，需要循环迭代多次逐步逼近最优值点。（2）容错性：机器学习的算法设计和模型评价容忍非最优值点的存在，同时多次迭代的特性也允许在循环的过程中产生一些错误，模型的最终收敛不受影响。（3）参数收敛的非均匀性：模型中一些参数经过少数几轮迭代后便不再改变，而有些参数则需要很长时间才能达到收敛。这些特点决定了理想的大数据分析系统的设计和其他计算系统的设计有很大不同，直接应用传统的分布式计算系统应用于大数据分析，很大比例的资源都浪费在通信、等待、协调等非有效的计算上。传统的分布式
计算框架MPI（message passing interface，信息传递接口）[25]虽然编程接口灵活功能强大，但由于编程接口复杂且对容错性支持不高，无法支撑在大规模数据上的复杂操作，研究人员转而开发了一系列接口简单容错性强的分布式计算框架服务于大数据分析算法，以MapReduce[7]、Spark[8]和参数服务器ParameterServer[26]等为代表。分布式计算框架MapReduce[7]将对数据的处理归结为Map和Reduce两大类操作，从而简化了编程接口并且提高了系统的容错性。但是MapReduce受制于过于简化的数据操作抽象，而且不支持循环迭代，因而对复杂的机器学习算法支持较差，基于MapReduce的分布式机器学习库Mahout需要将迭代运算分解为多个连续的Map 和Reduce 操作，通过读写HDFS文件方式将上一轮次循环的运算结果传入下一轮完成数据交换。在此过程中，大量的训练时间被用于磁盘的读写操作，训练效率非常低效。为了解决MapReduce上述问题，Spark[8] 基于RDD 定义了包括Map 和Reduce在内的更加丰富的数据操作接口。不同于MapReduce 的是Job 中间输出和结果可以保存在内存中，从而不再需要读写HDFS，这些特性使得Spark能更好地适用于数据挖掘与机器学习等需要迭代的大数据分析算法。基于Spark实现的机器学习算法库MLLIB 已经显示出了其相对于Mahout 的优势，在实际应用系统中得到了广泛的使用。近年来，随着待分析数据规模的迅速扩
大数据发展趋势答案
大数据发展趋势势 2011年，IBM的“沃森”超级计算机在美国著名智力竞赛节目《危险边缘》上击败两名人类选手而夺冠。（3分） ? A. 是 ? B. 否 北京航空航天大学创办了国内第一个“大数据科学与应用”软件工程硕士专业。（3分） ? A. 是 ? B. 否 人工智能够和人一样进行感知、认知、决策、执行的人工程序或系统。（3分） ? A. 是 ? B. 否
大数据开发的根本目的是以数据分析为基础，帮助人们做出更明确的决策，优化企业和社会运转。（3分） ? A. 是 ? B. 否 机器学习就是通过算法，使得机器能从大量历史数据中学习规律，从而对新的样本做智能识别或对未来做预测。（3分） ? A. 是 ? B. 否 目前，我国政府、企业和行业信息化系统建设往往缺少统一规划和科学论证，系统之间缺乏统一的标准，形成了众多“信息孤岛”。（3分） ? A. 是 ? B. 否 当前，企业提供的大数据解决方案大多基因Hadoop开源项目。（3分）
A. 是 ? B. 否 由于大数据处理多样性的需求，目前出现了多种典型的计算模式，包括大数据查询分析计算、批处理计算、流式计算、图计算等。（3分） ? A. 是 ? B. 否 大数据分为“结构化数据“与”非结构化数据”。（3分） ? A. 是 ? B. 否 大数据成熟催化了人工智能的进步，深度学习带来算法上的突破则带来了人工智能浪潮。（3分）
A. 是 ? B. 否 知识图谱是一种基于图的数据结构，由节点和边组成。（3分） ? A. 是 ? B. 否 大数据的发展趋势中的智能化关键技术包括感知技术、自然语言技术、交互技术以及决策等。（3分） ? A. 是 ? B. 否 2012年7月国务院发布的《“十二五”国家战略性新兴产业发展规划》中明确提出支持海量数据存储、处理技术的研发和产业化。（3分） ?
大数据核心技术培训
大数据核心技术培训 你学或者不学，大数据依旧在发展；你从事或者不从事，大数据的前景你都应该了解。时代的前进方向，未来的领先技术，作为时代的年轻人，你不知道就真的会被社会所淘汰的。大数据的发展前景怎么样？未来大数据的发展趋势如何? 近年来，科技的快速发展推动了企业在数据生成、储存等多方面的需求增长。所以在企业爆炸式的大数据时代下，剧增了原有数据存的储存压力，所以大数据人才需求量将会与日俱增。所以大数据在未来就业前景一定非常广阔，在此千锋教育带大家了解大数据的发展趋势。 数据分析成为大数据技术的核心 大数据的价值体现在对大规模数据集合的智能处理方面，进而在大规模的数据中获取有用的信息。要想逐步实现这个功能，就必须对数据进行分析和挖掘。而数据的采集、存储、和管理都是数据分析步骤的基础，通过进行数据分析得到的结果，将应用于大数据相关的各个领域。 云数据分析平台将更加完善 近几年来，云计算技术发展迅猛，与此相应的应用范围也越来越宽。云计算的发展为大数据技术的发展提供了一定的数据处理平台和技术支持。云计算为大
数据提供了分布式的计算方法、可以弹性扩展、相对便宜的存储空间和计算资源，这些都是大数据技术发展中十分重要的组成部分。随着云计算技术的不断发展和完善，发展平台的日趋成熟，大数据技术自身将会得到快速提升，数据处理水平也会得到显著提升。 开源软件的发展成为推动大数据发展的新动力 开源软件是在大数据技术发展的过程中不断研发出来的。这些开源软件对各个领域的发展、人们的日常生活具有十分重要的作用。开源软件的发展可以适当的促进商业软件的发展，以此作为推动力，从而更好地服务于应用程序开发工具、应用、服务等各个不同的领域。 由于大数据行业快速发展，人才需求急剧增加。目前，据某招聘网站平台数据，目前大数据人才的供给量远远低于行业人才需求。所以大数据培训应运而生，作为连接人才与企业的窗口，千锋大数据培训成为了为企业提供大数据人才强而有力的保障。 千锋大数据培训讲师经过多年的培训经验，结合学员的学习曲线，设计合理的项目进阶课程，让学员逐渐掌握做项目的方法方式，培训真正的项目经验。不
大数据发展现状与未来发展趋势研究
大数据发展现状与未来发展趋势研究 朱孔村 （江苏省科学技术情报研究所，江苏南京210042） 【摘要】数据是信息化时代的“新石油”资源，如何利用好这种“新石油”资源需要大数据技术的支持。文章介绍了大数据技术及其发展历程，概括了当前国内外大数据的发展现状并展望了大数据技术和产业方面的未来发展趋势。 【关键词】大数据；现状；趋势 【中图分类号】TP391【文献标识码】A【文章编号】1008-1151(2019)01-0115-04 Research on the Current Situation and Future Development Trend of Big Data Abstract: Data is the “new petroleum” resource of the information age and how to make good use of this “new petroleum” resource needs the support of big data technology. This paper first introduces the big data technology and its development process and summarizes the current development of big data at home and abroad. Finally, the future development trend of big data technology and industry is prospected. Key words: big data; current situation; trend 1 大数据技术概述 1.1大数据技术 随着物联网、云计算、移动互联网等技术的成熟，以及智能移动终端的普及，全社会的数据量呈指数型增长，全球已经进入以数据为核心的大数据时代。大数据并不是一个新的概念，信息技术发展的每一个阶段都会遇到数据处理的问题，人类需要不停的面对来自数据的挑战。为满足商业结构化数据存储的需求而产生了关系型数据库，为满足互联网时代非结构化数据存储需求而产生了NoSQL技术，而大数据技术的产生是为了解决大型数据集分析的问题。 大数据技术目前还没有一个确切的定义，各行各业有着自己的见解，但总体而言，其关键在于从数量庞大、种类繁多的数据中提取出有用的信息。维基百科从数据处理的角度将大数据定义为一个超大的、难以用现有常规的数据库管理技术和工具处理的数据集。国际数据公司（IDC）给出的报告指出，大数据技术描述了一种新一代技术和构架，以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值[1]。 少量的数据看似杂乱无章，但是当数据累积到一定程度时，就会呈现出一种规律和秩序。大数据的价值就在于数据分析，利用大数据分析技术，从海量数据中总结经验、发现规律、预测趋势，最终为辅助决策服务。《大数据时代》的作者克托·迈尔-舍恩伯格认为：“大数据开启了一次重大的时代转型”，他指出大数据将带来巨大的变革，改变人们的生活、工作和思维方式，改变人们的商业模式，影响人们的经济、政治、科技和社会等各个层面。 1.2大数据发展历程 1.2.1萌芽阶段 20世纪90年代，“大数据”这个术语开始出现。1998年SGI首席科学家John Masey在USENIX大会上提出大数据的概念，他当时发表了一篇名为Big Data and the Next Wave of Infrastress的论文，使用了大数据来描述数据爆炸的现象。但是那时的大数据只表示“大量的数据或数据集”这样的字面含义，还没有涵盖到相关的采集、存储、分析挖掘、应用等技术方法与特征内涵 1.2.2发展阶段 从20世纪末到21世纪初期是大数据的发展期，在这一阶段中大数据逐渐为学术界的研究者所关注，相关的定义、内涵、特性也得到了进一步的丰富。2003至2006年，Google 发布的GFS、MapReduce和BigTable三篇论文对大数据的发展起到重要作用。2006至2009年，大数据技术形成并行运算与分布式系统。2009年，Jeff Dean在BigTable基础上开发了Spanner数据库。随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术如数据仓库、专家系统、知识管理系统等开始被应用。 1.2.3成熟阶段 2011年至今，是大数据发展的成熟阶段，越来越多的研究者对大数据的认识从技术概念丰富到了信息资产与思维变革等多个维度，一些国家、社会组织、企业开始将大数据上升为 总第21卷233期大众科技Vol.21 No.1 2019年1月Popular Science & Technology January 2019 【收稿日期】2018-11-06 【作者简介】朱孔村（1985－），男，山东临沂人，江苏省科学技术情报研究所实习研究员，从事电子政务相关工作。 - 115 -
浅析大数据的特点及未来发展趋势
浅析大数据的特点及未来发展趋势 摘要：随着二十一世纪的到来，人们已经进入了信息化的时代。计算机技术水平越来越先进，给人们的生活带来了极大的便利。在信息化的时代，人们每天接触的信息量成千上万。获取有用的数据，不仅可以有效缩短时间，而且可以满足具体需求。大数据技术正是适应现代社会的发展，从数据量巨大、结构复杂、类型众多的数据中，快速获取有价值的信息。因此本篇文章主要分析了大数据的特点，通过进一步探讨，并对其未来的发展趋势进行展望。 关键词：大数据；特点；发展趋势 大数据是继互联网、云计算技术后世界又一热议的信息技术，近几年来发展十分迅速。大数据技术的出现，给人们的生活带来了极大的便利。我们将生活中的东西数据化之后，就可以采用数据的格式对其进行存储、分析，从而获得更大的价值。 一、大数据技术的特点分析 1）开源软件得到广泛的应用 近几年来，大数据技术的应用范围越来越广泛。在信息化的时代，各个领域都趋向于智能化、科技化。大数据技术研发出来的分布式处理的软件框架Hadoop、用来进行挖掘和可视化的软件环境、非关系型数据库Hbase、MongoDb 和CounchDB等开源软件，在各行各业具有十分重要的意义。这些软件的研发，与大数据技术的发展是分不开的。 2）不断引进人工智能技术 大数据技术主要是从巨大的数据中获取有用的数据，进而进行数据的分析和处理。尤其是在信息化爆炸的时代，人们被无数的信息覆盖。大数据技术的发展显得十分迫切。实现对大数据的智能处理，提高数据处理水平，需要不断引进人工智能技术，大数据的管理、分析、可视化等等都是与人密切相关的。现如今，机器学习、数据挖掘、自然语言理解、模式识别等人工智能技术，已经完全渗透到了大数据的各个程序中，成为了其中的重要组成部分。 3）非结构化的数据处理技术越来越受重视 大数据技术包含多种多样的数据处理技术。非结构化的处理数据与传统的文本信息存在很大的不同，主要是指图片、文档、视频等数据形式。随着云计算技
大数据技术发展前景
考试：大数据技术与发展前景 ?试卷年份：2015年 ?题量：10题 ?答题时间：分钟 ?总分：100分 ?合格线：60分1 【单选】数据的可用性取决于（） ? A. 数据分析 ? B. 数据集采 ? C. 数据质量 ? D. 数据需求 ? A ? B ? C ? D ?正确答案：C 2 【单选】作为老牌商业中心，吸引着短期来京者的重要地点是（）。? A. 北京西单 ? B. 北京王府井 ? C. 北京南锣鼓巷
? D. 北京天安门 ? A ? B ? C ? D ?正确答案：A 3 【单选】批处理和复杂数据挖掘计算通常属于（）? A. 分析计算 ? B. 实时计算 ? C. 查询计算 ? D. 非实时计算 ? A ? B ? C ? D ?正确答案：D 4 【多选】根据数据结构特征大数据可分为（）? A. 结构化/半结构化数据处理
? B. 结构化数据处理 ? C. 非结构化数据处理 ? D. 半结构化数据处理 ? A ? B ? C ? D ?正确答案：A C 5 【多选】大数据时代企业对数据的管理、查询及分析的需求变化主要集中在（）? A. 数据规模的增长 ? B. 吞吐量的上升 ? C. 数据类型的变化 ? D. 应用多样性的变化 ? A ? B ? C ? D ?正确答案：A B C D 6 【多选】据管理数据的模式分类，NoSQL 系统可以分为（）
? A. 键值系统 ? B. 文档存储系统 ? C. 图数据库 ? D. 语音管理系统 ? A ? B ? C ? D ?正确答案：A B C 7 【判断】大数据的分析工具和数据库也将走向云计算（） ? A. 正确 ? B. 错误 ?正确 ?错误 ?正确答案：正确 8 【判断】为了保证大数据的可用性，首先必须在数据的源头上把好质量关，做好从原始数据到高质量信息的? A. 正确 ? B. 错误
浅谈大数据技术进展与发展趋势
浅谈大数据技术进展与发展趋势 摘要：随着网络时代的到来，互联网技术得到了广泛的运用，改变了大多数人 们的生产与生活方式。IT技术的发展也因此得到了增长，信息化的变革体现在各 行各业，数据化也渗透到了社会的方方面面。此时，明确大数据的优势和重要性，并能够积极开发和运用大数据技术，是促进行业发展，提高我国社会发展速度的 关键。 关键词：大数据技术；进展；发展趋势 引言 互联网+时代，大数据技术得到快速发展，在大数据时代，大数据技术在各个 领域中的应用，为其它领域的发展提供了技术支持。大数据技术在其它领域中的 应用，根据其发展需要，其技术在不断发展与创新，以适合现代其它领域发展的 需要。 1大数据技术特点 1.1大数据的概念 相比传统的数据概念，大数据可以说是一种全新的思维模式和数据运用方式。它不仅拥有庞大的数据量和种类繁多的数据集，而且它与传统的数据有着本质的 区别。亚马逊科学家认为“大数据是任何一台超过了一台计算机处理能力的数据量”。大数据可以用4V特征来表述。第一个V是volume，指数据量大，而且还不断增长，难以预测；第二个v是variety，指种类繁多，来源广泛，包含网页、视频、音频等多种多样的信息来源；第三个v是velocity，指速度快，大数据不仅产生速度快，而且影响快，时效性高；第四个v是value，指价值性，大数据的价值密度低，但是整体价值和潜在价值高，需要人们不断去挖掘和开发。 1.2大数据的系统架构 从大数据的系统观点来看，大数据的整体架构是通过分层结构来实现的，主 要包括5个环节：数据准备、数据存储与管理、计算处理、数据分析和结果展现。数据准备阶段是从各种数据源例如：互联网、物联网、企业数据等采集和导入数据，对数据进行加载、提取、转换成统一格式的结构化数据。数据存储管理是将 数据准备阶段转换好的数据导入数据库进行存储。计算处理是在数据库中通过批 处理技术、流处理技术、交互分析技术等对大数据进一步地分析和整理。 2大数据技术进展 2.1大数据的采集和预处理 数据采集是大数据的主要工作方式，数据采集主要有集中采集和分布采集两 种方式。大数据通过对采集的数据进行收集和整理，科学有效的进行分析，提炼 出有效的数据，为其它行业的发展提供了技术支持。数据的存在形式多种多样， 如何科学有效的采用数据，采集到结构化和非结构化数据进行有效的采集，利用 网络数据采集，采用信息系统识别方式等，在互联网+背景下，科学有效的进行 数据的清洗和质量控制，完善大数据的利用效率，其采用多种技术进行有效的融合，转换生成一种新的数据集，进行科学有效的应用，完善大数据的采集和预处理，提高其实际的应用效果。 2.2大数据存储与管理 在互联网+时代，互联网技术的应用，在各个行业的应用过程中产生了大量数据，如何有效的利用数据解决实际问题，提高数据的利用效率，促进其它行业的 发展。大数据时代的到来，使传统模式下的数据存储容量无法满足现代人们对其
大数据的特征与发展趋势
大数据时代的特征与发展趋势 在云计算、物联网等技术的带动下，中国已步入…大数据?时代。邬贺铨说，我们正在进行一场全新的革命，庞大的数据带来的量化转变将在各领域迅速蔓延，没有哪个领域能够逃脱它的影响。据有关机构测算，大数据已成为全球ＩＴ产业中增长最快的领域。2010年全球大数据以及相关的硬件、软件和服务市场达到30亿美元，2015年将超过170亿美元，平均年增长速度超过50%。作为全球大数据产业的重要组成，中国大数据潜在市场规模未来有望达到2万亿人民币。身处“大数据”时代，中国正多方位布局“大数据”产业，各地政府、通信公司、科研院所、ＩＴ企业等都“摩拳擦掌”，希望能分到“一杯羹”。 1．大数据的含义 大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据”这个术语最早期的引用可追溯到apache org的开源项目Nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce和GoogleFile System （GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。 2．大数据的特征 关于大数据的特征，业内专业认识人士表示，可以用很多词语来表示。比较有代表性的即为2001年DougLaney最先提出“3V”模型，包括数量(V olume)、速度(Velocity)和种类(Variety)【1】。除此之外，在3V的基础上又提出了一些新的特征。关于第四个V的说法不一，IDC 认为大数据还应当具有价值性(Value)，大数据的价值往往呈现出稀疏性的特点。而IBM 认为大数据必然具有真实性(Veracity)。维基百科对大数据的定义则简单明了：大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集【2】。如今，业内人士已经将其扩展到了11个V，包括有效性、可见性等。 下面就目前使用最多的“4V”模型进行分析。“4V”特征主要体现在以下方面： 2.1.规模性（volume） V olume指的是数据巨大的数据量以及其规模的完整性。数据的存储TB扩大到ZB。这与数据存储和网络技术的发展密切相关。数据的加工处理技术的提高，网络宽带的成倍增加，以及社交网络技术的迅速发展，使得数据产生量和存储量成倍增长。实质上，在某种程度上来说，数据的数量级的大小并不重要，重要的是数据具有完整性。数据规模性的应用有如下的体现，比如对每天12 tb的tweets进行分析，了解人们的
国内外大数据发展现状和趋势(2019)
行业现状 当前，许多国家的政府和国际组织都认识到了大数据的重要作用，纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手，实施大数据战略，对大数据产业发展有着高度的热情。 美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。在美国的先进制药行业，药物开发领域的最新前沿技术是机器学习，即算法利用数据和经验教会自己辨别哪种化合物同哪个靶点相结合，并且发现对人眼来说不可见的模式。根据前期计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。 目前，欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。 英国在2017年议会期满前，开放有关交通运输、天气和健康方面的核心公共数据库，并在五年内投资1000万英镑建立世界上首个“开放数据研究所”；政府将与出版行业等共同尽早实现对得到公共资助产生的科研成果的免费访问，英国皇家学会也在考虑如何改进科研数据在研究团体及其他用户间的共享和披露；英国研究理事会将投资200万英镑建立一个公众可通过网络检索的“科研门户”。 法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术，法国软件编辑联盟曾号召政府部门和私人企业共同合作，投入3亿欧元资金用于推动大数据领域的发展。法国生产振兴部部长ArnaudMontebourg、数字经济部副部长FleurPellerin和投资委员LouisGallois在第二届巴黎大数据大会结束后的第二天共同宣布了将投入1150万欧元用于支持7个未来投资项目。这足以证明法国政府对于大数据领域发展的重视。法国政府投资这些项目的目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展”。众所周知，法国在数学和统计学领域具有独一无二的优势。 日本为了提高信息通信领域的国际竞争力、培育新产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题。2013年6月，安倍内阁正式公布了新IT战略——“创建最尖端IT国家宣言”。“宣言”全面阐述了2013～2020年期间以发展开放公共数据和大数据为核心的日本新IT国家战略，提出要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”。日本著名的矢野经济研究所预测，2020年度日本大数据市场规模有望超过1兆日元。 在重视发展科技的印度，大数据技术也已成为信息技术行业的“下一个大事件”，目前，不仅印度的小公司纷纷涉足大数据市场淘金，一些外包行业巨头也开始进军大数据市场，试图从中分得一杯羹。2016年，印度全国软件与服务企业协会预计，印度大数据行业规模在3年内将到12亿美元，是当前规模的6倍，同时还是全球大数据行业平均增长速度的两倍。印度毫无疑问是美国亦步亦趋的好学生。在数据开放方面，印度效仿美国政府的做法，制定了一个一站式政府数据门户网站https://www.360docs.net/doc/b85636158.html,.in，把政府收集的所有非涉密数据集中起来，包括全国的人口、经济和社会信息。 我国大数据行业仍处于快速发展期，未来市场规模将不断扩大 ?目前大数据企业所获融资数量不断上涨，二级市场表现优于大盘，我国大数据行业的市
试论大数据技术进展与发展趋势
试论大数据技术进展与发展趋势 摘要：在互联网技术飞速发展的时代，大数据技术在各个行业中都得到了有效 的普及，目前其已经成为推动我国各领域经济发展的重要技术之一。大数据在工 业结构调整中也有着较为重要的作用，同时能够推动企业制造和数字化生产管理 相融合。本文对大数据未来发展的对策进行了分析和探讨。希望能为相关工作人 员提供一定的帮助。 关键词：大数据技术；发展趋势；创新；经济新常态 引言： 大数据、智能化、人工智能及互联网技术为代表的信息技术正在潜移默化中改变这人们 的工作生产方式和日常生活方式，这也象征着人们进行经济新常态。我国产业结构调整和科 技创新技术在实现的过程中都离不开大数据技术的支持。各个企业为在各自的发展领域中得 到良好的发展并且占据有利地位需要加强研究大数据技术在本企业生产工作当中的应用，如 此才能够有效占据市场发展的主动性地位。大数据技术的发展趋势也会随着这社会各个领域 当中的应用不断发展。 1大数据技术的概述 大数据技术是指在大规模数据库中获取、存储、管理分析数据集合并强调不是限定某一 特定数量级的数据集。大数据技术具备的特征有以下四种，第一是非结构化数据的超大规模 并且其相对结构化的数据要快10-50倍左右，同时其也能够不断增长，而且这个速度也是不 可小觑的。第二，大数据具备一定的异构和多样性，可以通过很多形式来存在，比如文本、 视频等，而且其能够传递出大量的信息。大数据的数据并没有固定的形式，所以人们在应用 的过程中也有更加多样的形式。第三，大数据中会包含大量的彼此之间不太相关的信息。大 数据之间虽然不存在必然的联系，但是其可以通过利用分析来实现对未来趋势的预测。第四，大数据技术可以实现实时分析，其可以对数据进行及时的处理分析并且快速的输送到应用的 地点。大数据处理就是在的具体流程是首先对数据进行采集，大数据的采集技术是大数据应 用的基础，这些采集技术的具体实现是几株大数据的智能感知层和基础支撑层。然后需要借 助大数据的预处理基础来对所接受的数据进行处理分析，简单的辨析出可用的内容，同时剥 离出无用的信息，随后需要借助大数据的储存和管理技术来对大数据信息进行有效的管理并 且解决相应的问题。为了让这个环节能够顺利进行需要借助复杂结构化、半结构化、非结构 化的大数据管理和处理技术，并且在实践中及时分析提取出相应的数据内容。大数据在存储 的时候需要保证存储基本框架的稳定性，尤其是注意其在时间方面的稳定性。最后要开展分 析工作，对数据进行分析也是大数据技术在应用过程中的最重要的阶段。之所以开展数据分 析工作是为了让海量信息的提取作业能够妥善完成并且能够根据相应的内容做出相对正确科 学的决策，为接下来的工作提供合理的引导。大数据分析技术经常采用的方式主要是数据可 视化、统计分析及数据挖掘等。这样可以让数据能够合理的被分析并且深入挖掘出人们所要 使用的内容。 2大数据技术的发展趋势 在我国把大数据技术发展作为我国发展的战略性方针之后，大数据技术在各行各业中的 应用更加广泛，开放共享是大数据资源最为关键的优势。但是由于大数据技术在使用过程中 没有一个较为统一的规范标准，所以大数据在发展的过程中还有着数据框架落后的问题，随 着时代的发展，越来越多的新技术在大数据当中得到应用，其中所带来的很多数据，在当下 的数据框架中可能会无法有效协调。这就有可能会造成大数据在使用的过程中出现一个问题，而且物联网、车联网的各种物理信号会带来更多的数量级的有效数据。这是新数据在应用过 程中所要面对的局面。我国大数据技术在未来发展的过程中会出现以下几种趋势，第一是大 数据资源化，大数据会在企业中得到有效的应用，并且成为企业占据市场的关键因素，所以 大数据将会在社会上各个领域当中都有一定的应用平台。目前在数据已经在人们的日常出行 中得到广泛的应用，在未来还会在工业设计和生产中得到更多的应用，所以大数据技术会呈 现促进数据资源化发展的趋势。基于云的数据分析平台也会越来越完善。云计算会让大数据 的应用有更加具有弹性的扩展，而且其储存空间和计算机也较为便宜，所以中小型企业在发
大数据新技术发展趋势及应用研究
大数据新技术发展趋势及应用研究 目前，大数据已经为企业管理者提供了业务活动信息的汇总统计分析，从而使企业决策具有一定的洞察力。未来大数据对企业的作用，将不仅局限于决策支持，大数据的价值可以扩展到企业经营过程中，企业活动的每一个重要动作都能得到大数据的帮助，进而推进经营管理精细化、精确化进程。从而将洞察力转化为执行力。 大数据对企业的益处主要表现在两个方面： 1、企业由上至下的执行力得到显著增强 以金融企业风险管理为例，当具体业务流程尚未采用大数据技术时，大量风险无法在业务执行时得到有效规避。当采用大数据技术将“洞察力转化为执行力”后，在前端业务执行时，即可在大数据中实时使用复杂风险计算模型进行风险度量，及时提示风险，规避风险的累积，避免风险业务的产生，从而提高了风险管理的执行力。 这种思想也可以用于具体的企业营销。以金融企业市场营销为例，运用大数据技术可以根据客户行为特征实时计算识别异常交易（如突然大幅提高了交易金额）并即时进行交叉销售或客户挽留工作。 2、企业组织结构得到整体优化 从企业组织结构来看，不仅改变企业的执行能力，也意味着企业组织结构的优化。大数据应用对象将从企业的中高层管理人员延伸到企业的基层工作人员，应用范围从经营管理扩展到业务处理。企业业务系统流程将进行必要的补充和优化，大数据将成为企业经营管理和业务执行优化的支撑平台。 企业IT应用将形成“双中心”的架构：业务处理中心和信息中心。作为传统核心IT系统的业务处理中心继续承担企业业务执行的任务；以大数据为核心的信息中心除了承担既有的信息统计分析功能外，将进一步与业务处理中心集成，形成业务分析中心，为业务执行提供实时或准实时的信息分析，提升服务、风险、营销和运营的执行