韩国大数据研究与应用概况
韩国大数据研究与应用概况
胡经国
本文根据有关文献和资料编写而成，供读者参考。本文在篇章结构、内容和文字上对原文献作了一些修改和补充，并且添加了一些小标题，特此说明。
据认为，韩国大数据研究与应用从基础设施起步。韩国科学部表示，开放大数据中心将成为服务大数据企业的一个实验基地，并且可以为大学培养研究人员。
韩国宽带的建设、应用和发展在全球都具备领先优势。尤其是韩国宽带、游戏产业和硬件终端的创新一直都是值得称道的。但是，同亚洲大部分国家一样，大数据韩国也属于跟随者。比如，在数据搜集、处理能力以及人才培养、隐私立法等方面的问题，限制了其大数据的研究和应用步伐。韩国大数据最值得称道的地方，还是落在数据中心、带宽等硬基础设施以及智慧城市服务方面。
一、基础设施
韩国科学部曾经表示，由于缺乏推动这一新兴领域发展的必要基础设施和先进经验，因而韩国的大数据技术落后于谷歌、亚马逊等世界顶尖科技企业2～5年。2013年2月，韩国总统朴槿惠在创新型经济框架中，呼吁将信息技术作为韩国经济增长的一个新支柱。9月16日，在韩国国家科学技术咨询会议首次会议，她也强调“创造经济”的作用，并且成立了未来战略、科技基础、创造经济等三大分科委员会。
之前，韩国政府还宣布将建设一个开放大数据中心。该中心面向中小型企业、风险企业、大学和普通公民。他们都可以通过该中心，对大数据进行提炼和分析，利用大数据技术解决业务或者研究方面的问题。韩国科学部希望，以此帮助科技行业赶上世界顶尖科技公司。大数据中心成为服务大数据企业的一个实验基地，并且为大学培养研究人员。
该数据中心位于韩国国家信息社会局（NIA）大楼内，是由韩国科学、通信和未来规划部和NIA一道建设的。其网络平台与存储国家统计信息以及其他公共信息的政府数据门户服务相连接。另外，像LG CNS这样的企业也发力数据中心建设。LG CNS总共拥有4个不同的数据中心。它们分别设立在仁川、首尔和釜山。其新建的位于釜山的全球云数据中心，占地32321平方米，整个场地面积超过五个足球场的规模。它拥有72000台服务器。据悉，韩国国内的数据中心设施数量，目前超过100处；近几年新增加的就接近总数的1/3。
韩国连接国内外的互联网环境完善、产业用电价格低廉，特别是还有面向数据中心设施的电费优惠制度。韩国的电费比日本便宜3～4成。与IT产业发达的印度相比，韩国电力供给稳定；与东南亚国家相比，韩国气温较低更适合
于数据中心。因此，韩国数据中心不仅可供自用，对于亚洲相邻国家也具有很强吸引力。比如，日立制作所就提出将利用韩国LG集团的数据中心设施，为在韩日企提供云服务。此外，还将利用在日本积累的数据，在韩国提供技术支持服务。
二、数据开放
关于信息安全和隐私立法和保护，也是韩国大数据研究与应用发展的关键问题。2013年，韩国未来创造科学部与放送通信委员会，对个人信息领域限制进行适当修订，提出当企业使用类似汽车黑匣子，水坝需水量等这类个人无法识别的信息时，无需向主管部门做出申请。而且，制定了以促进大数据产业发展并兼顾个人信息保护的数据共享标准。韩国放送通信委员会个人信息保护科指出，“正准备修改位置信息法，允许不暴露个人信息的位置服务，免除向上级申请的步骤。”该通信委员会还提出，召开一个包含大数据企业、大学教授、法律界人士等多方面参与的恳谈会，商讨在促进大数据产业时，如何制定标准共享个人信息，提供正确的引导，以符合隐私法和信息网络法的规定。另外，韩国政府还计划将国家公共服务逐渐过渡到移动设备中，并且对个人开放国家公共数据。2013年内，韩国计划开放300种国家数据。并且，充分发挥移动技术在个性化处理、提供服务时不受地点限制等优势，提出要为用户打造一个完整的数据传输环境；并且方便不同操作水平的居民能够随时获取服务，对接收的数据进行人性化处理。
三、智慧城市
配合数据开放和提升政务服务，首尔政府开发了一系列智能手机应用。其中，以“智慧首尔地图”为代表。通过该应用，可以查询残疾人设施、首尔市免费无线网络热点、健康餐饮店、图书馆、厕所的位置以及行政信息等；还可以向政府举报违章停车或道路破损问题。事实上，在2011年，首尔就提出“智慧首尔2015”计划。其目标是到2015年，成为世界上最方便使用智能技术的城市，建立与市民沟通的智能行政服务，建成适应未来生活的基础设施和成为有创造力的智慧经济都市。
“智慧首尔2015”计划指出，公共数据已成为具有社会和经济价值的重要国家资产。首尔市将努力打造“首尔开放数据广场”，以促进信息技术和公共服务产业的进步和发展。“首尔开放数据广场”目前包含33个数据库、880个数据集，为用户提供十大类的公共数据信息，包括：育儿服务、公共交通路线、巴士到站时间、停车位、各地区天气预报及餐厅推荐等，涵盖生活方方面面的信息；并配有图表、数据、地图和网络链接等。首尔市还计划根据开放应用程序接口的利用情况和数据的再利用情况，向市民和企业进一步开放有用数据。预计，这些公开的公共信息产生的经济价值将达到 1.2万亿韩元，能够帮助私营企业创造多元化的商业模式和价值。
韩国未来规划部曾经希望，通过物联网、大数据产业，到2017年可以创造1000个企业达到10亿韩币的市场规模，并且创造5万个以上就业岗位。
四、大数据国家档案
国名：韩国
数据开放计划：开放部分国家数据、“首尔开放数据广场”。
大数据国家战略：未知，但是提出“将信息技术作为韩国经济增长的一个新支柱”。
发布时间：未知。
主导机构：科学、通信和未来规划部。
核心内容：提出“建设一个大数据中心，帮助科技行业赶上世界顶尖科技公司，任何人均可通过该中心对大数据进行提炼和分析”。
涉及部门：科学、通信和未来规划部、国家信息社会局（NIA）等。
2016年6月14日编写于重庆
2019年12月11日修改于重庆
国内外大数据产业发展现状与趋势研究
龙源期刊网 https://www.360docs.net/doc/ba10621068.html, 国内外大数据产业发展现状与趋势研究 作者：方申国谢楠 来源：《信息化建设》2017年第06期 大数据作为新财富，价值堪比石油。 进入21世纪以来，随着物联网、电子商务、社会化网络的快速发展，数据体量迎来了爆炸式的增长，大数据正在成为世界上最重要的土壤和基础。根据IDC（互联网数据中心）预测，2020年的数据增长量将是2010年的44倍，达到35ZB。世界经济论坛报告称，“大数据为新财富，价值堪比石油”。随着计算机及其存储设备、互联网、云计算等技术的发展，大数据应用领域随之不断丰富。大数据产业将依赖快速聚集的社会资源，在数据和应用驱动的创新下，不断丰富商业模式，构建出多层多样的市场格局，成为引领信息技术产业发展的核心引擎、推动社会进步的重要力量。 大数据产业发展现状 全球大数据产业发展概况 目前，大数据以爆炸式的发展速度迅速蔓延至各行各业。随着各国抢抓战略布局，不断加大扶持力度，全球大数据市场规模保持了高速增长态势。据IDC预测，全球大数据市场规模 年增长率达40%，在2017年将达到530亿美元。美国奥巴马政府于2012年3月宣布投资2亿美元启动“大数据研究和发展计划”，将“大数据研究”上升为国家意志；2015年发布“大数据研究和发展计划”，深入推动大数据技术研发，同时还鼓励产业、大学和研究机构、非盈利机构与政府一起努力，共享大数据提供的机遇。目前，美国大数据产业增长率已超过71%，大数据在美国健康医疗、公共管理、零售业、制造业等领域产生了巨大的经济效益。英国政府自2013年开始就注重对大数据技术的研发投入，2015年投入7300万英镑用于55个政府的大数据应用项目，投资兴办大数据研究中心，通过大数据技术在公开平台上发布了各层级数据资源，直接或间接为英国增加了近490亿至660亿英镑的收入，并预测到2017年，大数据技术可以为英国提供5.8万个新的工作岗位，或将带来2160亿英镑的经济增长。法国2011年推出了公开的数据平台 date.gouv.fr，以便于公民自由查询和下载公共数据；2013年相继发布《数字化路线图》、《法国政府大数据五项支持计划》等，通过为大数据设立原始扶持资金，推动交通、医疗卫生等纵向行业设立大数据旗舰项目，为大数据应用建立良好的生态环境，并积极建设大数据初创企业孵化器。日本在《日本再兴战略》中提出开放数据，将实施数据开放、大数据技术开发与运用作为2013-2020年的重要国家战略之一，积极推动日本政务大数据开放及产业大数据的发展，零售业、道路交通基建、互联网及电信业等行业的大数据应用取得显著效果。韩国政府高度重视大数据发展，科学、通信和未来规划部与国家信息社会局（NIA）共建大数据中心，大力推动全国大数据产业发展。根据《2015韩国数据行业白皮书》统计显示， 数据服务市场规模占韩国总行业市场规模的47%，位列第一；数据库构建服务以41.8%的占有
大数据各产业应用报告
大数据各产业应用 方案
目录 1.大数据概述 (6) 1.1.概述 (6) 1.2.大数据定义 (6) 1.3.大数据技术发展 (8) 2.大数据应用 (11) 2.1.大数据应用阐述 (11) 2.2.大数据应用架构 (13) 2.3.大数据行业应用 (13) 2.3.1.医疗行业 (13) 2.3.2.能源行业 (14) 2.3.3.通信行业 (14) 2.3.4.零售业 (15) 3.大数据解决方案 (16) 3.1.大数据技术组成 (16) 3.1.1.分析技术 (16) 3.1.1.1.可视化分析 (16) 3.1.1.2.数据挖掘算法 (16) 3.1.1.3.预测分析能力 (16) 3.1.1.4.语义引擎 (16) 3.1.1.5.数据质量和数据管理 (17) 3.1.2.存储数据库 (17) 3.1.3.分布式计算技术 (18) 3.2.大数据处理过程 (20) 3.2.1.采集 (20) 3.2.2.导入/预处理 (21) 3.2.3.统计/分析 (21) 3.2.4.挖掘 (21) 3.3.大数据处理的核心技术-Hadoop (21) 3.3.1.Hadoop的组成 (22) 3.3.2.Hadoop的优点： (25) 3.3.2.1.高可靠性。 (25) 3.3.2.2.高扩展性。 (25) 3.3.2.3.高效性。 (25) 3.3.2.4.高容错性。 (25) 3.3.3.Hadoop的不足 (25) 3.3.4.主要商业性“大数据”处理方案 (26) 3.3.2.5.IBM InfoSphere大数据分析平台 (26) 3.3.2.6.Or a c l e Bi g Da t aApplianc (27) 3.3.2.7.Mi c r o s o f t S QLServer (27) 3.3.2.8.Sybase IQ (28)
大数据行业应用现状和未来分析
当前，大数据”的浪潮汹涌而来，为IT产业带来了新的机遇、新的变革和新的发展。欢迎走进大数据时代!为准确把握产业发展契机，分享大数据建设经验及热点应用，本次研讨会吸引了相关主管部门领导、国内著名专家学者、产业界高层齐聚一堂，共同探讨有关大数据的热点话题。研讨会上来自北京时代计世咨讯有限公司首席分析师丁震就大数据行业应用现状和未来应用热点为主题作了精 彩的分享。 大数据市场现状 第一、中国大数据市场分析 从去年开始对11个行业，1000用户做了大数据相关使用调研，通过调研结果发现，大数据在中国整个市场中，市场发展前景是非常广阔的。特别从2013年到2016年中，每一年大数据市场发展增长率都会在百分之百以上，这是综合考虑了各种各样的影响因素，考虑了中国整体经济发展趋紧的局势包括欧债危机对中国经济的影响逐渐显现的趋势，从信息化角度、政府、金融、电信主要传统行业对信息化投资趋紧的趋势，综合这些趋势，我们认为大数据市场未来发展是高速增长的市场，特别在2013年的时候，随着行业解决方案的数量的增多，以及在行业用户对于大数据的需求的明确。 我们认为2013年将会是发展的顶点，越来越多的行业对大数据应用持比较乐观的态度，大数据或者相关数据分析解决方案的使用在互联网行业更多一些比如百度、淘宝等。 现在看到的更多一些，特别在近两年以来，像电信或者金融、能源这些传统行业，开始越来越多的用户在初步尝试或者在考虑怎么样使用类似大数据解决方案，来提升自己的业务水平。比如电信行业，了解到像中国电信在全国上海、四川、广东建了三个大的资源池，支撑了中国电信大的业务系统。同时他们采取了大数据分析方案分析他们的数据。 像能源行业，电力的用户，我们也注意到有一些电力方面的用户，他们也在考虑尝试能不能使用基于大数据解决方案去分析一些比如说像用电企业，用电行为，他们的使用行为，而提升他们自身对客户的服务能力。 总之，在大数据背景之下，看到越来越多行业用户，用来使用和尝试行业的解决方案。 第二、企业大数据应用需求分析 目前企业数据的现状，非结构化数据已经成为主流，结构化数据放在最上面。企业IT架构当中，结构化数据和非结构化数据占据了越来越重要的位置。 在大数据背景之下，企业对于大数据技术特点和用户需求和之前那些用户对数据处理得需求，到底有什么不同。在他们看来，从表面来看，企业对于数据分析需求始终都存在的，跟之前和现在没有太大的区别，大数据它不是理念上的革命或者是技术上的革命，它是一种革新。这种革新标志着企业对于数据应用的需求上升到一个新的发展阶段。在这个阶段中，企业不仅仅要求处理数据越来越快，这不是用户最需求的，企业不仅仅需要用户处理数据的类型会越来越多，以前只数据结构化数据就好了，现在既要数据结构化数据，也要处理非结构化和半结构数据，这样的解决方案，用户也需要，但是也不是最重要的。最重要，企业如何把这些数据上升为战略资源，或者企业如何利用这些的数据提升他们的竞争力，成为市场竞争最有力的武器。 建筑行业管理软件CEO认为，他们目前有两样数据，一是各省市建筑原材料的架构，可以做到每天更新，二是他们手里掌握着从业者大概几十万从业者的信息，他们的问题不单单把这些建筑行业原材料的信息打包卖给用户，他们还在想，我们怎么样去能够运用不同的建筑原材料的数据，这种价格的数据，去为不同需求的，不同地区，不同层级的需求用户，提供有针对性，比如说施工预算的解决方案。另外，他们还需要如何从几十万个行业用户的用户信息里面，怎么来发掘出新的业务模式，创造一些新的商业发展机会，以及怎么样发掘新的潜在用户。 目前来讲，对他们困扰最大的，我现在缺少一种全方位的方法或者是一种数据分析的手段来去支撑我的需求，这个例子说明，目前来讲中国对于数据分析的方法还是非常缺乏，目前来讲，我们觉得
大数据的应用现状与展望
自然辩证法小论文 大数据的应用现状与展 望 指导老师：张立 组长、主讲：刘开耀21428164 PPT制作：刘玉婷21428171 论文撰写：雷颖颖陈瞳 资料收集：毕晨光黄一锋 邵炳姜灵轩 董丽华周晴 黄河羚婕JX14014 2015/4/18
大数据的应用现状与展望 摘要：大数据具有规模大、种类多、生成速度快、价值巨大但密度低的特点。大数据应用就是利用数据分析的方法，从大数据中挖掘有效信息，为用户提供辅助决策，实现大数据价值的过程。本文主要介绍了大数据的分析方法、分析模式以及常用的分析工具，将大数据应用归纳为6个关键领域：结构化数据分析、文本分析、Web分析、多媒体分析、社交网络分析和移动分析，并列举了若干大数据的典型应用。最后从基础理论、关键技术、应用实践以及数据安全等4个方面总结了大数据的研究现状，并对大数据应用未来的研究进行展望。关键词：大数据数据分析数据存储4V 在过去的20年中，各个领域都出现了大规模的数据增长，包括医疗保健和科学传感器用户生成数据、互联网和金融公司、供应链系统等。国际数据公司IDC报告[1]称，2011年全球被创建和复制的数据总量为1.8ZB（1ZB≈1021ZB），在短短5年间增长了近9倍，而且预计这一数字将每两年至少翻一番。大数据这一术语正是产生在全球数据爆炸增长的背景下用来形容庞大的数据集合。与传统的数据集合相比，大数据通常包含大量的非结构化数据，且大数据需要更多的实时分析。此外，大数据还为挖掘隐藏的价值带来了新的机遇，同时给我们带来了新的挑战，即如何有效地组织管理这些数据。 1 大数据的定义 目前，虽然大数据的重要性得到了大家的一致认同，但是关于大数据的定义却众说纷纭。大数据是一个抽象的概念，除去数据量庞大，大数据还有一些其他的特征，这些特征决定了大数据与“海量数据”和“非常大的数据”这些概念之间的不同。一般意义上，大数据是指无法在有限时间内用传统IT技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。科技企业、研究学者、数据分析师和技术顾问们，由于各自的关注点不同，对于大数据有着不同的定义。通过以下定义，或许可以帮助我们更好地理解大数据在社会、经济和技术等方而的深刻内涵。 2010年Apache Hadoop组织将大数据定义为，“普通的计算机软件无法在可接受的时间范围内捕捉、管理、处理的规模庞大的数据集”。在此定义的基础上，2011年5月，全球著名咨询机构麦肯锡公司发布了名为“大数据：下一个创新、竞争和生产力的前沿”的报
国内外大数据经典案例研究
国内外大数据经典案例研究 大数据时代的来临使得产生的数据量呈爆炸式增长，各行各业均面临着海量数据的分析、处理问题。如何运用大数据技术从海量数据中挖掘出有价值的信息，将是今后企业发展的一个巨大挑战。创想智慧城市研究中心收集研究了国内外大数据应用的经典案例，希望可以对读者有所启示。 1、塔吉特百货孕妇营销分析 最早关于大数据的故事发生在美国第二大超市塔吉特百货。孕妇对零售商来说是个含金量很高的顾客群体，但是她们一般会去专门的孕妇商店。人们一提起塔吉特，往往想到的都是日常生活用品，却忽视了塔吉特有孕妇需要的一切。在美国，出生记录是公开的，等孩子出生了，新生儿母亲就会被铺天盖地的产品优惠广告包围，那时候再行动就晚了，因此必须赶在孕妇怀孕前期就行动起来。 塔吉特的顾客数据分析部门发现，怀孕的妇女一般在怀孕第三个月的时候会购买很多无香乳液。几个月后，她们会购买镁、钙、锌等营养补充剂。根据数据分析部门提供的模型，塔吉特制订了全新的广告营销方案，在孕期的每个阶段给客户寄送相应的优惠券。结果，孕期用品销售呈现了爆炸性的增长。2002年到2010年间，塔吉特的销售额从440亿美元增长到了670亿美元。大数据的巨大威力轰动了全美。 创想智慧城市研究中心：这个案例说明大数据在企业营销上的成功，利用大数据技术分析客户消费习惯，判断其消费需求，从而进行精确营销。这种营销方式的关键在于其时机的把握上，要正好在客户有相关需求时才进行营销活动，这样才能保证较高的成功率。 2、沃尔玛“啤酒加尿布”经典案例
总部位于美国阿肯色州的世界著名商业零售连锁企业沃尔玛拥有世界上最大的数据仓库系统，为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行购物篮分析。沃尔玛数据仓库里集中了其各门店的详细原始交易数据，在这些原始交易数据的基础上，沃尔玛利用NCR数据挖掘工具对这些数据进行分析和挖掘，可以很轻松地知道顾客经常一起购买的商品有哪些。一个意外的发现是：“跟尿布一起购买最多的商品竟是啤酒！” 这是数据挖掘技术对历史数据进行分析的结果，反映数据内在的规律。沃尔玛派出市场调查人员和分析师对这一数据挖掘结果进行调查分析，经过大量实际调查和分析，揭示了隐藏在“尿布与啤酒”背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%～40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。 既然尿布与啤酒一起被购买的机会很多，于是沃尔玛就在其一个个门店将尿布与啤酒摆放在一起，结果是尿布与啤酒的销售量双双增长。 创想智慧城市研究中心：无论“啤酒加尿布”仅仅是一个传说，还是一个真的发生过，它都已经成为大数据技术应用的一个经典案例。这个故事的意义在于将看似不相关的商品数据放在一起进行分析，找到他们之间的相关性，从而进行交叉营销，促进商品的销量。这种思维方式才是成功的关键。 3、试衣间的大数据应用 传统奢侈品牌PRADA正在向大数据时代迈进。她在纽约及一些旗舰店里开始了大数据时代行动。在纽约旗舰店里，每件衣服上都有RFID码，每当顾客拿
浅谈大数据技术的行业应用
浅谈大数据技术的行业应用 其实在没上这门课之前我只是认为大数据无非是信息时代的自然产物，随着互联网的通畅自然会存在更为庞大的数据规模，只是没想过数据规模会如此的庞大，正如老师的PPT也指出人们每月在总共在facebook上浏览7000亿分钟，每天会产生超过10TB 的数据，Twitter 每天就会生成超过7TB 的数据！天啊，这简直就是数据的汪洋大海，每个IT企业都在努力的在此间浮沉，努力不被数据大海淹没同时又奋力滑向那零零星星的富庶小岛。我不知道我刚才的比喻是否恰当，不过我想表达的就是数据虽然那么多，有海量的数据和各种不同类型的数据，但这并不是垃圾堆，其中其实掩藏着很多的金矿的。老师上课讲的关于算法来识别用户是否怀孕，进而不同声色的为她们推荐即将成为妈妈的各类产品诸如纸尿裤之类的让我非常感兴趣，让我发现原来营销可以做到这样的地步，利用算法提前预测用户与自己有关的一切消费行为然后加以利用转化为自己的实际发展利益，还有银行卡通过消费行为来判断预警依次来降低风险，这样内容着实让我开了眼。我也相信随着大数据技术处理的进步，大数据对于我们生活潜移默化，还有企业经营理念深刻的影响还会进一步加大的。我以前在网上也曾看过一个关于大数据处理用于音乐App歌曲推荐的算法，主要是通过你听歌曲的历史来记录分析找寻到与你相似品味的客户，然后把他们曾经听过的喜爱的歌曲再推荐给你，这个的确效果非常好，当然这个必须要依托大数据了。大数据其实还是对海量数据进行分发，处理和筛选，然后给下游的客户们来创造的价值。而获取新的客户，还是创造客户新的消费点和欲望方面大数据的确算是颠覆了之前的公司运营模式，不必依靠打折降价烧钱促销大面积撒网，而是通过大数据找到对应的客户进行精准营销等等，的确给公司带来很多便利又节约了很多的资源，人力物力和资金。但有些时候总有些事情不尽然如人意，比如之前携程的数据库不幸泄露，然后许多客户因其真实信息曝光遭到诈骗，而考虑到银行的数据如果操纵不当，那损失可算不可估量了，其实我们一直在一艘在海上摇摆的船上，不仅要享受因海水浮力带来的便利，更要关注大数据安全的问题来保证船的稳定航行，毕竟能载舟，亦能覆舟嘛~而老师在课上也算提到过提供大数据服务的公司是可以随便浏览其客户储存在上面的信息的，这种信息隐患也算是一种无奈吧。还有一个观点其实算我之前在网上看到的，也蛮有趣的。虽然通过大数据挖掘可以找到很多商机，但总有种知其然而不知其所以然之感，虽然我们知道这俩商品放在一种卖肯定会提升销量，但我说不出其中的原因，也无法此类现象之后的逻辑推理下来的发展演变。所以大数据挖掘出的信息在某些时候算是对现实世界的一种反馈，真正的预测决策还是要依靠人们自己的判断和主观能动性的。上述算是我思绪很乱随处敲敲打打写下我对于大数据行业应用的看法吧。
大数据的国内外研究现状与发展动态分析报告
大数据的国内外研究现状及发展动态分析大数据的概念 产生的背景与意义 上世纪60年代到80年代早期，企业在大型机上部署财务、银行等关键应用系统，存储介质包括磁盘、磁带、光盘等。尽管当时人们称其为大数据，但以今日的数据量来看，这些数据无疑是非常有限的。随着PC的出现和应用增多，企业内部出现了很多以公文档为主要形式的数据，包括Word、Excel文档，以及后来出现的图片、图像、影像和音频等。此时企业内部生产数据的已不仅是企业的财务人员，还包括大量的办公人员，这极大地促进了数据量的增长。互联网的兴起则促成了数据量的第三次大规模增长，在互联网的时代，几乎全民都在制造数据。而与此同时，数据的形式也极其丰富，既有社交网络、多媒体等应用所主动产生的数据，也有搜索引擎、网页浏览等被动行为过程中被记录、搜集的数据。时至今日，随着移动互联网、物联网、云计算应用的进一步丰富，数据已呈指数级的增长，企业所处理的数据已经达到PB级，而全球每年所产生的数据量更是到了惊人的ZB级。在数据的这种爆炸式增长的背景下，“大数据”的概念逐渐在科技界、学术界、产业界引起热议。在大数据时代，我们分析的数据因为“大”，摆脱了传统对随机采样的依赖，而是面对全体数据；因为所有信息都是“数”，可以不再纠结具体数据的精确度，而是坦然面对信息的混杂；信息之“大”之“杂”，让我们分析的“据”也由传统的因果关系变为相关关系。 大数据热潮的掀起让中国期待“弯道超越”的机会，创造中国IT企业从在红海领域苦苦挣扎转向在蓝海领域奋起直追的战略机遇。传统IT行业对于底层设备、基础技术的要求非常高，企业在起点落后的情况下始终疲于追赶。每当企业在耗费大量人力、物力、财力取得技术突破时，IT革命早已将核心设备或元件推进至下一阶段。这种一步落后、处处受制于人的状态在大数据时代有望得到改变。大数据对于硬件基础设施的要求相对较低，不会受困于基础设备核心元件的相对落后。与在传统数据库操作层面的技术差距相比，大数据分析应用的中外技术差距要小得多。而且，美国等传统IT强国的大数据战略也都处于摸着石头过河的试错阶段。中国市场的规模之大也为这一产业发展提供了大空间、大平台。大数据对于中国企业不仅仅是信息技术的更新，更是企业发展战略的变革。随着对大数据的获取、处理、管理等各个角度研究的开展，企业逐渐认识数据已经逐渐演变成“数据资产”。任何硬件、软件及服务都会随着技术发展和需求变化逐渐被淘汰，只有数据才具有长期可用性，值得积累。数据是企业的核心资产，可以是也应该是独立于软硬件系统及应用需求而存在的。大数据是信息技术演化的最新产物，确立了数据这一信息技术元素的独立地位。正因为数据不再是软硬件及应用的附属产物，才有了今天爆炸式的数据增长，从而奠定了大数据的基础。
大数据的应用现状及展望
大数据的应用现状及展望 摘要：互联网时代下，大数据为管理带来的新的发展方向，对人员改革、决策 质量提升、服务效率改善等产生显著的影响。然而大数据在当前技术发展中存在 诸多问题，因此笔者在明晰大数据技术现状基础上，结合问题对其展开分析，旨 在有效提升大数据技术的应用水平。 关键词：大数据；应用现状；展望 Status and Prospect of big data applications Shan Li-lin (Information Center of Fushun Financial Bureau , Fushun 113006,China) Abstract:In the Internet era, big data has become a new development direction brought by management, which has a significant impact on personnel reform, decision-making quality improvement and service efficiency improvement. However, there are many problems in the current technology development of big data. Therefore, based on the clarity of the current situation of big data technology, the author conducts an analysis of big data technology in combination with problems, aiming to effectively improve the application level of big data technology. Keywords: big data; application status; prospect 引言 大数据战略已经成为当前我国的发展战略，对我国经济发展及科技进步将产 生深远的影响。尤其是近些年来，随着信息化高速发展及社会转型的不断提升， 大数据与企事业单位、政府行政机关的管理不断融合，将成为互联网时代下分析 的核心支撑！ 1 大数据内涵 大数据，又称为海量数据，是指在数据的数量体积达到一种特别庞大状态， 此时，一般的数据管理工具难以在规定时间内对其提取有效信息、整合类似资料、分析类比问题并且把它转化成对企业有用的信息。这些难以在规定的有效时间内 进行识别、保存和应用的大量数据的集合，需要一种全新的解决方法才可以将其 转化为企业所需要的决策领导力、发现问题和提前预知问题的能力、具有更加清 晰且有条理处理问题的能力。 大数据分为三种类型，包括结构化数据、半结构化数据和非结构化数据，其 中非结构化数据越来越成为大数据的主要组成部分。大数据需要特殊的技术，以 有效地处理海量且结构复杂的数据。与之相关的核心技术主要包括数据挖掘、云 计算平台、MPP数据库、分布式数据库、可扩展的存储系统、分布式文件系统等。 对大数据进行分析往往需要大量的计算机所提供的计算能力，数量少则数十台，多则数千台。随着云时代的来临，将大数据与云计算相结合，利用云计算技 术可以用低廉的成本获得强大的运算能力，使大数据分析的门槛降低。在大数据、云计算与数据挖掘等技术不断发展的背景下，很多过去无法收集或者收集后无法 分析的数据被充分地利用起来，帮助各行各业进行改革与创新，为人类的进步与 发展发挥着巨大的作用[1]。 大数据是一种规模大到在获取、存储、管理、分析方面均远远超过了传统类 型的数据库软件工具能力范围的数据集合，它具有海量的数据规模、快速的数据 流转、多样的数据类型以及价值密度低四大特征，而且实时性强、数据所蕴藏的
2019国内外大数据行业现状
当前，许多国家的政府和国际组织都认识到了大数据的重要作用，纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手，实施大数据战略，对大数据产业发展有着高度的热情。 美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。在美国的先进制药行业，药物开发领域的最新前沿技术是机器学习，即算法利用数据和经验教会自己辨别哪种化合物同哪个靶点相结合，并且发现对人眼来说不可见的模式。根据前期计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。 其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6 个联邦部门和机构。 目前，欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。 英国在2017 年议会期满前，开放有关交通运输、天气和健康方面的核心公共数据库，并在五年内投资1000 万英镑建立世界上首个“开放数据研究所”；政府将与出版行业等共同尽早实现对得到公共资助产生的科研成果的免费访问，英国皇家学会也在考虑如何改进科研数据在研究团体及其他用户间的共享和披露；英国研究理事会将投资200 万英镑建立一个公众可通过网络检索的“科研门户”。 法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术，法国软件编辑联盟曾号召政府部门和私人企业共同合作，投入3 亿欧元资金用于推动大数据领域的发展。法国生产振兴部部长ArnaudMontebourg、数字经济部副部长FleurPellerin 和投资委员LouisGallois 在第二届巴黎大数据大会结束后的第二天共同宣布了将投入1150 万欧元用于支持7 个未来投资项目。这足以证明法国政府对于大数据领域发展的重视。法国政府投资这些项目的目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展”。众所周知，法国在数学和统计学领域具有独一无二的优势。 日本为了提高信息通信领域的国际竞争力、培育新产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题。2013 年6 月，安倍内阁正式公布了新IT 战略——“创建
大数据处理技术发展现状及其应用展望
. ,.. 大数据处理技术发展现状及其应用展望 一、定义 著名的管理咨询公司麦肯锡曾预测到：“数据，已经渗透到当今每一个行业和业务职能领域， 成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者 盈余浪潮的到来。”这是大数据的最早定义。业界（于2012年，高德纳修改了对大数据的定义）将大数据的特征归纳为4个“V”（量Volume，多样Variety，价值Value，速Velocity），或者说特点有四个层面：第一，海量数据量。大数据计量单位至少是PB级别；第二，数据 类型繁多。比如，网络日志、视频、图片、地理位置信息等等都是囊括进来。第三，商业价 值高。第四，处理速度快。 在大数据时代，三分技术，七分数据，得数据者得天下。在大数据时代已经到来的时候要用 大数据思维去发掘大数据的潜在价值。Google利用人们的搜索记录挖掘数据二次利用价值， 比如预测某地流感爆发的趋势；Amazon利用用户的购买和浏览历史数据进行有针对性的书 籍购买推荐，以此有效提升销售量；Farecast利用过去十年所有的航线机票价格打折数据， 来预测用户购买机票的时机是否合适。 大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具 有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 二、大数据的技术 技术是大数据价值体现的手段和前进的基石。我将分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。 2.1、云技术 大数据常和云计算联系到一起，因为实时的大型数据集分析需要分布式处理框架来向数十、 数百或甚至数万的电脑分配工作。可以说，云计算充当了工业革命时期的发动机的角色，而大数据则是电。 云计算思想的起源是麦卡锡在上世纪60年代提出的：把计算能力作为一种像水和电一样的 公用事业提供给用户。如今，在Google、Amazon、Facebook等一批互联网企业引领下，一 种行之有效的模式出现了：云计算提供基础架构平台，大数据应用运行在这个平台上。 业内是这么形容两者的关系：没有大数据的信息积淀，则云计算的计算能力再强大，也难以找到用武之地；没有云计算的处理能力，则大数据的信息积淀再丰富，也终究只是镜花水月。 那么大数据到底需要哪些云计算技术呢？这里暂且列举一些，比如虚拟化技术，分布式处理技术，海量数据的存储和管理技术，NoSQL、实时流数据处理、智能分析技术（类似模式识
第9章 大数据的行业应用
1）请阐述什么是旅游大数据。 旅游大数据是综合性的云计算、物联网等高科技信息技术的应用，旅游经营者可以利用网络为广大受众者及时发布相关企业动态和旅游信息；受众者用手机、电脑和其他主动感知类信息的网络终端设备，可以合理安排一个有计划的旅游行程，为提前出行做好如预订机票、酒店、餐厅等准备。这样一种智能化的发展模式，为乘客提供方便，同时在推动旅游企业管理中发挥了巨大作用。 2）请阐述什么是教育大数据。 教育大数据是指整个教育活动过程中所产生的以及根据教育需要所采集到的用于教育发展和研究的价值巨大的数据集合。教育大数据不仅仅是大数据在教育领域应用，它还通过教育领域反向驱动大数据技术分化为独立的分支，从而带来了对传统教育技术领域长期研究问题解决的新途径，甚至可以跨越传统个性化学习的精确逻辑推理过程而直接分析全样本学习者特征。这样来促进教育管理科学化变革、促进教学模式改革、促进个性化教育变革、促进教育评价体系改革、促进科学研究变革等。 3）请阐述什么是金融大数据。 大数据金融是指集合海量非结构化数据，通过对其进行实时分析，可以为互联网金融机构提供客户全方位信息，通过分析和挖掘客户的交易和消费信息掌握客户的消费习惯，并准确预测客户行为，使金融机构和金融服务平台在营销和风控方面有的放矢。 4）请阐述如何设计用户画像。 客户画像应用主要分为个人客户画像和企业客户画像。个人客户画像包括人口统计学特征、消费能力数据、兴趣数据、风险偏好等；企业客户画像包括企业的生产、流通、运营、财务、销售和客户数据、相关产业链上下游等数据。值得注意的是，银行拥有的客户信息并不全面，基于银行自身拥有的数据有时候难以得出理想的结果甚至可能得出错误的结论。比如，如果某位信用卡客户月均刷卡8次，平均每次刷卡金额800元，平均每年打4次客服电话，从未有过投诉，按照传统的数据分析，该客户是一位满意度较高流失风险较低的客户。但如果看到该客户的微博，得到的真实情况是：工资卡和信用卡不在同一家银行，还款不方便，好几次打客服电话没接通，客户多次在微博上抱怨，该客户流失风险较高。所以银行不仅仅要考虑银行自身业务所采集到的数据，更应考虑整合外部更多的数据，以扩展对客户的了解。一般来讲，客户画像主要包括以下几方面： 1）客户在社交媒体上的行为数据（如光大银行建立了社交网络信息数据库），通过打通银行内部数据和外部社会化的数据可以获得更为完整的客户拼图，从而进行更为精准的营销和管理。 2）客户在电商网站的交易数据，如建设银行则将自己的电子商务平台和信贷业务结合起来，阿里金融为阿里巴巴用户提供无抵押贷款，用户只需要凭借过去的信用即可。 3）企业客户的产业链上下游数据。如果银行掌握了企业所在的产业链上下游的数据，可以更好掌握企业的外部环境发展情况，从而可以预测企业未来的状况。
国内外大数据发展现状和趋势(2019)
行业现状 当前，许多国家的政府和国际组织都认识到了大数据的重要作用，纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手，实施大数据战略，对大数据产业发展有着高度的热情。 美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。在美国的先进制药行业，药物开发领域的最新前沿技术是机器学习，即算法利用数据和经验教会自己辨别哪种化合物同哪个靶点相结合，并且发现对人眼来说不可见的模式。根据前期计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。 目前，欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。 英国在2017年议会期满前，开放有关交通运输、天气和健康方面的核心公共数据库，并在五年内投资1000万英镑建立世界上首个“开放数据研究所”；政府将与出版行业等共同尽早实现对得到公共资助产生的科研成果的免费访问，英国皇家学会也在考虑如何改进科研数据在研究团体及其他用户间的共享和披露；英国研究理事会将投资200万英镑建立一个公众可通过网络检索的“科研门户”。 法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术，法国软件编辑联盟曾号召政府部门和私人企业共同合作，投入3亿欧元资金用于推动大数据领域的发展。法国生产振兴部部长ArnaudMontebourg、数字经济部副部长FleurPellerin和投资委员LouisGallois在第二届巴黎大数据大会结束后的第二天共同宣布了将投入1150万欧元用于支持7个未来投资项目。这足以证明法国政府对于大数据领域发展的重视。法国政府投资这些项目的目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展”。众所周知，法国在数学和统计学领域具有独一无二的优势。 日本为了提高信息通信领域的国际竞争力、培育新产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题。2013年6月，安倍内阁正式公布了新IT战略——“创建最尖端IT国家宣言”。“宣言”全面阐述了2013～2020年期间以发展开放公共数据和大数据为核心的日本新IT国家战略，提出要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”。日本著名的矢野经济研究所预测，2020年度日本大数据市场规模有望超过1兆日元。 在重视发展科技的印度，大数据技术也已成为信息技术行业的“下一个大事件”，目前，不仅印度的小公司纷纷涉足大数据市场淘金，一些外包行业巨头也开始进军大数据市场，试图从中分得一杯羹。2016年，印度全国软件与服务企业协会预计，印度大数据行业规模在3年内将到12亿美元，是当前规模的6倍，同时还是全球大数据行业平均增长速度的两倍。印度毫无疑问是美国亦步亦趋的好学生。在数据开放方面，印度效仿美国政府的做法，制定了一个一站式政府数据门户网站https://www.360docs.net/doc/ba10621068.html,.in，把政府收集的所有非涉密数据集中起来，包括全国的人口、经济和社会信息。 我国大数据行业仍处于快速发展期，未来市场规模将不断扩大 ?目前大数据企业所获融资数量不断上涨，二级市场表现优于大盘，我国大数据行业的市
电网大数据研究分析报告
电网大数据研究 分 析 报 告
目录 第一章大数据背景与动态 (3) 1.1 大数据的宏观价值与背景 (3) 1.1.1 国家——保障数据安全，促进数据开放 (3) 1.1.2 政府——转变理念，集成信息，抓住机遇 (5) 1.1.3 学术——科学的研究数据，用数据来研究科学 (6) 1.1.4 产业——产业需要变革，行业需要互融互通 (7) 1.1.5 公司——平台化竞争，特色应用化生存 (8) 1.1.6 投资——大数据将提供价值分析新视角 (9) 1.2 国内外大数据发展动态 (10) 1.2.1 国外大数据发展动态 (10) 1.2.2 我国大数据发展动态 (15) 1.2.3 大数据相关社区 (18) 1.2.4 我国大数据行业协会 (22) 第二章电网大数据分析 (24) 2.1 电网大数据应用现状 (24) 2.2 利用电力负荷值实现智能电力现代化管理 (26) 2.3 利用用电信息数据指导用户合理优化用电 (30) 2.4 利用消费能耗数据进行节能减排 (34) 2.5 电网大数据发展趋势 (36)
第一章大数据背景与动态 1.1 大数据的宏观价值与背景 从大历史观来看，“大数据”的内涵远远超越物联网、云计算等信息技术的概念，它的意义可以比肩“活字印刷术”的发明，大范围的消除信息不对称的现象，释放巨大的生产力，深刻改变社会的面貌，提升国家治理，革新科学研究的思想，促进产业间的跨界、融合和颠覆，并将极大的促进文明的传播、凝聚、和升华。 数据自古存在。乌龟壳、树皮、绸缎都曾经是记录数据的媒介，现在都已经退出了舞台；留声机、磁带机也曾经风靡一时，也已难觅踪影；现在当红的信息技术，像个人电脑、智能手机、IPad在不远的将来也将被陈列在博物馆。唯有数据，虽然不断的变换表现形态，将一直伴随人类走向未来。 物联网本质上是器物层面的技术，从大数据的视角而言，是采集数据的终端。云计算本质上是IT服务交付手段的变革，并由此引发一系列技术基础架构的更新。物联网和云计算都是信息技术发展的一定阶段的自然延伸，依然属于信息技术范畴。而大数据可以看成是数据积累到一定规模后，引发的质变。大数据超越信息技术，使人们重新界定国家竞争的主战场，重新审视政府治理水平，重新认识科学研究的新范式，重新审视产业变迁的驱动因素，重新理解投资的决策依据，重新思考公司的战略和组织。 综上所述，大数据将是保障国家安全、社会治理和推动经济发展的恒久主题！ 1.1.1 国家——保障数据安全，促进数据开放 2012年3月份，奥巴马发布了美国版的《大数据发展计划》，通过这个计划，可以看出：国家层面大数据技术领域的竞争事关一国的安全和未来。国家数字主权体现为对数据的占有和控制。数字主权将是继边防、海防、空防之后，另一个大国博弈的空间。大数据必须上升为国家意志，落实为国家战略。欧盟、日本、新加坡等国家已经开始纷纷行动。
大数据在电信行业的应用
大数据在电信行业的应用 电信与媒体市场调研公司Informa Telecoms & Media在2013年的调查结果显示，全球120家运营商中约有48%的运营商正在实施大数据业务。该调研公司表示，大数据业务成本平均占到运营商总IT预算的10%，并且在未来五年内将升至23%左右，成为运营商的一项战略性优势。可见，由流量经营进入大数据运营已成为大势所趋。 电信运营商拥有多年的数据积累，拥有诸如财务收入、业务发展量等结构化数据，也会涉及到图片、文本、音频、视频等非结构化数据。从数据来源看，电信运营商的数据来自于涉及移动语音、固定电话、固网接入和无线上网等所有业务，也会涉及公众客户、政企客户和家庭客户，同时也会收集到实体渠道、电子渠道、直销渠道等所有类型渠道的接触信息。整体来看，电信运营商大数据发展仍处在探索阶段。 大数据在电信行业应用的总体情况 目前国内运营商运用大数据主要有五方面：（1）网络管理和优化，包括基础设施建设优化和网络运营管理和优化；（2）市场与精准营销，包括客户画像、关系链研究、精准营销、实时营销和个性化推荐；（3）客户关系管理，包括客服中心优化和客户生命周期管理；（4）企业运营管理，包括业务运营监控和经营分析；（5）数据商业化指数据对外商业化，单独盈利。 第一方面：网络管理和优化。此方向包括对基础设施建设的优化和网络运营管理及优化。 （1）基础设施建设的优化。如利用大数据实现基站和热点的选址以及资源的分配。运营商可以通过分析话单和信令中用户的流量在时间周期和位置特征方面的分布，对2G、3G的高流量区域设计4G 基站和WLAN热点；同时，运营商还可以对建立评估模型对已有基站的效率和成本进行评估，发现基站建设的资源浪费问题，如某些地区为了完成基站建设指标将基站建设在人际罕至的地方等。 （2）网络运营管理及优化。在网络运营层面，运营商可以通过大数据分析网络的流量、流向变化趋势，及时调整资源配置，同时还可以分析网络日志，进行全网络优化，不断提升网络质量和网络利用率。 利用大数据技术实时采集处理网络信令数据，监控网络状况，识别价值小区和业务热点小区，更精准的指导网络优化，实现网络、应用和用户的智能指配。由于用户群的不同，不同小区对运营商的贡献也不同。运营商可以将小区的数据进行多维度数据综合分析，通过对小区VIP用户分布，收入分布，及相关的分布模型得到不同小区的价值，再和网络质量分析结合起来，两者叠加一起，就有可能发现某个小区价值高，但是网络覆盖需要进一步提升，进而先设定网络优化的优先级，提高投资效率。 ?德国电信建立预测城市里面的各区域无线资源占用模型，根据预测结果，灵活的提前配置无线资源，如在白天给CBD地区多分配无线资源，在晚上，则给酒吧地区多分配无线资源，使得无线网络的运行效率和利用率更高。 ?法国电信通过分析发现某段网络上的掉话率持续过高，借助大数据手段诊断出通话中断产生的原因是网络负荷过重造成，并根据分析结果优化网络布局，为客户提供了更好的体验，获得了更多的客户以及业务增长； 第二方面，市场与精准营销。 此方向包括客户画像、关系链研究、精准营销、实时营销和个性化推荐。
大数据的应用现状及展望
大数据的应用现状及展望 发表时间：2019-01-04T11:57:36.277Z 来源：《科技研究》2018年10期作者：单利林[导读] 互联网时代下，大数据为管理带来的新的发展方向，对人员改革、决策质量提升、服务效率改善等产生显著的影响。 （抚顺市财政局信息中心辽宁抚顺 113006）摘要：互联网时代下，大数据为管理带来的新的发展方向，对人员改革、决策质量提升、服务效率改善等产生显著的影响。然而大数据在当前技术发展中存在诸多问题，因此笔者在明晰大数据技术现状基础上，结合问题对其展开分析，旨在有效提升大数据技术的应用水平。 关键词：大数据；应用现状；展望 Status and Prospect of big data applications Shan Li-lin (Information Center of Fushun Financial Bureau , Fushun 113006,China) Abstract:In the Internet era, big data has become a new development direction brought by management, which has a significant impact on personnel reform, decision-making quality improvement and service efficiency improvement. However, there are many problems in the current technology development of big data. Therefore, based on the clarity of the current situation of big data technology, the author conducts an analysis of big data technology in combination with problems, aiming to effectively improve the application level of big data technology. Keywords: big data; application status; prospect 引言 大数据战略已经成为当前我国的发展战略，对我国经济发展及科技进步将产生深远的影响。尤其是近些年来，随着信息化高速发展及社会转型的不断提升，大数据与企事业单位、政府行政机关的管理不断融合，将成为互联网时代下分析的核心支撑！ 1 大数据内涵 大数据，又称为海量数据，是指在数据的数量体积达到一种特别庞大状态，此时，一般的数据管理工具难以在规定时间内对其提取有效信息、整合类似资料、分析类比问题并且把它转化成对企业有用的信息。这些难以在规定的有效时间内进行识别、保存和应用的大量数据的集合，需要一种全新的解决方法才可以将其转化为企业所需要的决策领导力、发现问题和提前预知问题的能力、具有更加清晰且有条理处理问题的能力。 大数据分为三种类型，包括结构化数据、半结构化数据和非结构化数据，其中非结构化数据越来越成为大数据的主要组成部分。大数据需要特殊的技术，以有效地处理海量且结构复杂的数据。与之相关的核心技术主要包括数据挖掘、云计算平台、MPP数据库、分布式数据库、可扩展的存储系统、分布式文件系统等。 对大数据进行分析往往需要大量的计算机所提供的计算能力，数量少则数十台，多则数千台。随着云时代的来临，将大数据与云计算相结合，利用云计算技术可以用低廉的成本获得强大的运算能力，使大数据分析的门槛降低。在大数据、云计算与数据挖掘等技术不断发展的背景下，很多过去无法收集或者收集后无法分析的数据被充分地利用起来，帮助各行各业进行改革与创新，为人类的进步与发展发挥着巨大的作用[1]。 大数据是一种规模大到在获取、存储、管理、分析方面均远远超过了传统类型的数据库软件工具能力范围的数据集合，它具有海量的数据规模、快速的数据流转、多样的数据类型以及价值密度低四大特征，而且实时性强、数据所蕴藏的价值大也是它的主要特点[2]。 2 大数据的应用现状分析 2.1 大数据的应用现状分析 当前，大数据主要在政府行政管理、高校管理、企业管理中进行运用，主要体现在综合管理、电子商务、决策支撑、交通管理、行政管理、图书管理等诸多领域。在当前电商领域，大数据的应用为运营模式的变革产生了重要的推动作用，它主要以数据为支撑平台，通过调研用户的需求，来预测未来一段时间的销售状况，从而来为经营决策的改变提供重要支撑，实现利润效益的最大化。例如，在天猫中出现的个性化推荐模块，根据用户日常搜索需求，发现客户对产品的需求及喜好，从而来作出与之对应的产品推荐，迎合客户的需求，实现了良好的体验。在城市建设及交通领域，“智慧城市”在全国一线城市得以展开，它主要是基于数据分析技术来为城市的智能化管理提供支撑，以交通拥堵状况为例，大数据通过实时调集各个路口的监控分析数据，来高效率分析路况信息，从而为出行的人们到达目的地提供多种方案选择。在高校图书管理中，高校图书馆通过服务器记录读者进馆次数、借还图书书目、检索信息和读者下载资源等数据信息，使用数据挖掘技术，挖掘读者信息需求及信息行为的变化，从中发现和提取读者的需求信息，主动推动为读者推送相关研究情况信息、书目信息等，增强读者的便利[3]。 2.2 大数据技术的应用挑战 随着人们需求的不断提升，数据价值将不断被挖掘，所以在进行数据分析及处理的过程当中，工作难度及强度也变的越来越大，要想更好的发挥大数据技术为企业获取更加有用的数据信息，就要对相关的数据处理系统及后台运维设备进行研发创新。同时，大数据技术是通过互联网进行数据采集、分析、处理及传输的[4]。因此，其具有开放性的信息特点，这意味着相关的数据信息可能面临着新的隐私安全问题，给人们进行正常的网络学习及生活带来了不利的影响，这均是未来大数据技术应发展的方向及着力点。 3 大数据技术的展望 结合大数据下在当前发展中存在的问题，笔者基于自身经验，认为大数据技术在未来的发展聚焦主要体现在三个维度： 1.大数据将作为信息产业持续高速增长的全新的发动机 市场上关于大数据的新型产品、全新技术、服务系统和全新的业内生态会持续不断地出现。在集成设备与硬件方面，大数据已经对芯片、存储产业产生了巨大的影响，并且还衍生出一体化数据存储的处理服务器、内存计算等市场。 2.大数据即将变成新时代信息技术融合的契机