“大数据”技术在工控行业中的应用研究
《自动化博览》杂志约稿
“大数据”技术在工控行业中的应用研究
中国自动化学会专家咨询工作委员会
孙柏林
“大数据”时代的脚步已悄然而至，“大数据”（Big Data）已迅速成为近期争相传诵的热门科技概念。未来的十年将是一个“大数据”引领的智慧科技的时代。专家们认为：“‘大数据’技术就是下一个经济、国防、安全、社会活动等领域的制高点！”“大数据”是继云计算、物联网之后信息技术领域的又一热点，“大数据”时代的来临，给各行各业带来了根本性变革，让所有人都看到了“大数据”的挑战与机会。对于工业控制行业同样也是如此。
本文即从《“大数据”技术及其在工控行业中的应用研究》的角度来探讨一下“大数据”技术问题。
一、吹响大数据“集结号”！
“大数据”（Big Data）这所以会成为热点，主要应归因于近年来互联网、云计算、移动和物联网的迅猛发展。无所不在的移动设备、射频识别技术（RFID）、无线传感器每分每秒都在产生着成千上亿的数据，数以亿计用户的互联网服务时时刻刻都在产生巨量的数据，需要处理的数据量实在是太多、增长实在是太快了，而业务需求和竞争压力对数据处理的实时性、有效性又提出了更高要求，传统的常规技术手段根本无法应对“大数据”浪潮。国际数据公司（IDC-- International Data Corporation）预计，大量新数据无时不刻不在涌现，它们以每年50%的速度在增长，或者说每两年就要翻一番多。
人类社会发展的核心驱动力，目前，已由“动力驱动”转变为“数据驱动”；经济活动重点，已从材料的使用转移到“大数据”的使用。“大数据”正在成为各个业界的焦点话题。2012年1月，在瑞士达沃斯举行的世界经济论坛上，“大数据”是框定的主题之一。该论坛的一份报告，《大数据，大影响》，宣告了“大数据时代”的到来！今天已经进入“大数据”时代，身边的一切都在“大数据”范围内。人们似乎再也没有什么秘密可言，各种信息都暴露在“大数据”之中。“大数据”几乎是无处不在。传统行业创新升级，“大数据”成背后推手！企业必须直面“大数据”的挑战。
二、关于“大数据”的基本认识
㈠“大数据”的定义
什么是“大数据”？从一般意义上说，“大数据”是指那些超过传统数据库
系统处理能力的数据，数据量通常在10TB（1TB=1024GB，为1万亿字节）以上。因为数据库、“大数据”已经成为变革的中心，事实上成为一场信息革命，在IT 领域、能源业、制造业、零售业、政府管理、科技与国防军事等，“大数据”都改变了整个世界的运行方式。因此，我们称之为“大数据“时代。对于什么是“大数据”，目前业界并没有统一的定义。而根据维基百科的定义：“‘大数据’是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理、处理的数据集合。”从产业角度，常常把这些数据与采集它们的工具、平台、分析系统一起统称为“大数据”。
纵观人类历史，每一次划时代的变革都是以新工具的出现和应用为标志的。蒸汽机把人们从农业时代带入了工业时代，计算机和互联网把人们从工业时代带入了信息时代，而如今“大数据”时代已经到来，它源自信息时代，又是信息时代全方位的深化应用与延伸。“大数据”时代的生产原材料是数据，生产工具则是“大数据”技术，是对信息时代所产生的海量数据的挖掘和分析，从而快速地获取有价值信息的技术和应用。
㈡“大数据”的量级
20多年来，各个领域特别是信息领域的数据量的加速增长，是“大数据”概念产生的基础。专家测算，2000年全球新产生的数据量为1000PB到2000PB，到2010年仅仅全球企业一年新存储的数据量就超过了7000PB。
大数据＝海量数据＋复杂类型数据。目前全球每年产生的数据量是ZB级，到2015年会达到35个ZB。这表明，海量存储已经达到了ZB级（1ZB=1000 PB，1PB=1000TB，1TB=1000GB，1GB=1000MB），对于硬件系统已经超出了传统的设计概念。
㈢“大数据”的特点
国际数据公司（IDC）认为，某项技术要想成为“大数据”技术，必须满足IBM所描述的三个“V”：多样性(variety)、大容量(volume)和时效性高(velocity)。多样性是指数据应包含结构化的和非结构化的数据；大容量是指聚合在一起供分析的数据量必须是非常庞大的；时效性高则是指数据处理的速度必须很快。
具体来说，“大数据”具有4个基本特征：一是数据体量巨大。百度资料表明，其新首页导航每天需要提供的数据超过 1.5PB（1PB=1024TB），这些数据如果打印出来将超过5千亿张A4纸。有资料证实，到目前为止，人类生产的所有印刷材料的数据量仅为200PB。二是数据类型多样。现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据，个性化数据占绝对多数。三是处理速度快。数据处理遵循“1秒定律”，可从各种类型的数据中快速获得高价值的信息。四是价值密度低。以视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。
㈣“大数据”技术的构成
如果说“大数据”是一种技术，又具体包括哪些技术？专家认为，“大数据”技术由四种技术构成：它们包括：分析技术、存储数据库、NoSQL数据库、分布式计算技术。
各种研究表明，“大数据”是与智能制造、无线网络革命并行的又一次颠覆性的技术变革。其具体内容包括：海量数据分析技术、“大数据”处理技术、分布式计算技术、数据可视化技术。
三、美国正在全面推进“大数据”研发
2012年3月29日，奥巴马总统发布《大数据研发倡议》，开启了美国“大数据”全面研发工作，“大数据”作为信息时代获取、处理与利用信息的一项核心技术，正改变着国家安全、社会经济发展乃至人类生活的各个方面，已成为信息时代大国竞争的一个战略性的新领域。美国甚至流行一句谚语叫“除了上帝，任何人都必须用数据来说话”。美国政府把“大数据”看成是“未来的新石油”。
美国政府宣布“大数据研究和发展倡议（Big Data Research and Development Initiative）”，来推进从大量的、复杂的数据集合中获取知识和洞见的能力。《大数据研究和发展倡议》提出，将提升美国利用收集的庞大而复杂的数字资料提炼真知灼见的能力，协助加速科学、工程领域创新步伐，强化美国国土安全，转变教育和学习模式。《大数据研究和发展倡议》还承诺将在科学研究、环境保护、生物医药研究、教育以及国家安全等领域利用“大数据”技术进行突破。
该倡议涉及联邦政府的6个部门（美国国家科学基金（NSF）、美国国家卫生研究院（NIH）、美国能源部（DOE）、美国国防部（DOD）、美国国防部高级研究计划局（DARPA）、美国地质勘探局（USGS）等六个部门）。这些部门承诺将投资总共超过两亿美元，来大力推动和改善与“大数据”相关的收集、组织和分析工具及技术。在这份倡议中还透露了多项正在进行中的联邦政府各部门的大数据计划。主要内容如下：美国国家科学基金和美国国家卫生研究院主要推进大数据科学和工程的核心方法及技术研究，项目包括管理、分析、可视化、以及从大量的多样化数据集中提取有用信息的核心科学技术；国防部高级研究局项目主要推进大数据辅助决策，集中在情报、侦查、网络间谍等方面，汇集传感器、感知能力和决策支持建立真正的自治系统，实现操作和决策的自动化；美国能源部试图通过先进的计算进行科学发现，提供2500万美元基金来建立可扩展的数据管理、分析和可视化研究所；美国地质勘探局通过给科学家提供深入分析的场所和时间、最高水平的计算能力和理解大数据集的协作工具，催化在地理系统科学的创新思维。
五、“大数据”技术在工控行业中的若干应用研究
㈠在电力行业的若干应用研究
在电力行业，坚强智能电网建设及“三集五大”管理体系的决策部署，对数
据的管理、共享及互操作提出了更高的要求。电力行业面临着正在形成的大数据环境，为此，需要不断挖掘大数据环境下的业务数据处理的潜在需求，探索适应电力数据的理论和方法，使得电力信息系统的运维的外延向数据运维的范畴进一步地拓展。以更好地适应数据量的迅速增长、数据类型的多样化、数据时效性不断提高。
以智能电网为例，电网互联是电力系统发展的客观规律，有必要加强研发大规模互联电网的安全稳定运行技术、先进可靠的配电网与共用技术及微电网技术为主的分布式电力系统。因此，采集、分析并有效应用“大数据”是解决能源与公共事业关键业务的重要因素，可以实现向智能电网转型、改善分布式可再生发电的资产预报与调度、提高发电效率以及改变客户运营模式。
《大数据时代》的作者舍恩伯格说，可以抽象地认为，智能电网就是“大数据”这个概念在电力行业中的应用，就是通过网络将用户的用电习惯等信息传回给电网企业的信息中心，进行分析处理，并对电网规划、建设、服务等提供更可靠的依据。同时，对于风能、太阳能等具有间歇性的新能源，通过“大数据”分析进行有效地调节，也可以使新能源更好地与传统的水火电进行互补，更为灵活地出力。
在本质上，智能电网是“大数据”在电力上的应用。在电力行业，坚强智能电网的迅速发展使信息通信技术正以前所未有的广度、深度与电网生产、企业管理快速融合，信息通信系统已经成为智能电网的“中枢神经”，支撑新一代电网生产和管理发展。
“大数据”与电网的融合可组成智能电网，涉及发电到用户的整个能源转换过程和电力输送链，主要包括智能电网基础技术、大规模新能源发电及并网技术、智能输电网技术、智能配电网技术及智能用电技术等，是未来电网的发展方向等。
电力企业是不是符合“大数据”应用的企业？享誉信息产业界多年的梅特卡夫定律指出，网络的价值与联网的用户数的平方成正比。随着电力工业与信息化的深度融合，智能电网将承载着电力流、信息流和业务流，电网和电力信息通信网的用户将发生叠加，电网的整体价值会跃升。这种价值的跃升将使电力企业具有大数据的时代特征。电力信息通信将突破传统运维、产生更多的增值服务，甚至催生新的管理模式创新。数据中心将被赋予更多的职能，比如强大的数据挖掘、数据分析和决策能力。电力企业业务数据主要来自生产数据和运营管理数据。电力企业生产数据既包括发电量、电压稳定性等实时采集的数据，也包括物联网、云计算、新能源并网、移动互联、电动汽车充换电、车联网等技术带来的新数据业务。电力企业运营管理数据，则包括交易电价、售电量、用电客户、ERP、一体化平台、协同办公等方面的数据。如能充分利用这些基于电力生产、使用等实际数据，对其进行深入分析，便可以提供大量的高附加值服务。这些增值服务将有利于电网安全检测与控制，客户用电行为分析与客户细分，电力企业精细化运营管理等，实现更科学的需求侧管理。数据、信息和知识的“按需分配、恒值供给、多次挖掘”将成为新经济形态的不竭动力，而“大数据”技术和应用成为决策的辅助系统。
“大数据”时代对电力行业发展提出新的挑战，但也带来新的发展机遇。通过良好的数据管理，并运用数据挖掘手段践行大数据战略，将切实提高电力生产、营销，以及电网运维等各方面生产管理水平，为使中国电力企业继续立于世界先进行列提供强大的信息技术支撑。
据悉，2013年3月，中国电机工程学会电力信息化专委会拟编制发布《中国电力大数据发展白皮书（2013）》，这将是我国首次就电力“大数据”问题发布的白皮书。作为电力信息化专委会秘书处所在单位，国网信息通信有限公司承担白皮书的调研和编写工作。白皮书全文12000 余字，分为引言、迎接电力“大数据‘时代、展望电力“大数据”时代、迈向电力“大数据”时代、结束语等五部分。
这充分表明，电力工业作为国家基础性能源设施，与社会发展和人民生活息息相关，是国民经济社会健康稳定持续发展的重要条件。积极应用“大数据”技术，推动中国电力“大数据”事业健康发展，对实现中国电力工业科学发展具有极大的现实意义。
完全可以预期，“大数据”技术的在电力行业中的应用研究，仅仅是开始。随着电力行业的不断发展，“大数据技术”应用，将会不断扩展与深化。
㈡有助于提升工控行业的“洞察力”
所谓“洞察力”，指的是人对任何特定情况作出预见的能力。在企业管理上，“洞察力”更意味着管理者必须拥有以数据为基础、深入观察分析，透过现象看本质、将理论应用到实际工作中的能力。随着数据总量的持续增长和急速膨胀，“大数据”时代已经来临，2013年电力、石油等能源细分行业纷纷拉开了“大数据”开发应用的序幕。“大数据”技术强调的是从海量数据中快速获取有价值信息的能力，如何从海量数据中高效获取数据，有效地深加工并最终得到有用的数据是能源企业涉足“大数据”的目的。“大数据”是以大量资料为基础，以更加科学的方式，进行分析、洞察的创新能力。
实际上，进入“大数据”时代以来，现代企业正经历着规模化、多样化和高速化的数据挑战。越来越多的管理者开始意识到，若无法对海量信息进行有效的分析处理，预测出潜在的业务风险，便容易在竞争中处于劣势；若无法通过有效的沟通，确保洞察到的信息被较好地执行，则可能致使企业商机的流失。
未来，企业会依靠洞悉数据中的信息更加了解自己，也更加了解客户。在这个瞬息万变的时代，面对各种随时可能发生变化的形势，管理者不妨使用“以洞察获取先机、用沟通确保执行”的方式，制定各种应对战略，保证企业这艘“大船”平稳行驶，在不断的竞争中获得胜利。企业管理公司SAP（全球知名的企业管理和协同化商务解决方案供应商）曾做过一项调查，发现在任何行业中，将最具竞争力的企业与最不具竞争力的企业相比，前者的员工受到更强洞察力的影响的比例是后者两倍，由此可见，强大的洞察力对企业竞争优势起推动作用。
归根到底，“大数据”的最终意义在于获得提升“洞察力”的能力和价值。移动互联时代，数据已经被认为是宝贵资源，任何一家有雄心、渴望获取洞察力的企业，都应及早制定“大数据”战略和方案。否则，所有的机会将被“数据鸿沟”所延宕。
㈢“大数据”的核心：更准确地预测企业数据
在“大数据”时代，数据与机器将在人类的日常决策中占有重要的地位。未来，人类必须学会如何和海量的数据相处。从个体角度而言，人类需要学会如何平衡个人直觉与数字证据之间的关系；从企业与组织角度而言，人类需要探索企业组织架构和决策流程与数据之间的关系；从创新角度而言，人类需要探索如何打造合适的产业环境，促进更多的创新的“大数据”应用的诞生。“大数据”时代，海量数据处理与挖掘的技术固然十分重要，但是，更为重要的因素仍然是人。只有人，才能利用新技术与新方法创造性地搜集与探索数据中隐含的意义；只有人，才能最大限度地发挥数据的作用，在机器与数据的支持下更有效地决策。换句话说，“大数据”的核心：是要求更准确地预测企业的数据。为了适应“大数据”时代的来临，企业需要从管理者的思维方式、企业的组织架构和信息环境等多方面进行改变以与之相适应。
企业“大数据”的应用一方面是与宏观经济、人民生活、社会保障、道路交通的信息融合，促进经济社会发展；另一方面，是各个行业或企业内部，跨专业、跨单位、跨部门的数据融合，提升行业、企业管理水平和经济效益。
㈣数据挖掘技术在工控行业里的应用
数据挖掘，又称为知识发现(Knowledge Discovery)，是通过分析每个数据，从大量数据中寻找其规律的技术。利用大数据可对业务进行分析，加工成有用的数据，进而全面掌控企业业务。对电力行业来说，大数据是电力企业深化应用、提升应用层次、强化集团企业管控的有力技术手段。随着电力企业各类IT系统对业务流程的基本覆盖，采集到的数据量迅速增长。电力行业面临的问题不仅仅是收集和存储数据，而是围绕数据采用相应的定量和统计信息，挖掘更加有价值的信息。如国网信通公司在北京亦庄的数据中心里，就设有10200个传感器，它们及时采集数据，存储到云并进行分析和利用。
数据挖掘是从海量实际应用数据中，提取隐含在其中的、潜在有用信息和知识的过程，是一个知识发现过程。整个过程分为业务理解、数据理解、数据准备、建立挖掘模型、评估和部署六个步骤。即在开始数据挖掘之前，我们必须了解业务需求，根据需求明确挖掘主题、要求和最终目标；接下来便是对现有数据进行评估，并对原始数据进行组织、清理、集成、变换等一系列数据收集和预处理工作；在搞好数据治理的基础上，便可应用数据挖掘算法和工具建立挖掘模型；之后对所建立的模型进行评估，重点具体考虑得出的结果是否符合最初的业务目标；最后，便可将发现的结果以及过程利用各种可视化技术（报表、报告、图形等）呈现出来。
㈤工控行业的“大数据”应用案例
工业控制系统中“大数据”的应用研究。现举例如下：
案例之一，《SCADA系统中大数据处理的研究与开发》
在SCADA (Supervisory Control And Data Acquisition)系统，即数据采集与监控系统的实际应用过程中，由于很多应用企业的数据采集点很多，同时由于应用方面的实际需要，通常需要把采集的数据保留一段很长的时间，用于查询、分析和统计。另一方面，很多数据的采集要求实时性较高，需要保持着较高的采集频率，从而，数据库中的数据势必会越来越多，因此，在保证系统稳定与正常访问的前提下，将不可避免地面临着大数据的处理问题。
如：某城市供水管网数据SCADA系统中有多个水厂，每个水厂有多达上百个数据采集点，包括了水温、水流量、水压力、水位以及其它多项监测数据。针对此类问题，在不改变数据采集周期、不增加硬件设备的情况下，通过优化数据结构和算法，完全可以达到提高数据访问速度、提高系统运行效率的目的，可具体进行优化。
案例之二，《大数据推动自动化和信息化融合》
2012年9月20日，“第二届云计算大会暨大数据高峰论坛”在北京召开。在此次以“云计算与大数据融合发展方向”为主要探讨话题的高峰论坛上，与会嘉宾首钢集团自动化公司总工程师郭雨春做主题演讲。
郭雨春认为，“首钢对数据应用历史，原来数据是一种资料，到后来变成资源，到现在是一种资产。”“两化融合在制造业来讲应该是比较新的课题，结合企业的信息化来讲，从管理角度来讲，应该是精细化管理，从生产流程来讲应该产业升级。这两个都离不开自动化和信息化支持。就是因为要建立数字化企业，实际上这里面就是两化深度融合必然结果，这里面是最关键是数据。为什么?就是说两化融合进程中，首先要提到就是自动化和信息化之间关系，我们认为信息化这种发展高级自动化，所以在两个融合进程中信息化包含了自动化。为什么?就是因为有大数据，有了数据的融合，所以才出现了自动化和信息化的融合。”毫无疑问，大数据创业的前景十分广阔，“看不见的数据，看得见的价值”正给新兴的通过数据创业的公司带来难以估量的市场潜力。
案例之三，《“大数据”支撑智慧城市建设》
未来智慧城市的建设将带来数据量的爆发式增长，“大数据”将像血液一样遍布智慧交通、智慧医疗、智慧生活等智慧城市建设的各个方面，城市管理正在从“经验治理”向“科学治理”转变。智慧城市是否真正“智慧”源自“大数据”，如何挖掘海量数据的潜在价值并为城市治理提供可靠决策和建议，成为智慧城市建设的关键。专家建议，中国必须抓住“大数据”时代的机遇，挖掘海量数据的
潜在价值，进而推进智能城市建设。
结合智慧城市对信息的需求，“大数据”在智慧城市中的落脚点为——为智慧城市的各个领域提供强大的决策支持。在城市规划方面，通过对城市地理、气象等自然信息和经济、社会、文化、人口等人文社会信息的挖掘，可以为城市规划提供强大的决策支持，强化城市管理服务的科学性和前瞻性。在交通管理方面，通过对道路交通信息的实时挖掘，能有效缓解交通拥堵，并快速响应突发状况，为城市交通的良性运转提供科学的决策依据。在安防与防灾领域，通过大数据的挖掘，可以及时发现人为或自然灾害、恐怖事件，提高应急处理能力和安全防范能力等。
中国工程院院士邬贺铨在2013年1月11日举行的《2013中国智慧城市年会》上说：“‘大数据’挖掘对智慧城市的经济发展和社会管理是无形的生产资料，“大数据”价值的合理共享和利用将创造巨大财富。”邬贺铨认为，智慧城市是城镇化进程的下一阶段，是城市信息化的新高度，是现代城市发展的愿景。智慧城市在产生大数据的同时，“大数据”也支撑着智慧城市的建设和发展。
五、“大数据”技术应用的局限性
这里，我并不是想说大数据分析不是一个好的工具。而是想说，就像任何好的工具一样，它有它所擅长的地方，也会其局限的地方。而世界正因为不能单从一个方面解释而显得有趣。
㈠就像任何工具一样，“大数据”分析也有其局限性。
“大数据”的局限性是算法不能完全代替人的判断。实际上“大数据”在很多方面都无法取代人类的智慧和判断、“大数据”可以处理大量非结构化数据，弥补管理者过于依赖直觉的不足；但是人们也应当意识到，“大数据”也有很多不擅长的地方：例如，无法对“情感”和“社会关系”等进行定性分析，原始数据和分析结果会受到人类主观意识影响；又如，“大数据”不擅长上下文情景分析；再如，“大数据”不擅长处理真正的巨型问题；还如，原始数据往往会被扭曲，数据分析的结论往往基于大众偏好。
“大数据技术目前存在局限性，还不适用于所有企业。“大数据”最美的地方，就是我们不再受数据容量的局限，它可以不断的增加一些变量，然后增加价值，帮助我们做出更好的决策。
斯坦福大学专家特来沃尔?哈斯蒂也指出，“大数据”的理论是“在稻草堆里找一根针”，而面临的问题则是“所有稻草看上去都挺像那根针”。而乔治?梅森大学专家瑞贝克?高尔丁则提出“数据提供者造假”的危险，在“大数据时代”变得更有害，因为“大数据”理论建立在“海量数据都是事实”的基础上，但人们无法控制数据提供者和搜集者本人的偏见和筛选。近年来已有不少学者指出，拥有最完善数据库、最先接受“大数据”理念的华尔街投行和欧美大评级机构，却每每在重大问题上判断出错，这本身就揭示了“大数据”的局限性。
㈡企业信息安全成为重大问题
“大数据”堪称一把双刃剑，不论是企业还是个人，都会因为“大数据”的爆发而获益匪浅，但同时，个人隐私也无处遁形。站在不同的角度看“大数据”，它既可能是大机会，大发展，大创新，也可能是大危机，大破坏，大淘汰。由于“大数据”炙手可热，数据的流失、泄露和私下买卖也成为噩梦，全球各地不时发生的个人信息被盗可被看作“大数据时代”对个人生活的伤害，而“维基泄密事件”则提醒强力部门和各国政府，“大数据”的魔力同样会对强者构成反啮。数字世界扩大的同时也意味着危险随之扩大。
最近，通过美国人斯诺登的持续爆料，“棱镜门”公之于众，全球在感到触目惊心的同时，也不得不对美国收集数据的广泛和浩瀚叹为观止。美国政府的神通广大，一部分就是基于“大数据”。进入今年的六月，美国“棱镜门”事件不断发酵，为全球信息安全敲响了警钟。“棱镜”折射出的隐忧：大数据时代你我都是透明人！未知的安全威胁，让人不寒而栗。
数据已经成为“企业的命脉”。然而，我们既不应该过分迷信大数据、将现有非“大数据”技术马上弃之不顾，也不应该将一切问题都推在“大数据”身上。很显然，传统技术不会瞬间“过时”、新技术也无法一手遮天。
㈢“大数据”理论并非人人相信
然而“大数据”概念似乎正被不顾后果、毫无章法地过度使用;即使偶尔使用方法对路，其适用范围也并不像技术人员想象的那么宽泛。例如：美国学者就质疑过“大数据”理论。微软研究院首席研究员、麻省理工学院公民媒体中心客座教授凯特?克劳福德的文章《对大数据的再思考》，就从五个方面对大数据理论提出了质疑：
1，大数据中存在偏见和盲区。克劳福德认为，数字无法自己说话。不论其规模有多大，数据集归根到底是人类设计的产物，而大数据的工具并不能使人们摆脱曲解、隔阂和错误的成见。
2，大数据在一定程度上可以使城市变得更加智能和高效，但具体效果如何取决于市政官员对数据及其局限性的了解。
3，大数据可能导致基于群体的歧视。大数据的倡导者认为，“大数据对不同的社会群体不会‘厚此薄彼’”，克劳福德认为，实际情况并非如此。大数据不仅不会避免群体歧视，还可能加重这一趋势。
4，隐私泄露是大数据应用中的重要问题。克劳福德认为，大数据的倡导者关于“大数据是匿名的，因此它不会侵犯我们的隐私”一说是大错特错。
5，大数据为科学研究提供了新的途径，但不可断言“大数据是科学的未来”。
克劳福德称，大数据的研究方法只能统计某件事情发生的频率和相关性，但不能得出因果关系。将大数据策略和小数据研究相结合也许是更好的科学研究途径。
现今对于“大数据”的预测或悲观或乐观，它究竟会如何改变人类社会，我们还将拭目以待。但是，专家认为：“大数据”的创新性、先进性与前瞻性，是值得肯定的。因此，辩证地看“大数据”对人类活动的影响才是正确地。
㈣“大数据”概念常常被过度滥用
“大数据”这个概念常常被过度滥用，要么就是被完全错误理解。对于某个特定应用程序中数据量的增加而言，无论这种增长幅度有多么迅猛，我们都不能就将其称之为大数据应用。我们需要做的是对这套系统进行扩容，而这个过程根本没那么复杂——只需做一些设计调整，如果系统本身就预留了扩展设计，连调整都不需要。
不过，一些学者指出，由于“大数据”理论过于依靠数据的汇集，那么一旦数据本身有问题，在“只问有什么，不问为什么”的模式下就很可能出现“灾难性大数据”，即因为数据本身的问题，而导出错误的预测和决策。
“大数据”在业务层面也给企业带来多重挑战，其中三条最为紧迫。一是法律环境的缺失和民众不客观的情绪。在欧盟，什么是信息隐私、什么是信息安全是有明确规定的，有很明确的规范。美国的互联网企业比较强势，通常是做了再说，如果出了问题会通过游说国会，通过立法的形式加以肯定、保护。但是在中国，从整体上相关法律是缺失甚至说是空白的，电信运营商既没有法律规范作为依据，也做不到像美国的运营商和互联网企业对政府拥有强势的影响力。
结束语：
根据IDC预测，中国的“大数据”市场从2012年到2016年将增长5倍，政府、电信、能源、银行等将是最先使用“大数据”工具的行业。还预测，未来三年我国“大数据”市场将突破百亿元。整个行业发展空间巨大。毫无疑问，“大数据”创业的前景广阔，“看不见的数据，看得见的价值”正给新兴的通过数据创业公司带来不可估量的市场潜力。
“大数据”时代的到来，充满了机遇与挑战，谁能够最快地习惯这种新形式下的数据模式，熟悉和掌握处理这种数据处理方法，谁就会在之后的信息争夺战中占得先机，取得主动权。“大数据”引领我们走向数据智能化时代，“大数据”时代将会智谋未来！得“大数据”者得天下！中国的工控行业应当在“大数据”浪潮里，迎头赶上，夺取胜利果实。
主要参考文献
1，曹玉香等，“SCADA系统中大数据量处理的研究与开发”，《制造业自动化》，2009年第12期；
2，李皎，“大数据时代到来对电力行业发展提出新要求”，《华北电业》，2012年第4期；
3，金春姬，“大数据”在电力新能源方面应用广泛，商业新闻网，2012年7月24日；
4，仙豆，企业如何利用大数据“点石成金”，CIO时代网，2012年8月24日；5，张光茫，“数据美国”带来的启示，《青年参考》，2012年11月21日；6，成思危，未来要运用“大数据”技术改进预测科学，中国经济网，2013年01月26日；
7，机房360，推荐企业“大数据”应用的八大典型案例，2013年02月01日，中关村在线；
8，中国电机工程学会电力信息化专委会，《中国电力大数据发展白皮书（2013）》，2013年3月21日；
9，中国能源网，电力行业信息化投资猛增步入“大数据”时代，2013年3月29日；
10，孙柏林，“大数据技术”及其军事应用，《新时代国防》，2013年第5期；
大数据各产业应用报告
大数据各产业应用 方案
目录 1.大数据概述 (6) 1.1.概述 (6) 1.2.大数据定义 (6) 1.3.大数据技术发展 (8) 2.大数据应用 (11) 2.1.大数据应用阐述 (11) 2.2.大数据应用架构 (13) 2.3.大数据行业应用 (13) 2.3.1.医疗行业 (13) 2.3.2.能源行业 (14) 2.3.3.通信行业 (14) 2.3.4.零售业 (15) 3.大数据解决方案 (16) 3.1.大数据技术组成 (16) 3.1.1.分析技术 (16) 3.1.1.1.可视化分析 (16) 3.1.1.2.数据挖掘算法 (16) 3.1.1.3.预测分析能力 (16) 3.1.1.4.语义引擎 (16) 3.1.1.5.数据质量和数据管理 (17) 3.1.2.存储数据库 (17) 3.1.3.分布式计算技术 (18) 3.2.大数据处理过程 (20) 3.2.1.采集 (20) 3.2.2.导入/预处理 (21) 3.2.3.统计/分析 (21) 3.2.4.挖掘 (21) 3.3.大数据处理的核心技术-Hadoop (21) 3.3.1.Hadoop的组成 (22) 3.3.2.Hadoop的优点： (25) 3.3.2.1.高可靠性。 (25) 3.3.2.2.高扩展性。 (25) 3.3.2.3.高效性。 (25) 3.3.2.4.高容错性。 (25) 3.3.3.Hadoop的不足 (25) 3.3.4.主要商业性“大数据”处理方案 (26) 3.3.2.5.IBM InfoSphere大数据分析平台 (26) 3.3.2.6.Or a c l e Bi g Da t aApplianc (27) 3.3.2.7.Mi c r o s o f t S QLServer (27) 3.3.2.8.Sybase IQ (28)
大数据行业应用现状和未来分析
当前，大数据”的浪潮汹涌而来，为IT产业带来了新的机遇、新的变革和新的发展。欢迎走进大数据时代!为准确把握产业发展契机，分享大数据建设经验及热点应用，本次研讨会吸引了相关主管部门领导、国内著名专家学者、产业界高层齐聚一堂，共同探讨有关大数据的热点话题。研讨会上来自北京时代计世咨讯有限公司首席分析师丁震就大数据行业应用现状和未来应用热点为主题作了精 彩的分享。 大数据市场现状 第一、中国大数据市场分析 从去年开始对11个行业，1000用户做了大数据相关使用调研，通过调研结果发现，大数据在中国整个市场中，市场发展前景是非常广阔的。特别从2013年到2016年中，每一年大数据市场发展增长率都会在百分之百以上，这是综合考虑了各种各样的影响因素，考虑了中国整体经济发展趋紧的局势包括欧债危机对中国经济的影响逐渐显现的趋势，从信息化角度、政府、金融、电信主要传统行业对信息化投资趋紧的趋势，综合这些趋势，我们认为大数据市场未来发展是高速增长的市场，特别在2013年的时候，随着行业解决方案的数量的增多，以及在行业用户对于大数据的需求的明确。 我们认为2013年将会是发展的顶点，越来越多的行业对大数据应用持比较乐观的态度，大数据或者相关数据分析解决方案的使用在互联网行业更多一些比如百度、淘宝等。 现在看到的更多一些，特别在近两年以来，像电信或者金融、能源这些传统行业，开始越来越多的用户在初步尝试或者在考虑怎么样使用类似大数据解决方案，来提升自己的业务水平。比如电信行业，了解到像中国电信在全国上海、四川、广东建了三个大的资源池，支撑了中国电信大的业务系统。同时他们采取了大数据分析方案分析他们的数据。 像能源行业，电力的用户，我们也注意到有一些电力方面的用户，他们也在考虑尝试能不能使用基于大数据解决方案去分析一些比如说像用电企业，用电行为，他们的使用行为，而提升他们自身对客户的服务能力。 总之，在大数据背景之下，看到越来越多行业用户，用来使用和尝试行业的解决方案。 第二、企业大数据应用需求分析 目前企业数据的现状，非结构化数据已经成为主流，结构化数据放在最上面。企业IT架构当中，结构化数据和非结构化数据占据了越来越重要的位置。 在大数据背景之下，企业对于大数据技术特点和用户需求和之前那些用户对数据处理得需求，到底有什么不同。在他们看来，从表面来看，企业对于数据分析需求始终都存在的，跟之前和现在没有太大的区别，大数据它不是理念上的革命或者是技术上的革命，它是一种革新。这种革新标志着企业对于数据应用的需求上升到一个新的发展阶段。在这个阶段中，企业不仅仅要求处理数据越来越快，这不是用户最需求的，企业不仅仅需要用户处理数据的类型会越来越多，以前只数据结构化数据就好了，现在既要数据结构化数据，也要处理非结构化和半结构数据，这样的解决方案，用户也需要，但是也不是最重要的。最重要，企业如何把这些数据上升为战略资源，或者企业如何利用这些的数据提升他们的竞争力，成为市场竞争最有力的武器。 建筑行业管理软件CEO认为，他们目前有两样数据，一是各省市建筑原材料的架构，可以做到每天更新，二是他们手里掌握着从业者大概几十万从业者的信息，他们的问题不单单把这些建筑行业原材料的信息打包卖给用户，他们还在想，我们怎么样去能够运用不同的建筑原材料的数据，这种价格的数据，去为不同需求的，不同地区，不同层级的需求用户，提供有针对性，比如说施工预算的解决方案。另外，他们还需要如何从几十万个行业用户的用户信息里面，怎么来发掘出新的业务模式，创造一些新的商业发展机会，以及怎么样发掘新的潜在用户。 目前来讲，对他们困扰最大的，我现在缺少一种全方位的方法或者是一种数据分析的手段来去支撑我的需求，这个例子说明，目前来讲中国对于数据分析的方法还是非常缺乏，目前来讲，我们觉得
2020教育大数据行业趋势及存在的问题
2020年教育大数据行业趋势及存在的问题 2020年
目录 1.教育大数据行业前景趋势 (4) 1.1产品种类趋于多样化 (4) 1.2数据安全意识不断增强 (4) 1.3产学研合力谋求突破 (5) 1.4教育数据研究人员不断增加 (5) 1.5市场发展前景广阔 (6) 1.6行业协同整合成为趋势 (6) 1.7生态化建设进一步开放 (7) 1.8需求开拓 (7) 2.教育大数据行业现状 (8) 2.1教育大数据行业定义及产业链分析 (8) 2.2教育大数据市场规模分析 (10) 2.3教育大数据市场运营情况分析 (10) 3.教育大数据行业存在的问题 (13) 3.1数据标准有待完善 (13) 3.2数据采集覆盖面窄 (13) 3.3模型构建专业性不足 (14) 3.4产品服务单一 (14) 3.5开放共享尚未形成 (15) 3.6隐私保护有待完善 (15)
3.7供应链整合度低 (15) 3.8产业结构调整进展缓慢 (15) 4.教育大数据行业政策环境分析 (16) 4.1教育大数据行业政策环境分析 (16) 4.2教育大数据行业经济环境分析 (17) 4.3教育大数据行业社会环境分析 (17) 4.4教育大数据行业技术环境分析 (17) 5.教育大数据行业竞争分析 (19) 5.1教育大数据行业竞争分析 (19) 5.1.1对上游议价能力分析 (19) 5.1.2对下游议价能力分析 (19) 5.1.3潜在进入者分析 (20) 5.1.4替代品或替代服务分析 (20) 5.2中国教育大数据行业品牌竞争格局分析 (21) 5.3中国教育大数据行业竞争强度分析 (21) 6.教育大数据产业投资分析 (22) 6.1中国教育大数据技术投资趋势分析 (22) 6.2中国教育大数据行业投资风险 (22) 6.3中国教育大数据行业投资收益 (23)
大数据技术与应用专业建设
大数据技术与应用专业建设 调研报告 自党的十八大以来，我国提出了实施国家大数据战略的重大决策。国务院和相关部门先后印发了《促进大数据发展行动纲要》、《大数据产业发展规划（2016～2020年）》等指导性文件。各部门、各地方高度重视，据不完全统计，我国已有20多个省级地方和10余个部委出台了本地区、本行业大数据发展规划，我国大数据发展已经正式驶入快车道。 2015年9月5日经李克强总理签批，国务院印发《促进大数据发展行动纲要》（以下简称《纲要》），系统指导我国大数据发展的国家顶层设计和总体部署大数据发展工作。《纲要》提出从政府大数据、新兴产业大数据、安全保障体系三个方面着手推进大数据领域十大工程建设，将我国大数据发展推向了另一个制高点。 职业教育服务经济与社会发展，必须紧跟产业发展步伐，随着经济增长方式转变而“动”，跟着产业结构调整升级而“走”，围着企业技能型人才需求而“转”，适应市场的需求而“变”。在大数据技术飞速发展的今天，职业教育必须紧跟大数据产业发展步伐。为了更好地了解相关行业企业对大数据人才的需求，促进大数据技术与应用专业教学及专业建设，大数据技术与应用专业教学资源库建设团队在国内外针对大数据在行业企业的需求开展了调研。
一、调研目的 1、了解大数据行业企业对大数据技术与应用专业人才的需求倾向、人才需求规格预测、就业预测、人才的市场定位等； 2、了解大数据行业企业对大数据技术与应用专业人才培养模式、培养目标的意见，以及对专业知识、岗位分工、职业技能等的要求； 3、了解往届相关专业毕业生在工作单位的表现及用人单位对往届毕业生的工作、岗位能力评价； 4、与相关企业建立校企合作模式，促进教学与社会实践的联系，为大数据技术与应用专业教学资源库的专业建设、课程体系建设及培养模式寻找更完善的发展方向。 二、调研方式 1.问卷调查：印制问卷涵寄或面交，请企业相关人员作答。 2.实地调研：教师到企业和用人单位实地调研。 3.座谈调研：邀请用人单位的技术人员、管理人员到系里开展座谈交流。 4.网上调查：到网上搜索有关人才需求、课程设计、教学计划等信息。 三、国内外大数据发展现状 （一）大数据产业呈现爆炸式增长 由IDC和EMC联合发布的《The Digital Universe of Opportunities : Rich Data and the Increasing Value of Internet of Things》研究报告中指出，2011年全球数据总量已达到1.8ZB，并将以每两年翻一番的速度增长，
大数据的应用现状与展望
自然辩证法小论文 大数据的应用现状与展 望 指导老师：张立 组长、主讲：刘开耀21428164 PPT制作：刘玉婷21428171 论文撰写：雷颖颖陈瞳 资料收集：毕晨光黄一锋 邵炳姜灵轩 董丽华周晴 黄河羚婕JX14014 2015/4/18
大数据的应用现状与展望 摘要：大数据具有规模大、种类多、生成速度快、价值巨大但密度低的特点。大数据应用就是利用数据分析的方法，从大数据中挖掘有效信息，为用户提供辅助决策，实现大数据价值的过程。本文主要介绍了大数据的分析方法、分析模式以及常用的分析工具，将大数据应用归纳为6个关键领域：结构化数据分析、文本分析、Web分析、多媒体分析、社交网络分析和移动分析，并列举了若干大数据的典型应用。最后从基础理论、关键技术、应用实践以及数据安全等4个方面总结了大数据的研究现状，并对大数据应用未来的研究进行展望。关键词：大数据数据分析数据存储4V 在过去的20年中，各个领域都出现了大规模的数据增长，包括医疗保健和科学传感器用户生成数据、互联网和金融公司、供应链系统等。国际数据公司IDC报告[1]称，2011年全球被创建和复制的数据总量为1.8ZB（1ZB≈1021ZB），在短短5年间增长了近9倍，而且预计这一数字将每两年至少翻一番。大数据这一术语正是产生在全球数据爆炸增长的背景下用来形容庞大的数据集合。与传统的数据集合相比，大数据通常包含大量的非结构化数据，且大数据需要更多的实时分析。此外，大数据还为挖掘隐藏的价值带来了新的机遇，同时给我们带来了新的挑战，即如何有效地组织管理这些数据。 1 大数据的定义 目前，虽然大数据的重要性得到了大家的一致认同，但是关于大数据的定义却众说纷纭。大数据是一个抽象的概念，除去数据量庞大，大数据还有一些其他的特征，这些特征决定了大数据与“海量数据”和“非常大的数据”这些概念之间的不同。一般意义上，大数据是指无法在有限时间内用传统IT技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。科技企业、研究学者、数据分析师和技术顾问们，由于各自的关注点不同，对于大数据有着不同的定义。通过以下定义，或许可以帮助我们更好地理解大数据在社会、经济和技术等方而的深刻内涵。 2010年Apache Hadoop组织将大数据定义为，“普通的计算机软件无法在可接受的时间范围内捕捉、管理、处理的规模庞大的数据集”。在此定义的基础上，2011年5月，全球著名咨询机构麦肯锡公司发布了名为“大数据：下一个创新、竞争和生产力的前沿”的报
大数据技术与应用专业详细解读
大数据技术与应用专业详细解读 大数据技术与应用专业是新兴的“互联网+”专业，大数据技术与应用专业将大数据分析挖掘与处理、移动开发与架构、人软件开发、云计算等前沿技术相结合，并引入企业真实项目演练，依托产学界的雄厚师资，旨在培养适应新形势，具有最新思维和技能的“高层次、实用型、国际化”的复合型大数据专业人才。 专业背景 近几年来，互联网行业发展风起云涌，而移动互联网、电子商务、物联网以及社交媒体的快速发展更促使我们快速进入了大数据时代。截止到目前，人们日常生活中的数据量已经从TB(1024GB=1TB)级别一跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别，数据将逐渐成为重要的生产因素，人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。大数据时代，专业的大数据人才必将成为人才市场上的香饽饽。当下，大数据从业人员的两个主要趋势是：1、大数据领域从业人员的薪资将继续增长；2、大数据人才供不应求。 图示说明：2012-2020年全球数据产生量预测 专业发展现状 填补大数据技术与应用专业人才巨大缺口的最有效办法无疑还需要依托众多的高等院校来培养输送，但互联网发展一日千里，大数据技术、手段日新月异，企业所需要的非常接地气的人才培养对于传统以培养学术型、科研型人才为主要使命的高校来说还真有些难度。幸好这个问题已经被全社会关注，政府更是一再提倡产教融合、校企合作来创办新型前沿几
乎以及“互联网+”专业方向，也已经有一些企业大胆开始了这方面的创新步伐。据我了解，慧科教育就是一家最早尝试高校校企合作的企业，其率先联合各大高校最早开设了互联网营销，这也是它们的优势专业，后来慧科教育集团又先后和北京航空航天大学、对外经济贸易大学、贵州大学、华南理工大学、宜春学院、广东开放大学等高校在硕、本、专各个层次开设了大数据专业方向，在课程体系研发、教学授课及实训实习环节均有来自BAT以及各大行业企业一线的技术大拿参与，所培养人才能够很好地满足企业用人需求。 专业示例 笔者在对慧科教育的大数据技术与应用专业做了专门研究，共享一些主要特色给大家参考： 1.培养模式 采用校企联合模式，校企双方（即慧科教育集团和合作校方）发挥各自优势，在最大限度保证院校办学特色及专业课程设置的前提下，植入相应前沿科技及特色人才岗位需求的企业课程。 2.课程体系 笔者对慧科教育的大数据技术与应用做了专门研究，现分享一下慧科专业共建的课程给大家参考。慧科教育集团的专业课程重在培养学生的理论知识和动手实践能力，学生在完成每个学期的理论学习后，至少有两个企业项目实战跟进，让学生在项目中应用各类大数据技术，训练大数据思路和实践步骤，做到理论与实践的充分结合。 大数据专业的课程体系包括专业基础课、专业核心课、大数据架构设计、企业综合实训等四个部分。
工业大数据在工业企业中的典型应用介绍
工业大数据在工业企业中的典型应用介绍 工业大数据可广泛应用于企业整个生产过程。下面按照企业生产过程的研发设计、供应链、生产制造、营销与服务环节，对工业大数据的应用场景及其应用进行探讨。 4.1 研发设计环节工业大数据的应用场景 在研发设计环节，工业大数据应用主要有产品协同设计、设计仿真、工艺流程优化等。 产品协同设计，主要是利用大数据存储、分析、处理等技术处理产品数据，建立企业级产品数据库，以便不同地域可以访问相同的设计数据，从而实现多站点协同、满足工程组织的设计协同要求。 设计仿真，是指将大数据技术与产品仿真排程相结合，提供更好的设计工具，减少产品交付周期。如波音公司通过大数据技术优化设计模型，将机翼的风洞实验次数从2005年11次缩减至2014年的1次；玛莎拉蒂通过数字化工具加速产品设计，开发效率提高30%。 工艺流程优化，主要是应用大数据分析功能，深入了解历史工艺流程数据，找出工艺步骤和投入之间的模式和关系，对过去彼此孤立的各类数据进行汇总和分析，评估和改进当前操作工艺流程。例如一家排名前五强的生物药品制造商广泛收集与工艺步骤和使用材料相关的数据，应用大数据分析技术，来确定不同工艺参数之间的相关性，以及参数对产量的影响，最终确定影响最大的9种参数，针对与这9种参数相关的工艺流程做出调整，从而把疫苗产量增加了50%以上。 4.2 供应链环节工业大数据的应用场景
供应链环节工业大数据的应用主要体现在供应链优化，即通过全产业链的信息整合，使整个生产系统达到协同优化，让生产系统更加动态灵活，进一步提高生产效率和降低生产成本。主要应用有供应链配送体系优化和用户需求快速响应。 供应链配送体系优化，主要是通过RFID等产品电子标识技术、物联网技术以及移动互联网技术获得供应商、库存、物流、生产、销售等完整产品供应链的大数据，利用这些数据进行分析，确定采购物料数量、运送时间等，实现供应链优化。如海尔公司供应链体系很完善，它以市场链为纽带，以订单信息流为中心，带动物流和资金流的运动，整合全球供应链资源和全球用户资源。在海尔供应链的各个环节，客户数据、企业内部数据、供应商数据被汇总到供应链体系中，通过供应链上的大数据采集和分析，海尔公司能够持续进行供应链改进和优化，保证了海尔对客户的敏捷响应。 用户需求快速响应。即利用先进数据分析和预测工具，对实时需求预测与分析,增强商业运营及用户体验。例如，电子商务企业京东商城，通过大数据提前分析和预测各地商品需求量，从而提高配送和仓储的效能，保证了次日货到的客户体验。 4.3 生产制造环节工业大数据的应用场景 在制造环节，工业大数据的应用主要有智能生产、生产流程优化、设备预测维护、生产计划与排程、能源消耗管控和个性化定制等应用。智能生产。就是生产线、生产设备都将配备传感器，抓取数据，然后经过无线通信连接互联网，传输数据，对生产本身进行实时监控。
浅谈大数据技术的行业应用
浅谈大数据技术的行业应用 其实在没上这门课之前我只是认为大数据无非是信息时代的自然产物，随着互联网的通畅自然会存在更为庞大的数据规模，只是没想过数据规模会如此的庞大，正如老师的PPT也指出人们每月在总共在facebook上浏览7000亿分钟，每天会产生超过10TB 的数据，Twitter 每天就会生成超过7TB 的数据！天啊，这简直就是数据的汪洋大海，每个IT企业都在努力的在此间浮沉，努力不被数据大海淹没同时又奋力滑向那零零星星的富庶小岛。我不知道我刚才的比喻是否恰当，不过我想表达的就是数据虽然那么多，有海量的数据和各种不同类型的数据，但这并不是垃圾堆，其中其实掩藏着很多的金矿的。老师上课讲的关于算法来识别用户是否怀孕，进而不同声色的为她们推荐即将成为妈妈的各类产品诸如纸尿裤之类的让我非常感兴趣，让我发现原来营销可以做到这样的地步，利用算法提前预测用户与自己有关的一切消费行为然后加以利用转化为自己的实际发展利益，还有银行卡通过消费行为来判断预警依次来降低风险，这样内容着实让我开了眼。我也相信随着大数据技术处理的进步，大数据对于我们生活潜移默化，还有企业经营理念深刻的影响还会进一步加大的。我以前在网上也曾看过一个关于大数据处理用于音乐App歌曲推荐的算法，主要是通过你听歌曲的历史来记录分析找寻到与你相似品味的客户，然后把他们曾经听过的喜爱的歌曲再推荐给你，这个的确效果非常好，当然这个必须要依托大数据了。大数据其实还是对海量数据进行分发，处理和筛选，然后给下游的客户们来创造的价值。而获取新的客户，还是创造客户新的消费点和欲望方面大数据的确算是颠覆了之前的公司运营模式，不必依靠打折降价烧钱促销大面积撒网，而是通过大数据找到对应的客户进行精准营销等等，的确给公司带来很多便利又节约了很多的资源，人力物力和资金。但有些时候总有些事情不尽然如人意，比如之前携程的数据库不幸泄露，然后许多客户因其真实信息曝光遭到诈骗，而考虑到银行的数据如果操纵不当，那损失可算不可估量了，其实我们一直在一艘在海上摇摆的船上，不仅要享受因海水浮力带来的便利，更要关注大数据安全的问题来保证船的稳定航行，毕竟能载舟，亦能覆舟嘛~而老师在课上也算提到过提供大数据服务的公司是可以随便浏览其客户储存在上面的信息的，这种信息隐患也算是一种无奈吧。还有一个观点其实算我之前在网上看到的，也蛮有趣的。虽然通过大数据挖掘可以找到很多商机，但总有种知其然而不知其所以然之感，虽然我们知道这俩商品放在一种卖肯定会提升销量，但我说不出其中的原因，也无法此类现象之后的逻辑推理下来的发展演变。所以大数据挖掘出的信息在某些时候算是对现实世界的一种反馈，真正的预测决策还是要依靠人们自己的判断和主观能动性的。上述算是我思绪很乱随处敲敲打打写下我对于大数据行业应用的看法吧。
大数据的国内外研究现状与发展动态分析报告
大数据的国内外研究现状及发展动态分析大数据的概念 产生的背景与意义 上世纪60年代到80年代早期，企业在大型机上部署财务、银行等关键应用系统，存储介质包括磁盘、磁带、光盘等。尽管当时人们称其为大数据，但以今日的数据量来看，这些数据无疑是非常有限的。随着PC的出现和应用增多，企业内部出现了很多以公文档为主要形式的数据，包括Word、Excel文档，以及后来出现的图片、图像、影像和音频等。此时企业内部生产数据的已不仅是企业的财务人员，还包括大量的办公人员，这极大地促进了数据量的增长。互联网的兴起则促成了数据量的第三次大规模增长，在互联网的时代，几乎全民都在制造数据。而与此同时，数据的形式也极其丰富，既有社交网络、多媒体等应用所主动产生的数据，也有搜索引擎、网页浏览等被动行为过程中被记录、搜集的数据。时至今日，随着移动互联网、物联网、云计算应用的进一步丰富，数据已呈指数级的增长，企业所处理的数据已经达到PB级，而全球每年所产生的数据量更是到了惊人的ZB级。在数据的这种爆炸式增长的背景下，“大数据”的概念逐渐在科技界、学术界、产业界引起热议。在大数据时代，我们分析的数据因为“大”，摆脱了传统对随机采样的依赖，而是面对全体数据；因为所有信息都是“数”，可以不再纠结具体数据的精确度，而是坦然面对信息的混杂；信息之“大”之“杂”，让我们分析的“据”也由传统的因果关系变为相关关系。 大数据热潮的掀起让中国期待“弯道超越”的机会，创造中国IT企业从在红海领域苦苦挣扎转向在蓝海领域奋起直追的战略机遇。传统IT行业对于底层设备、基础技术的要求非常高，企业在起点落后的情况下始终疲于追赶。每当企业在耗费大量人力、物力、财力取得技术突破时，IT革命早已将核心设备或元件推进至下一阶段。这种一步落后、处处受制于人的状态在大数据时代有望得到改变。大数据对于硬件基础设施的要求相对较低，不会受困于基础设备核心元件的相对落后。与在传统数据库操作层面的技术差距相比，大数据分析应用的中外技术差距要小得多。而且，美国等传统IT强国的大数据战略也都处于摸着石头过河的试错阶段。中国市场的规模之大也为这一产业发展提供了大空间、大平台。大数据对于中国企业不仅仅是信息技术的更新，更是企业发展战略的变革。随着对大数据的获取、处理、管理等各个角度研究的开展，企业逐渐认识数据已经逐渐演变成“数据资产”。任何硬件、软件及服务都会随着技术发展和需求变化逐渐被淘汰，只有数据才具有长期可用性，值得积累。数据是企业的核心资产，可以是也应该是独立于软硬件系统及应用需求而存在的。大数据是信息技术演化的最新产物，确立了数据这一信息技术元素的独立地位。正因为数据不再是软硬件及应用的附属产物，才有了今天爆炸式的数据增长，从而奠定了大数据的基础。
教育行业的大数据未来发展趋势
教育行业的大数据未来发展趋势 大数据引领的风潮仍在继续，大数据革命推动各个领域的发展和变革，教 育已经逐渐迈入大数据时代，那么大数据在教育行业有什么样的发展趋势呢? 趋势一：数据的采集和分析成为基石 教育数据采集与深度分析成为各应用系统的必备功能。教育信息化市场产 品类型丰富，涵盖教学、管理、教研、培训等多种业务。随着教育大数据战略 与应用价值的逐步凸显，越来越多的信息化应用系统将加强数据采集与深度分 析方面的功能，以采集更丰富的教育数据，提升信息系统的智能性和产品竞争力。此外，为了辅助用户解读和理解数据分析结果，可视化技术也越来越流行，成为各应用系统的基础性技术。 趋势二：产品体系多样化 教育大数据产品体系更加丰富、多样化。随着国家考试招生制度的改革及 其他一系列教育改革的推进，应试教育将逐步转向真正的素质教育。提分将不 再是广大师生和家长的唯一需求，教育的需求会变得越来越多样化和个性化。 为了满足用户的多元化需求，教育大数据市场将出现越来越多提供特色服务的 产品。据某机构调查，我国基础教育领域大数据产品主要的需求是学习分析、 预警类产品，辅助教育管理、决策类产品，教育教学评价类产品和个性化服务 类产品。 趋势三：产业链分工精细化
教育大数据产业链分工更加精细化、服务更加专业化。追求极致是互联网 思维的要点之一。为了持续提升教育服务的质量和专业度，教育大数据产业将 进一步细化分工，产业链条之间的协同和运作将更加高效、专业。每个环节都 将由专门的提供商提供最专业、最优质的服务。基础教育大数据市场有望出现 一批专门从事教育数据采集、数据安全或教育数据挖掘的优秀本土企业。 趋势四：数据安全意识不断增强 教育数据安全与隐私受到广泛关注，成为产品质量评估的核心指标。随着 社会公众数据安全与隐私保护意识的不断增强，教育大数据产品需要进一步提 升数据安全性能。政府及教育机构在采购教育信息化产品时，数据安全将成为 重要的考量点和评估指标。教育信息化相关标准制定单位，也会将数据安全与 隐私保护作为核心内容纳入标准体系。达不到数据安全标准的企业产品，将面 临巨大的被市场淘汰的风险。 趋势五：产学研合力谋求突破 越来越多的企业寻求与高校、科研机构及中小学校的深度合作。教育大数 据产品的成功研发与应用推广，单靠企业的力量难以完成。企业一方面需要准 确把握中小学的实际教育需求，另一方面又要与高校、科研机构协同攻克关键 技术难题，设计有效的产品应用模式与策略。因此，教育大数据市场将呈现企、校、研广泛合作的态势，三方优势互补、有效协同，涌现一批优秀的、接地气 的教育大数据产品。 趋势六：人才培养意识开始凸显 高校纷纷加强教育大数据技术课程体系建设和人才。培养数据人才匮乏是 影响我国教育大数据产业发展的重要因素。高校承担着教育大数据专门人才培 养的重任，未来将有更多的高校开设教育大数据课程或者设立相关专业方向。
大数据的应用现状及展望
大数据的应用现状及展望 摘要：互联网时代下，大数据为管理带来的新的发展方向，对人员改革、决策 质量提升、服务效率改善等产生显著的影响。然而大数据在当前技术发展中存在 诸多问题，因此笔者在明晰大数据技术现状基础上，结合问题对其展开分析，旨 在有效提升大数据技术的应用水平。 关键词：大数据；应用现状；展望 Status and Prospect of big data applications Shan Li-lin (Information Center of Fushun Financial Bureau , Fushun 113006,China) Abstract:In the Internet era, big data has become a new development direction brought by management, which has a significant impact on personnel reform, decision-making quality improvement and service efficiency improvement. However, there are many problems in the current technology development of big data. Therefore, based on the clarity of the current situation of big data technology, the author conducts an analysis of big data technology in combination with problems, aiming to effectively improve the application level of big data technology. Keywords: big data; application status; prospect 引言 大数据战略已经成为当前我国的发展战略，对我国经济发展及科技进步将产 生深远的影响。尤其是近些年来，随着信息化高速发展及社会转型的不断提升， 大数据与企事业单位、政府行政机关的管理不断融合，将成为互联网时代下分析 的核心支撑！ 1 大数据内涵 大数据，又称为海量数据，是指在数据的数量体积达到一种特别庞大状态， 此时，一般的数据管理工具难以在规定时间内对其提取有效信息、整合类似资料、分析类比问题并且把它转化成对企业有用的信息。这些难以在规定的有效时间内 进行识别、保存和应用的大量数据的集合，需要一种全新的解决方法才可以将其 转化为企业所需要的决策领导力、发现问题和提前预知问题的能力、具有更加清 晰且有条理处理问题的能力。 大数据分为三种类型，包括结构化数据、半结构化数据和非结构化数据，其 中非结构化数据越来越成为大数据的主要组成部分。大数据需要特殊的技术，以 有效地处理海量且结构复杂的数据。与之相关的核心技术主要包括数据挖掘、云 计算平台、MPP数据库、分布式数据库、可扩展的存储系统、分布式文件系统等。 对大数据进行分析往往需要大量的计算机所提供的计算能力，数量少则数十台，多则数千台。随着云时代的来临，将大数据与云计算相结合，利用云计算技 术可以用低廉的成本获得强大的运算能力，使大数据分析的门槛降低。在大数据、云计算与数据挖掘等技术不断发展的背景下，很多过去无法收集或者收集后无法 分析的数据被充分地利用起来，帮助各行各业进行改革与创新，为人类的进步与 发展发挥着巨大的作用[1]。 大数据是一种规模大到在获取、存储、管理、分析方面均远远超过了传统类 型的数据库软件工具能力范围的数据集合，它具有海量的数据规模、快速的数据 流转、多样的数据类型以及价值密度低四大特征，而且实时性强、数据所蕴藏的
大数据技术与应用专业人才培养方案
附件： 2017年大数据技术与及用人才培养方案 一、培养目标 本专业培养适应生产、建设、服务和管理第一线需要的，德、智、体、美等方面全面发展的，具有大数据行业对应岗位必备的科学文化知识及相关专业知识，以大数据系统运维与管理、数据处理、数据分析、应用系统开发能力为目标，系统掌握大数据技术与应用专业基本理论、大数据分析挖掘与处理、移动开发与架构、软件开发、云计算技术等前沿技术，旨在培养适应新形势下新兴的“互联网+”专业，具有良好职业道德和敬业精神的高素质技能型专门人才。 二、学制及招生对象 （一）学制：三年 （二）招生对象：高中毕业生和中职毕业生 三、人才培养规格 （一）职业面向、预期工作岗位名称 1.主要岗位 本专业大数据基础类岗位：大数据文档编写、大数据采集清洗与转换； 大数据技术类岗位：大数据系统搭建与运维、海量数据库管理、大数据软件开发、大数据可视化、大数据分析； 2.相关岗位 大数据销售服务类岗位：大数据营销、大数据呼叫、大数据售后服务。 3.进阶岗位 大数据技术公司管理岗位和高级技术岗位 （二）起薪标准 4500元/月 （三）人才质量标准 1.知识要求 毕业生应具有大数据技术与应用专业必要的基础理论知识，掌握从事本专业领域实际工作的基本能力和基本技能；具备适应生产、管理、服务一线岗位需要的工作能力，具备良好的职业道德与素养。
①掌握本专业培养目标所要求的基础理论知识、专业知识和技能； ②具备一定的英语知识，能够借助工具书阅读理解本专业所使用的常用计算机英语， 包括技术性文档和资料； ③掌握计算机方面的专业基础知识，能适应信息化建设； ④掌握Linux平台下大数据平台搭建，数据库系统搭建、优化、管理等方面的专业技 能； ⑤掌握大数据技术与应用专业基本的专业技能，能满足大数据岗位的基本素质。 2.能力要求 通过三年的学习，学生应具备从事本专业领域相关工作的能力。 ①熟练操作办公自动化软件； ②具备计算机组装、计算机软硬件故障的判断与定位以及故障排除的能力。 ③具备办公自动化设备维护的能力；具备数据库系统管理维护的能力； ④具备非结构化数据处理能力； ⑤具备数据仓库管理基本能力； ⑥具备OOP程序设计能力； ⑦具备Web应用开发能力； ⑧具备Linux Server、Hadoop项目管理维护的能力； ⑨具备数据挖掘、数据清洗、数据可视化的处理能力。 3.素质要求 ①政治思想素质： 热爱祖国，拥护党的基本路线。遵纪守法，善于独立思考，勇于创新的精神。具备良好的职业道德与素养。 ②文化素质： 具有一定的文化素质修养，诚实守信、礼貌待人、为人谦逊的文明习惯；具有自尊自强、爱岗敬业、勤奋好学、追求进步的品格；具备良好的人际交往与勾通和工作协调能力。 ③业务素质： 掌握大数据技术与应用专业的基础理论知识；掌握计算机组装与维护、办公自动化软件操作、办公自动化设备维护、计算机网络系统维护及管理、关系型/非关系型数据库系统维护及管理、Windows/Linux服务器系统配置管理等方面、各类大数据平台搭建管理维护的专业技能的能力。
大数据处理技术发展现状及其应用展望
. ,.. 大数据处理技术发展现状及其应用展望 一、定义 著名的管理咨询公司麦肯锡曾预测到：“数据，已经渗透到当今每一个行业和业务职能领域， 成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者 盈余浪潮的到来。”这是大数据的最早定义。业界（于2012年，高德纳修改了对大数据的定义）将大数据的特征归纳为4个“V”（量Volume，多样Variety，价值Value，速Velocity），或者说特点有四个层面：第一，海量数据量。大数据计量单位至少是PB级别；第二，数据 类型繁多。比如，网络日志、视频、图片、地理位置信息等等都是囊括进来。第三，商业价 值高。第四，处理速度快。 在大数据时代，三分技术，七分数据，得数据者得天下。在大数据时代已经到来的时候要用 大数据思维去发掘大数据的潜在价值。Google利用人们的搜索记录挖掘数据二次利用价值， 比如预测某地流感爆发的趋势；Amazon利用用户的购买和浏览历史数据进行有针对性的书 籍购买推荐，以此有效提升销售量；Farecast利用过去十年所有的航线机票价格打折数据， 来预测用户购买机票的时机是否合适。 大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具 有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 二、大数据的技术 技术是大数据价值体现的手段和前进的基石。我将分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。 2.1、云技术 大数据常和云计算联系到一起，因为实时的大型数据集分析需要分布式处理框架来向数十、 数百或甚至数万的电脑分配工作。可以说，云计算充当了工业革命时期的发动机的角色，而大数据则是电。 云计算思想的起源是麦卡锡在上世纪60年代提出的：把计算能力作为一种像水和电一样的 公用事业提供给用户。如今，在Google、Amazon、Facebook等一批互联网企业引领下，一 种行之有效的模式出现了：云计算提供基础架构平台，大数据应用运行在这个平台上。 业内是这么形容两者的关系：没有大数据的信息积淀，则云计算的计算能力再强大，也难以找到用武之地；没有云计算的处理能力，则大数据的信息积淀再丰富，也终究只是镜花水月。 那么大数据到底需要哪些云计算技术呢？这里暂且列举一些，比如虚拟化技术，分布式处理技术，海量数据的存储和管理技术，NoSQL、实时流数据处理、智能分析技术（类似模式识
第9章 大数据的行业应用
1）请阐述什么是旅游大数据。 旅游大数据是综合性的云计算、物联网等高科技信息技术的应用，旅游经营者可以利用网络为广大受众者及时发布相关企业动态和旅游信息；受众者用手机、电脑和其他主动感知类信息的网络终端设备，可以合理安排一个有计划的旅游行程，为提前出行做好如预订机票、酒店、餐厅等准备。这样一种智能化的发展模式，为乘客提供方便，同时在推动旅游企业管理中发挥了巨大作用。 2）请阐述什么是教育大数据。 教育大数据是指整个教育活动过程中所产生的以及根据教育需要所采集到的用于教育发展和研究的价值巨大的数据集合。教育大数据不仅仅是大数据在教育领域应用，它还通过教育领域反向驱动大数据技术分化为独立的分支，从而带来了对传统教育技术领域长期研究问题解决的新途径，甚至可以跨越传统个性化学习的精确逻辑推理过程而直接分析全样本学习者特征。这样来促进教育管理科学化变革、促进教学模式改革、促进个性化教育变革、促进教育评价体系改革、促进科学研究变革等。 3）请阐述什么是金融大数据。 大数据金融是指集合海量非结构化数据，通过对其进行实时分析，可以为互联网金融机构提供客户全方位信息，通过分析和挖掘客户的交易和消费信息掌握客户的消费习惯，并准确预测客户行为，使金融机构和金融服务平台在营销和风控方面有的放矢。 4）请阐述如何设计用户画像。 客户画像应用主要分为个人客户画像和企业客户画像。个人客户画像包括人口统计学特征、消费能力数据、兴趣数据、风险偏好等；企业客户画像包括企业的生产、流通、运营、财务、销售和客户数据、相关产业链上下游等数据。值得注意的是，银行拥有的客户信息并不全面，基于银行自身拥有的数据有时候难以得出理想的结果甚至可能得出错误的结论。比如，如果某位信用卡客户月均刷卡8次，平均每次刷卡金额800元，平均每年打4次客服电话，从未有过投诉，按照传统的数据分析，该客户是一位满意度较高流失风险较低的客户。但如果看到该客户的微博，得到的真实情况是：工资卡和信用卡不在同一家银行，还款不方便，好几次打客服电话没接通，客户多次在微博上抱怨，该客户流失风险较高。所以银行不仅仅要考虑银行自身业务所采集到的数据，更应考虑整合外部更多的数据，以扩展对客户的了解。一般来讲，客户画像主要包括以下几方面： 1）客户在社交媒体上的行为数据（如光大银行建立了社交网络信息数据库），通过打通银行内部数据和外部社会化的数据可以获得更为完整的客户拼图，从而进行更为精准的营销和管理。 2）客户在电商网站的交易数据，如建设银行则将自己的电子商务平台和信贷业务结合起来，阿里金融为阿里巴巴用户提供无抵押贷款，用户只需要凭借过去的信用即可。 3）企业客户的产业链上下游数据。如果银行掌握了企业所在的产业链上下游的数据，可以更好掌握企业的外部环境发展情况，从而可以预测企业未来的状况。
大数据技术与应用专业讲课稿
大数据技术与应用专业 建设方案 北京四合天地科技有限公司 2018年6月
目录 1项目背景 (4) 1.1行业背景 (4) 1.2政策导向 (5) 2人才培养方案 (6) 2.1行业人才需求 (6) 2.2大数据岗位设置 (9) 2.2.1Hadoop运维工程师 (9) 2.2.2大数据开发工程师 (9) 2.2.3数据采集工程师 (10) 2.2.4系统开发工程师 (11) 2.3大数据人才基本技能要求 (11) 2.4人才培养目标 (12) 2.5人才培养策略 (12) 3教学现状分析 (13) 3.1教学科研难以保证 (13) 3.2实训环境缺失 (13) 3.3实训内容不足 (13) 4课程体系建设 (14) 4.1培养目标 (14) 4.2课程设置 (14) 5实训室建设 ............................................................................................... 错误!未定义书签。 5.1设计理念..................................................................................................... 错误!未定义书签。 5.1.1以就业为导向...................................................................................... 错误!未定义书签。 5.1.2以能力为本.......................................................................................... 错误!未定义书签。
工业大数据应用
工业大数据应用 “数字化工厂”展现了信息化制造的强大魅力，“互联工厂”模式给人们无限的想象空间。工业自动化、数字化等作为“智能制造”的关键技术，大数据、人工智能在新一轮革命发展浪潮下必将成为重要的角色。 新一代信息技术为核心的第四次工业革命已经悄然开始，为适应并引领新工业革命的浪潮，美国推出“再工业化”，德国提出“工业4.0”，作为世界制造大国的中国制定了“中国制造2025”并把“智能制造”、“大数据”、“人工智能”定为中国未来的主攻方向，中国制造业进入了转型升级的重要发展阶段。 在工厂里，每一台自动化设备均由PLC、变频器、工控机、传感器、人机界面、伺服与运动控制、机器视觉等基础工控元件构建而成，设备与设备之间通过工业以太网连接，所有的机器设备互联组成井然有序的生产系统，再由MES、PDM/PLM、ERP、CAD/CAE/CAM/CAPP、SCADA等信息管理软件进行统筹，最终形成所谓的“智能制造”工厂解决方案。中国“智能制造”转型带来了巨大的自动化市场需求。 早在几年前，德国政府推出了“工业 4.0”的计划，通用电气GE 提出了“工业互联网”的愿景，信息技术在工业领域上应用研究已积累数年。工业大数据生态要求企业有能力平台化，不管企业是生态的主导者还是参与者，工业大数据将来肯定是一种生态存在业态，只不过各家企业在其中的角色是不同的。 基于云平台构建的制造企业的大数据的意义-bonc云平台
产品营销：大数据分析结果为制造企业提供针对性推销、定向研发、智能维保等服务。 设备远程故障诊断分析：大数据预测设备未来可能出现故障的时间，提供避免风险的解决方案，消除设备故障停机给客户带来的损失。 客户体验：在移动端建立企业宣传平台，以场景化方式让客户参与产品的认知，增加品牌的传播效果。 技术创新：借助平台的专家经验共享、智能决策库的建立，提高运维领域的装备管理水平，降低行业运营成本。 节约能耗：通过数据集的切分和规律查找，帮助找到最优化的数据集，实现人员投入及控制过程的节能提效。 具有理想的工业大数据企业也许也要经历这样的过程，他们需要通过单个项目帮助企业完成内部的纵向集成，然后把解决方案产品化和平台化，进一步延展自己的核心竞争力。