大数据时代所需的三大技术
大数据的五大核心技术
大数据的五大核心技术21世纪，世界已经进入数据大爆炸的时代，大数据时代已经来临。
从商业公司内部的各种管理和运营数据，到个人移动终端与消费电子产品的社会化数据，再到互联网产生的海量信息数据等，每天世界上产生的信息量正在飞速增长。
2009年数据信息量达到8 000亿GB，而到2011年达到1.8 ZB。
图灵奖获得者Jim Gray提出的“新摩尔定律”：“每18个月全球新增信息量是计算机有史以来全部信息量的总和”，已经得到验证。
大数据的“大”不仅仅体现在数据的海量性，还在于其数据类型的复杂性。
随着报表、账单、影像、办公文档等在商业公司中得到普遍使用，互联网上视频、音乐、网络游戏不断发展，越来越多的非结构化数据进一步推动数字宇宙爆炸。
数据海量而复杂，这是对大数据的诠释。
与传统的数据相比，大数据具有规模性（Volume）、多样性（Variety）、高速性（Velocity）和低价值密度（Value）的4V特点。
规模性和高速性是数据处理一直以来研究和探讨的问题，多样性和价值密度低是当前数据处理发展中不断显现出来的问题，而且在可以预见的未来，随着智慧城市、智慧地球等各种新设想的不断成为现实，上面的4中问题将会变得更加凸显，而且是不得不面对的问题。
数据的产生经历了被动、主动和自动3个阶段。
大数据的迅猛发展是信息时代数字设备计算能力和部署数量指数增长的必然结果。
解决大数据研究中的问题，必须要从大数据的产生背景进行研究。
大数据的产生源于规模效应，这种规模效应给数据的存储、管理以及数据的分析带来了极大的挑战，数据管理方式上的变革正在酝酿和发生。
大数据的规模效应要求其存储、运算方案也应当从规模效应上进行考虑。
传统的单纯依靠单设备处理能力纵向发展的技术早已经不能满足大数据存储和处理需求。
以Google等为代表的一些大的数据处理公司通过横向的分布式文件存储、分布式数据处理和分布式的数据分析技术很好的解决了由于数据爆炸所产生的各种问题。
毕业致辞：马云演讲——未来10年,人类将面临AI、IoT和区块链等三大技术巨大挑战!
马云演讲——未来10年，人类将面临AI、IoT和区块链等三大技术巨大挑战!一、首先欢迎大家来到杭州，我的家乡。
1999年第一届科协年会在杭州召开，阿里巴巴也是1999年在杭州诞生，感恩，也特别感慨科技力量发展的迅猛，没有科技、没有技术就不可能有阿里巴巴。
我自己也这么觉得，阿里巴巴充分享受了科技发展红利。
今天大会邀请一个在科技边缘享受红利，同时对科学家充满敬仰的一个做企业的人来讲，我对大会的邀请充满着感恩。
二、小时候我从来没有想过当老师，是因为不想当，没有想过当科学家，是因为不敢当科学家，想都不敢去想。
今天我们有越来越多无比敬仰的科学家，但是科学家和企业家非常相像，在中国这两个群体是在过去一百年形成的两个具有社会极大影响力的群体，士农工商，商总排在最后，但科学家更惨，连排都排不进去。
古代的科学家都是隐藏在巫医、风水师和道士里面，从这一点来讲，企业家和科学家很相象，同病相怜。
很多人是因为看见而相信，只有很少一部分人是相信而看见，我想这也是很长时间企业家和科学家们不被理解的重大因素，因为我们相信相信。
过去一百年，正因为企业家和科学家两个群体的崛起，在社会各方面，在社会的进步方面出现了超乎寻常的进展和发展。
三、每次大的技术革命都需要五十年时间，前二十年是技术革命，后三十年是应用革命，互联网技术一样。
未来的三十年不是互联网公司多么成功，而是用好互联网公司的企业多么成功，未来三十年是互联网技术的应用时代，越是在快速发展的应用时代，越是要注重基础科学的研究，创新是逼出来的，不是资金和任务能够堆出来或者分配出来，资金和任务绝不可能堆出创新和科研成果。
我刚从以色列回来，以色列没有国内市场，也没有自然资源，但被逼出了独特的科学技术，搞出了研究。
中国有强大的市场，更应该有自己独特的研究项目。
而企业的利润未来一定来自于技术创新，而不是市场规模。
今天大家都在谈智能世界，智能世界主要有三个基础要素：互联网、大数据和云计算。
大学计算机—大数据思考与练习[1]
![大学计算机—大数据思考与练习[1]](https://img.taocdn.com/s3/m/dd8d7d321ed9ad51f11df215.png)
大数据思考与练习一、单选题1.当前大数据技术的基础是由（C ）首先提出的。
A.微软B.百度C.谷歌D.阿里巴巴2.大数据的起源是（C）。
A.金融B.电信C.互联网D.公共管理3.智能健康手环的应用开发，体现了（D）的数据采集技术的应用。
A.统计报表B.网络爬虫C.API接口D.传感器4.2012年，（ B）政府发布了《大数据研究和发展倡议》，标志着大数据已经成为重要的时代特征。
A.中国B.美国C.日本D.英国5.大数据的最显著特征是（ A）。
A.数据规模大B.数据类型多样C.数据处理速度快D.数据价值密度高6.下列关于大数据特点的说法中，错误的是（D ）。
A.数据规模大B.数据类型多样C.数据处理速度快D.数据价值密度高7.当前社会中，最为突出的大数据环境是（A ）。
A.互联网B.物联网C.综合国力D.自然资源8.医疗健康数据的基本情况不包括以下哪项？（A ）A.诊疗数据B.个人健康管理数据C.健康档案数据D.公共安全数据8.下列关于计算机存储容量单位的说法中，错误的是（D）。
A.1KB＜1MB＜1GBB.基本单位是字节（Byte）C.一个汉字需要一个字节的存储空间D.一个字节能够容纳一个英文字符9.在数据生命周期管理实践中，（B ）是执行方法。
A.数据存储和备份规范B.数据管理和维护C.数据价值发觉和利用D.数据应用开发和管理10.大数据时代，数据使用的关键是（D ）。
A.数据收集B.数据存储C.数据分析D.数据再利用11.大数据的本质是（C ）A.联系B.挖掘C.洞察D.搜集12.规模巨大且复杂，用现有的数据处理工具难以获取、整理、管理以及处理的数据，这指的是（A ）。
A.大数据B.贫数据C.富数据D.繁数据13.信息技术的发展非常快，表现在（A ）。
A.集成电路的规模每18到24个月翻一倍B.信息的存储能力每9个月翻一番C.信息的存储能力每9个月翻一番D.光通讯的速率和容量每年翻一番14.与大数据密切相关的技术是（B ）。
大数据时代空间信息与数字技术专业建设探讨
空间信息技术是20世纪60年代兴起的一门新兴技术，主要包括地理信息系统（GIS ）、遥感（RS ）和卫星定位系统（GNSS ）等的理论与技术，同时结合计算机技术和通信技术，实现空间数据的采集、量测、分析、存储、管理、显示、传播和应用。
此后，随着空间信息技术的快速发展，其在资源、环境、灾害应急、地理位置服务以及国民经济数字化建设中得到广泛应用，呈现出新的人才需求和学科增长点[1]。
2004年，武汉大学在全国首次开设“空间信息与数字技术”专业。
该专业以“3S ”技术为核心，旨在培养具有深厚软件工程理论基础和空间信息技术、通信技术、计算机网络技术，能够对资源环境、人文、社会、经济等各类信息进行数字化处理、网络化传输、可视化表达、智能化决策的专业技术人才[2]。
目前，国内已有武汉大学、中国地质大学（武汉）、云南师范大学等多所院校开设该专业，各校依托优势学科开展地理空间信息机理研究及应用，人才培养各具特色[3-4]。
1专业建设面临的挑战“空间信息与数字技术”专业作为一个新兴交叉专业，与计算机科学与技术、软件工程、地理信息科学和测绘工程专业均有交叉。
但计算机科学与技术、软件工程专业缺乏领域知识，实际应用能力不高；地理信息科学、测绘工程专业领域知识突出，但受信息技术水平所限，也难以在大数据浪潮中发挥作用。
尤其是近年来，随着大数据、云计算、物联网、移动收稿日期：2022-08-09。
项目来源：教育部产学合作协同育人资助项目（202102245028、202102102148）。
第一作者简介：袁磊（1977—），博士，副教授，主要从事地学时空数据挖掘、自然资源规划与配置工作，E-mail ：***************。
引文格式：袁磊,杨昆,罗毅,等.大数据时代空间信息与数字技术专业建设探讨[J].地理空间信息,2024,22(4):125-127.doi:10.3969/j.issn.1672-4623.2024.04.030Apr.,2024Vol.22,No.4地理空间信息GEOSPATIAL INFORMATION2024年4月第22卷第4期大数据时代空间信息与数字技术专业建设探讨袁磊1，杨昆1，罗毅1，王加胜1，朱彦辉1（1.云南师范大学地理学部，云南昆明650500）摘要：面对大数据时代“空间信息与数字技术”专业建设的挑战，如何适应经济社会发展的人才需求，培养兼具“信息技术”+“领域知识”的“空间信息与数字技术”专业的复合型人才，是该专业持续建设需要着重探讨的问题。
大数据时代所需的三大技术
大数据时代所需的三大技术在大数据时代，随着各行各业数据量的急剧增长，如何高效地管理、分析和应用这些海量数据成为了当前亟待解决的问题。
为了满足这一需求，大数据时代所需的三大技术应运而生。
本文将从数据存储技术、数据处理技术和数据安全技术三个方面进行探讨。
一、数据存储技术在大数据时代，数据存储是首要的问题。
传统的关系型数据库已经无法满足大规模数据的存储需求，因此出现了各种新型的数据存储技术，如分布式文件系统和NoSQL数据库。
分布式文件系统将数据分布到多个节点上，实现了数据的高可靠性和可扩展性。
NoSQL数据库采用非关系型的存储方式，具有高性能和高扩展性的优势。
此外，还有基于云计算的对象存储技术和列存储技术等新兴的数据存储技术，都为大数据时代的数据存储提供了多种选择。
二、数据处理技术大数据要发挥作用，还需要进行有效的数据处理。
传统的数据处理方式已经无法适应大数据的复杂性和高速性，因此需要引入新的数据处理技术。
其中，最重要的一项技术是分布式计算技术。
分布式计算将任务分解为多个子任务，并将其分配给多个计算节点进行处理，从而实现了任务的并行处理和加速。
常见的分布式计算框架有Hadoop和Spark等。
此外，还有基于图计算的技术用于处理复杂的图结构数据，实现图分析和挖掘。
三、数据安全技术随着大数据的广泛应用，数据安全问题越来越被重视。
在大数据时代，数据安全技术是保障数据安全的关键。
首先，数据加密技术能够将敏感数据进行加密，保护数据的隐私性。
其次，访问控制技术在数据使用和共享过程中起到了重要作用，能够限制和控制不同用户对数据的访问权限。
此外，还有数据脱敏技术用于隐藏敏感信息，数据备份和灾备技术用于保障数据的可靠性和可用性。
综上所述，大数据时代所需的三大技术包括数据存储技术、数据处理技术和数据安全技术。
这些技术的应用使得我们能够更好地管理和应用海量的数据资源，在大数据时代中不断探索和创新。
随着技术的不断进步和发展，相信大数据技术将为各个行业带来更多的机遇和挑战，推动社会进步与发展。
数据科学、数据工程、数据分析 知识体系构建和培训实践
数据科学、数据工程、数据分析知识体系构建和培训实践数据科学、数据工程和数据分析是当前大数据时代的核心技术，与各行业的发展密不可分。
因此，建立完善的数据科学知识体系、数据工程知识体系和数据分析知识体系，对于提高企业的数据分析水平、优化决策过程具有重要的意义。
知识体系构建数据科学是一个全面的概念，涉及数据处理、数据挖掘、机器学习、人工智能等多个方面。
因此，其知识体系也非常广泛，需要包括数学、统计学、计算机科学、领域知识等多个方面，才能够全面了解数据科学的实质。
具体而言，数据科学知识体系包括以下几个方面：1.数学：概率论、统计学、线性代数、微积分等基础数学知识2.计算机科学：计算机编程、数据结构和算法等基础知识3.数据挖掘和机器学习：聚类、分类、预测和回归等技术4.面向具体领域的应用：包括自然语言处理、计算机视觉、信号处理、生物信息学等方面数据工程的知识体系包括以下几个方面：1.数据采集：包括数据获取、数据爬取、数据清洗等方面2.数据存储：包括关系型数据库、非关系型数据库、数据仓库等方面3.数据处理：包括ETL、数据整合等方面4.数据分发：包括数据仓库、数据传输、数据共享等方面数据分析的知识体系包括以下几个方面：1.统计学基础知识：包括概率论、数理统计等方面2.计量经济学和运筹学基础知识3.数据可视化和报表的相关技术数据科学、数据工程和数据分析知识体系构建的关键在于全面、结构清晰，让学学员可以深入理解数据技术的全貌。
培训实践针对不同行业、不同人群的需求，我们可以在数据科学、数据工程和数据分析方面进行培训。
具体而言，培训的目标可以分为入门、中级和高级三大类。
1.提供最基本的数据科学、数据工程和数据分析知识，使学员了解相关基础知识，掌握相应的数据分析技能。
2.提供深入的数据科学、数据工程和数据分析知识，如机器学习技术、数据流处理技术、大数据技术和高级统计技术等。
3.提供前沿的数据科学、数据工程和数据分析知识，如深度学习、计算机视觉，采用现代化的人工智能方法等。
大数据处理的三大流程以及大数据的价值
大数据处理的三大流程以及大数据的价值在当今数字化的时代，数据已经成为了一种宝贵的资源，而大数据更是以其海量、多样和高速的特点，给我们的生活和工作带来了深刻的影响。
要想充分挖掘大数据的潜力，就需要了解大数据处理的流程以及其背后所蕴含的巨大价值。
一、大数据处理的三大流程（一）数据采集数据采集是大数据处理的第一步，也是至关重要的一步。
这就好比要烹饪一桌美味佳肴，首先得有新鲜的食材。
数据的来源非常广泛，包括互联网、传感器、移动设备、企业内部系统等等。
为了确保采集到的数据准确、完整和及时，需要使用各种技术和工具。
例如，网络爬虫可以从网页上抓取数据，传感器可以实时监测物理环境的数据，而应用程序接口（API）则可以让不同的系统之间实现数据的交换。
在采集数据的过程中，还需要考虑数据的格式和质量。
有些数据可能是结构化的，比如数据库中的表格；而有些则是半结构化或非结构化的，比如文本、图像和音频。
对于不同类型的数据，需要采用不同的采集方法和处理技术。
同时，为了保护用户隐私和数据安全，在数据采集过程中必须遵守相关的法律法规和道德规范。
不能随意采集和使用用户的敏感信息，比如个人身份信息、财务信息等。
（二）数据存储与管理当大量的数据被采集回来后，如何有效地存储和管理这些数据就成了一个关键问题。
这就像是有了一堆食材，需要有合适的仓库来存放它们，并且能够方便地找到和取用。
传统的关系型数据库在处理大规模数据时往往显得力不从心，因此出现了许多专门用于大数据存储和管理的技术和工具。
比如，分布式文件系统（如 Hadoop 的 HDFS）可以将数据分散存储在多个节点上，实现大规模数据的存储和并行处理。
NoSQL 数据库（如 MongoDB、Cassandra 等）则适用于处理非结构化和半结构化数据，具有高扩展性和灵活性。
在数据存储的同时，还需要进行数据管理。
这包括数据的清洗、转换和整合。
数据清洗是去除重复、错误和不完整的数据，以确保数据的质量。
云计算与大数据的关键技术及应用
云计算与大数据的关键技术及应用云计算被认为是继个人电脑、互联网之后电子信息技术领域又一次重大变革,其通过虚拟化有效地聚合各类资源,通过网络化按需供给资源,通过专业化提供丰富的应用服务,这种新型的计算资源组织、分配和使用模式,有利于合理配置计算资源并提高利用率、降低成本、促进节能减排,实现绿色计算;云计算发展的技术基础主要包括互联网、网络计算、虚拟化技术、服务计算,以及按需付费机制;其目的是为用户提供基于虚拟化技术的按需服务,提供形式主要分为基础设施即服务IaaS,平台即服务PaaS和软件即服务SaaS;依据底层基础设施提供者与使用者的所属关系,云计算平台可以分为公共云、私有云和混合云;对于大数据还没有一个正式的定义,目前最为普遍的定义就是“用传统方法或工具不能处理或分析的数据”;大数据具有大量、速度快和多样性三大特征,这些特征是传统数据处理方法和工具所无法胜任的;云计算关键技术主要包括四个方面：1.云平台服务优化管理技术;服务优化管理是提高云平台服务质量和平台性能的关键问题;其关键技术包括：云服务资源管理,研究物理机、虚拟机与虚拟集群的按需管理和分区隔离机制；云任务管理,研究云计算任务的分类、高效调度、负载平衡、功耗管理与容错等；云数据管理,研究大规模结构化、非结构化和多媒体数据的建模、组织、存储、操纵、检索、备份和保护以及数据服务技术；应用行为分析与系统测评,研究云计算负载刻画、云任务运行监控与云系统评测的度量方法和基准程序集合；云安全及隐私保护,研究支持不同用户的功能、性能和故障隔离,支持用户身份和用户数据的隐私保护,提供政府监督管接口等；2.云计算应用构建与集成技术;云计算应用构建与集成技术是为行为用户提供服务的关键;关键技术包括应用服务化、应用虚拟化、应用服务集成技术；3.云计算应用系统持续运行技术;为了支持企业的关键业务,云计算平台应用系统的持续运行是基本需求,因此需要研究云计算应用系统的持续运行技术,主要研究：云计算平台物理资源和虚拟化资源的动态监控技术、云计算平台服务监控技术、云计算应用和用户活动的监控技术；基于监控的故障评测、异常处理、容错及恢复机制,软件服务无缝迁移技术等；计算系统持续运行技术,研究云计算平台中虚拟机的出错迁移机制、虚拟化集群的容错机制、虚拟机安全机制等；4.云计算多模式客户端技术;网络时代的计算以数据、用户和服务为3大中心,云端共存、云端互动是未来计算架构发展趋势;云客户端既包括传统的PC机、笔记本,也包括手机、PDA、汽车移动终端和家电终端等智能移动设备;主要研究多种形态的云客户端接入技术、多模式客户端服务环境;面向云计算典型行业应用需求,需要研制多种形态,支持三网融合的轻量级云客户端接入技术,为用户提供简单易用的云计算服务；面向典型行业应用众多用户的个性化需求,研究多模式的客户端自适应云服务软件环境;大数据并非一项技术,其前身是商务智能BI;大数据是一系列信息技术的集合,包括数据采集、数据管理、计算处理、数据分析和数据展现5个关键技术环节;其中,数据管理、计算处理和数据分析3个环节的变革较大;数据采集主要是从本地数据库、互联网、物联网等数据源导入数据,包括数据的提取、转换和加载;由于数据源不一样,数据采集的技术体系也不尽相同;其面临的挑战主要来自两方面,一是如何自动实现对接收的海量数据按照特定策略进行过滤,从而大幅度降低后续存储和处理的压力；二是如何自动生成元数据,准确描述数据出处,获得途径和环境等背景信息,并且将企业内部的数据与互联网的元数据相关联,进行多维元数据分析;不同行业对于元数据的录制要求不尽相同;大数据对存储管理技术的挑战主要在于扩展性;首先是容量上的扩展,要求底层存储架构和文件系统以低沉本的方式及时按需扩展存储空间;传统的NAS、SAN 等存储架构下,存储和计算分离,进行数据计算时I/O容易成为瓶颈,文件系统也存在吞吐量和可扩展性差的问题;新的以谷歌GFS和Hadoop HDFS为代表的系统中,普遍采用了分布式的存储架构,使得计算和存储节点合一,消除了I/O瓶颈,文件系统也采用分布式并行设计;但GFS/HDFS主要针对大文件的追加Append写入和读取进行了优化;下一步的重点是突破GFS/HDFS在写操作、小文件存取等方面的性能瓶颈,设计新的文件系统;其次是数据格式可扩展,满足各种非结构化数据的管理需求;对大数据进行分析处理要消耗大量的计算资源,这对计算的速度和成本都提出了更高要求;采用并行计算是应对大计算量的普遍做法;但传统的并行计算系统,一般由专用的性能强大的硬件构成,造价昂贵,若想提高系统性能,需要采取纵向扩展Scale Up的方式,即通过提升单机CPU性能、增加内存、扩展磁盘等达到性能提升;这种扩展容易达到瓶颈,难以支撑持续的计算能力扩展,而且成本很高;总结起来,下一步大数据计算技术的主要方向将集中在研发实时性高的大规模并行处理技术上,以支撑超大规模机器学习、超大规模流量计算等实时分析需求;当前大数据分析技术面临的挑战,一方面是要对结构化和半结构化数据开展深度分析,另一方面是要开发非结构化数据的宝藏,从而将海量复杂多源的数据转化为有用的知识;数据展现主要是如何以更直观和互动的方式展示分析结果,便于人们理解;大数据的分析系统必须提供数据来源、分析过程、查询机制等一系列信息,并以可视化的方式呈现出来;目前,可视化技术多与Web技术相结合,以图形或图像的格式呈现,比如SVG一系列的绘图技术和最新的 HTML5 的画布<canvas>等;未来三维动态呈现是趋势;大数据与云计算相结合所释放出的巨大能力,几乎将波及到所有的行业,而信息、互联网和通信产业将首当其冲;特别是通信业,在传统话音业务低值化、增值业务互联网化的趋势中,大数据与云计算有望成为其加速转型的动力和途径,将在五大领域带来新的机会;1．提高网络服务质量;随着互联网和移动互联网的发展,运营商的网络将会更加繁忙,用于监测网络状态的信令数据也会快速增长;通过大数据的海量分布式存储技术,可以更好地满足存储需求；通过智能分析技术,能够提高网络维护的实时性,预测网络流量峰值,预警异常流量,有效防止网络堵塞和宕机,为网络改造、优化提供参考,从而提高网络服务质量,提升用户体验;2．更加精准的客户洞察客户洞察是指在企业或部门层面对客户数据的全面掌握并在市场营销、客户联系等环节的有效应用;通过使用大数据分析、数据挖掘等工具和方法,电信运营商能够整合来自市场部门、销售部门、服务部门的数据,从各种不同的角度全面了解自己的客户,对客户形象进行精准刻画,以寻找目标客户,制定有针对性的营销计划、产品组合或商业决策,提升客户价值;判断客户对企业产品、服务的感知,有针对性的进行改进和完善;通过情感分析、语义分析等技术,可以针对客户的喜好、情绪,进行个性化的业务推荐;3．提升行业信息化服务水平智慧城市的发展以及教育、医疗、交通、环境保护等关系到国计民生的行业,都具有极大的信息化需求;目前,电信运营商针对智慧城市及行业信息化服务虽然能够提供一揽子解决方案,但主要还是提供终端和通信管道,行业应用软件和系统集成尚需要整合外部的应用软件提供商,对于用户的价值主要体现在网络化、自动化等较低水平;而随着社会、经济的发展,用户及用户的用户对于智能化的要求将逐步强烈,因此运营商如能把大数据技术整合到行业信息化方案中,帮助用户通过数据采集、存储和分析更好地进行决策,将能极大提升论文集宽带中国战略与创新学术研讨会信息化服务的价值;4．基于云的数据分析服务大数据和云计算相结合,使得数据分析也可以作为一种服务进行提供;电信运营商目前的云计算服务,主要还是以提供数据中心等资源为主;下一步,电信运营商可以在数据中心的基础上,搭建大数据分析平台,通过自己采集、第三方提供等方式汇聚数据,并对数据进行分析,为相关企业提供分析报告;5．保障数据安全大数据也有大风险,其中之一就是用户隐私泄露及数据安全风险;由于大量的数据产生、存储和分析,数据保密和隐私问题将在未来几年内成为一个更大的问题,企业必须尽快开始研究新的数据保护措施;而电信运营商在网络安全、数据中心安全等方面具有优势,如能以此为基础,建立整个大数据领域的安全保障优势,必将从大数据的发展中获益匪浅;云计算大数据时代的到来使得全社会日益成为一个整体,在这一体系中个人隐私的保护已经成为社会信用体系建设的重要基础;我们在鼓励创新和进步的同时必须清醒地看到,无论美国还是任何国家对云计算大数据的使用和公开都是有选择、有目的的,不是无原则地开放,这不仅是受到法律和规则的限制,也与一个国家的整体发展规划和全球战略密切相关;我们在保护个人隐私方面所做的努力不仅是对每个社会成员的保护,更是对国家安全和社会长期持续健康发展的保护;。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
大数据时代企业所需的三大技术
作为IT领域的关键词，“大数据”不断被大书特书，对其分析利用也备受关注。
另一方面，靠IT技术、现有的组织和人才技能解决不了的难题也渐渐浮出水面。
这就需要“分析数据及其与业务相结合的技术”。
本文总结了将数据分析应用到业务中所需的技术，以及怎样在企业中实现有效的信息应用。
同时，还列举了日本国内外的先进事例。
三大技术
下面，我们来看一下大数据时代企业所需的技术有哪些？
业务技能
这里的业务技能不是指提高业绩的能力，而是指将业务过程标准化、掌握各个过程中哪些信息需要输入、记录等能力。
以经营活动为例。
通常，将一些促销活动的问卷调查中有望成为真实客户的顾客信息录入CRM(顾客管理系统)系统，销售负责人在此信息的基础上开展营销，顾客感兴趣的产品、服务等将作为数据输入CRM系统。
接下来，如果顾客购买了产品，在结算系统输入结算信息，如果是货物的话在物流系统输入、生成物流信息。
像这样，掌握数据是在哪一过程中、什么活动中生成的非常重要。
此外，哪一过程、或者在哪一过程生成的数据会对业务的结果产生较大影响等，与其感性估计，不如对相关数据进行分析、形成模式化。
例如，与顾客的年龄、性别相比，从事哪种职业对购买概率的影响更大等。
数学技能(模式化、样本化)
其次是分析数据所需的数学技能。
此前，说到分析业务数据的技能的话，都是些求合计、平均值和标准差等简单的统计学知识，但以后，通过分析数据研究出业务的规律性，形成“模式化”、“样本化”技术非常必要。
这在科学界是一种常见手法。
例如，理想气体状态方程“PV=nRT”，就是将气体的状态用模式化的公式表现出来。
同样，在业界，也需要将商业活动的状态形成公式化的分析技术。
例如，连锁超市可以根据店铺的位置，计算出各种条件下(销售业绩、天气、气温、星期几等)的客流量和每种商品的销售额，找出规律，就可以做出更适当的调整，也能减少亏损、改善盈利。
IT技术
IT技术也不可或缺。
首先，就是与数据库相关的技术。
需要分析的数据保存在哪儿、AGE和JOB 等数据库中涉及到的项目怎样与实际业务术语相结合等，现在都可以通过IT手段来实现。
但是，目前大多数企业面临着业务之间的业务术语不统一、数据库零散不成规模等问题，仍然还有很多要依靠人来解决的东西。
今后，通过IT技术解答公式的能力将越来越重要。
例如，假设商品的销售额与顾客年龄的关系，用公式“销售额=a×年龄”来表述，系数a就可以通过IT技术求出。
这是非常简单的线性回归问题，数据量小的话就可以用Excel等电子表格软件求出a。
此外，也可以用SPSS和R等专业统计分析软件。
更复杂的情况，就需要创建一个程序来求系数，拥有此项技术的IT工程师就可以说是珍宝了！
保证人才很重要
介绍了以上三种技术，但遗憾的是，日本企业里并不存在拥有以上全部技术的超人。
那么，如何培养拥有这些技术的人才呢？
无论哪一种技术都是很专业的，都不是一朝一夕就能掌握的。
但其实，掌握着业务技术的人就在各个业务部门，掌握IT技术的人才就在信息系统部门。
看上去很难的数学知识，对理科系的研究生来说往往并不算什么。
物理、化学等领域中，也不乏将自然科学公式化、并研究怎样才能得出精确度更高的公式的人，而这其中有很多有经验的人才，将自然科学应用到业务活动中并非不可能。
将这些人才从各个部门集中到一起，组成进行数据分析的专业小组，不是现在立刻就可以开始做的事情吗？然后，将小组置于经营企划和业务企划等制定企业发展战略的部门，成为支持企业竞争优势的关键力量。
从小事做起
掌握数学知识可能比较难，但应用软件解答课题并不是解答数学难题。
大家手边所有的电子表格软件，就能进行简单的回归分析，也有很多更高级的分析软件，可以帮你解决更复杂的问题，这些弥补了数学知识的不足。
实际上，已经有在分析技术上进行投资并获得成功的企业。
丹麦Vestas Wind Systems，是从事风力发电机设计、制造、销售的公司，它将大数据分析运用于业务中，通过持续地、公司全体有组织的工作收获了成功。
在组织化的基础上增加持续性，可以更有效地运用分析。
在日本，也有几位IT工程师将大数据分析做成项目并不断取得成果。
在这个过程中，与分析相关的数学知识的不足部分有像IBM一样的数学解析团队和大数据分析软件供应商的支持，弥补了之前所说的三大技术的不足，成功取得了成果。
同时，也有企业成立了100人以上的专业分析团队。
集齐IT和业务双方的人才成立分析团队，通过实际操作重复着“试验--错误”的过程。
经过这一过程，企业不断得到小小的成功体验，分析水平也逐渐提高。
而企业应该最先着手的就是培养拥有必要知识技术的人才。
目前，这种涌现大量且多样信息的业务环境中，无论哪个企业都有分析需求。
而熟练应用最新的IT 工具、具备更好的洞察力将成为拉开企业之间差距的关键。
本文总结了要把数据分析应用到业务中所必需的知识和组织，以大数据的盛行为契机，重新审视数据分析的企业并不少。
即使不能全公司大规模的进行，也应该尽快从可以做的地方着手，从小事做起是关键。
译自：2012年4月12日【日本】ITmedia。