大数据分析—安全(课堂PPT)
合集下载
大数据分析PPT(共 73张)
' LOGO '
COMPANY LOGOTYPE INSERT
Value 价值
• 挖掘大数据的价值类似沙里淘金,从海量数据中挖掘稀疏但珍贵的信息. • 价值密度低,是大数据的一个典型特征.
' LOGO '
COMPANY LOGOTYPE INSERT
• 2010年海地地震，海地人散落在全国各地，援助人员为 弄清该去哪里援助手忙脚乱。传统上，他们只能通过飞往 灾区上空来查找需要援助的人群。
数据量增加
数据结构日趋复杂
大量新数据源的出现则导致了非结构化、 半结构化数据爆发式的增长
根据IDC 监测，人类产生的数据量正在呈指数级 增长，大约每两年翻一番，这个速度在2020 年之 前会继续保持下去。这意味着人类在最近两年产生 的数据量相当于之前产生的全部数据量。
TB
PB
EB
ZB
' LOGO '
• 一些研究人员采取了一种不同的做法：他们开始跟踪
海地人所持手机内部的SIM卡，由此判断出手机持有人所
处的位置和行动方向。正如一份联合国(UN)报告所述，此
举帮助他们“准确地分析出了逾60万名海地人逃离太子港
之后的目的地。”后来，当海地爆发霍乱疫情时，同一批
研究人员再次通过追踪SIM卡把药品投放到正确的地点，
这些消息足够一个人昼夜不息的浏览16 年…
每天亚马逊上将产生 6.3 百万笔订单…
每个月网民在Facebook 上要花费7 千亿分钟，被移动互联
网使用者发送和接收的数据高达1.3EB…
Google 上每天需要处理24PB 的数据…
' LOGO '
COMPANY LOGOTYPE INSERT
大数据安全及隐私 ppt课件
⑤ 大数据滥用的风险：一方面，大数据本身的安全防护存 在漏洞，安全控制力度不够。另一方面攻击者利用大数 据技术进行攻击，最大限度地收集更多用户敏感信息。
⑥ 大数据误用风险：大数据的准确性和数据质量不高，对 其进行分析和使用可能产生无效的结果，从而导致错误 的决策。
ppt课件
14
传统数据安全的不足
④ 匿名的隐私权：匿名权利的适度许可，可以鼓励个人的参 与感，并保护其自由创造力空间，真知直谏推动社会的整 体进步。
ppt课件
24
隐私保护
• 隐私保护（Privacy Preserving）：是对个人隐私采取一 系列的安全手段防止其泄露和被滥用的行为。
• 隐私保护面临的威胁
① 数据搜集：Internet服务提供商在搜集、下载、集中、整 理和利用用户个人隐私资料极为方便。
ppt课件
19
4、发布环节安全技术
•发布是指大数据在经过挖据分析后，向数据应用实体输出 挖掘结果数据的环节，即数据“出门”环节，必须对即将输 出的数据进行全面的审查，确保输出的数据符合“不泄密、 无隐私、不超限、合规约”等要求。
•安全威胁：泄密、泄露隐私、不合规范。
•安全机制：
①安全审计：基于日志的、基于网络监听的、基于网关的、 基于代理的
① 个人属性的隐私权：譬如姓名、身份、肖像、声音等，直 接涉及个人领域的第一层次，是保护的首要对象。
② 个人资料的隐私权：譬如消费习惯、病历、犯罪前科等记 录，若其涉及的客体为一个人，则这种资料含有高度的个 人特性而常能辨识该个人的本体，即“间接”的个人属性， 也应以隐私权加以保护。
③ 通信内容的隐私权：通信内容包含个人的思想与情感，原 本存于内心，别人不可能知道，因而应以隐私权保护，以 保护个人人格的完整发展。
⑥ 大数据误用风险：大数据的准确性和数据质量不高，对 其进行分析和使用可能产生无效的结果，从而导致错误 的决策。
ppt课件
14
传统数据安全的不足
④ 匿名的隐私权：匿名权利的适度许可，可以鼓励个人的参 与感，并保护其自由创造力空间，真知直谏推动社会的整 体进步。
ppt课件
24
隐私保护
• 隐私保护（Privacy Preserving）：是对个人隐私采取一 系列的安全手段防止其泄露和被滥用的行为。
• 隐私保护面临的威胁
① 数据搜集：Internet服务提供商在搜集、下载、集中、整 理和利用用户个人隐私资料极为方便。
ppt课件
19
4、发布环节安全技术
•发布是指大数据在经过挖据分析后，向数据应用实体输出 挖掘结果数据的环节，即数据“出门”环节，必须对即将输 出的数据进行全面的审查，确保输出的数据符合“不泄密、 无隐私、不超限、合规约”等要求。
•安全威胁：泄密、泄露隐私、不合规范。
•安全机制：
①安全审计：基于日志的、基于网络监听的、基于网关的、 基于代理的
① 个人属性的隐私权：譬如姓名、身份、肖像、声音等，直 接涉及个人领域的第一层次，是保护的首要对象。
② 个人资料的隐私权：譬如消费习惯、病历、犯罪前科等记 录，若其涉及的客体为一个人，则这种资料含有高度的个 人特性而常能辨识该个人的本体，即“间接”的个人属性， 也应以隐私权加以保护。
③ 通信内容的隐私权：通信内容包含个人的思想与情感，原 本存于内心，别人不可能知道，因而应以隐私权保护，以 保护个人人格的完整发展。
大数据与云计算安全精品PPT课件
大数据时代面临的信息安全挑战
❖随着海量数据的进一步集中和信息技术的 进一步发展，信息安全成为大数据快速发 展的瓶颈。大数据信息安全主要体现在以 下几个方面（？？）
处理系统、过程的安全，重点关注系统安全、 网络安全（与垃圾处理相似），垃圾处理链不 安全，因此从系统工程考虑。
❖2014年2月12日，美国国家标准与技术研究 所针对《增强关键基础设施网络安全》， 提出了《美国增强关键基础设施网络安全 框架》（V1.0），强调利用业务驱动指导 网络安全行动，并考虑网络安全风险作为 组织风险管理进程的一部分。
三是窃取保密信息看不懂
对重要信息采取加密等手段进行保护，非法用 户只能拿到重要信息的密文，而无法看到文件 内容。
四是系统和信息篡改不了
实行系统资源管理，对操作活动进行可信验证 ，强化信息防篡改和自动纠错功能，使木马种 不上，病毒染不了。
五是系统工作瘫不成
从网络通信、区域边界、计算环境，进行层层 访问控制；有效分解攻击信息流，提高系统的 强壮性和弹性。定期进行系统安全脆弱点评估 ，及时发现安全隐患；开发可恢复系统，实现 系统自动恢复。
中国云计算大数据安全大会
新型信息技术应用的信息安全保障
❖主要内容：
大数据的基本概念 大数据时代面临的信息安全挑战 大数据时代的信息安全保障
大数据的概念
❖ 一般来讲，大数据是指“无法用现有的软件工具提取、存 储、搜索、共享、分析和处理的海量的、复杂的数据集合 ”
❖ 维基百科将大数据定义为那些无法在一定时间内使用常规 数据库管理工具对其内容进行抓取、管理和处理的数据集 。
构建大数据纵深防御体系
❖ 一是要加强大数据、环境、系统整体防护，建设 多重防护、多层互联体系结构，确保大数据处理 环境可信；
数据安全培训课件PPT
数据恢复流程
数据恢复流程包括备份数据的验证、数据损坏程度的评估以及数 据恢复的实施等步骤。
PART 04
数据安全管理制度
数据分类与分级
总结词
明确数据分类与分级的原则和标准，确保数据的机密性、完整性和可用性。
详细描述
根据数据的敏感程度和重要性，将数据分为不同的类别和级别，如公开、内部 、机密和高度机密等。针对不同类别的数据，制定相应的管理和保护措施，确 保数据的保密性、完整性和可用性。
网络犯罪行为
详细描述
勒索软件攻击是一种常见的网络犯罪行为，攻击者利用恶意软件感染目标系统，对数据进行加密并索 取赎金以解密数据。这种攻击通常会导致数据丢失和业务中断，给组织带来巨大的经济损失和声誉风 险。
案例二：数据泄露事件
总结词
非授权访问
VS
详细描述
数据泄露事件通常是由于非授权访问敏感 数据导致的。攻击者可能利用漏洞、恶意 软件或社会工程手段获取敏感数据的访问 权限，导致数据泄露和滥用。这种事件可 能涉及个人隐私、财务信息、商业机密等 敏感信息，给组织和个人带来严重后果。
PART
01
数据安全概述
Hale Waihona Puke 数据安全的定义定义
数据安全是指通过采取必要的 管理和技术措施，确保数据的 保密性、完整性、可用性得到
有效保障。
保密性
确保数据不被未经授权的人员 获取。
完整性
确保数据在传输和存储过程中 不被篡改或损坏。
可用性
确保授权用户需要时可以访问 和使用数据。
数据安全的重要性
01
02
培训和教育的方式
线上培训课程
利用在线学习平台，为员工提供数据安全相关的 课程，方便员工随时随地学习。
数据恢复流程包括备份数据的验证、数据损坏程度的评估以及数 据恢复的实施等步骤。
PART 04
数据安全管理制度
数据分类与分级
总结词
明确数据分类与分级的原则和标准，确保数据的机密性、完整性和可用性。
详细描述
根据数据的敏感程度和重要性，将数据分为不同的类别和级别，如公开、内部 、机密和高度机密等。针对不同类别的数据，制定相应的管理和保护措施，确 保数据的保密性、完整性和可用性。
网络犯罪行为
详细描述
勒索软件攻击是一种常见的网络犯罪行为，攻击者利用恶意软件感染目标系统，对数据进行加密并索 取赎金以解密数据。这种攻击通常会导致数据丢失和业务中断，给组织带来巨大的经济损失和声誉风 险。
案例二：数据泄露事件
总结词
非授权访问
VS
详细描述
数据泄露事件通常是由于非授权访问敏感 数据导致的。攻击者可能利用漏洞、恶意 软件或社会工程手段获取敏感数据的访问 权限，导致数据泄露和滥用。这种事件可 能涉及个人隐私、财务信息、商业机密等 敏感信息，给组织和个人带来严重后果。
PART
01
数据安全概述
Hale Waihona Puke 数据安全的定义定义
数据安全是指通过采取必要的 管理和技术措施，确保数据的 保密性、完整性、可用性得到
有效保障。
保密性
确保数据不被未经授权的人员 获取。
完整性
确保数据在传输和存储过程中 不被篡改或损坏。
可用性
确保授权用户需要时可以访问 和使用数据。
数据安全的重要性
01
02
培训和教育的方式
线上培训课程
利用在线学习平台，为员工提供数据安全相关的 课程，方便员工随时随地学习。
大数据分析—安全ppt课件
1 PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes 1 EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes
可编辑课件PPT
1 ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes
海量交互数据：
源于Facebook、Twitter、LinkedIn及其他来源的社交 媒体数据构成。它包括了呼叫详细记录CDR、设备和传 感器信息、GPS和地理定位映射数据、通过管理文件传 输Manage File Transfer协议传送的海量图像文件、 Web文本和点击流数据、科学信息、电子邮件等等。可 以告诉我们未来会发生什么。
数据量在爆炸式增长—— 近两年所产生的数据量相 当于2010年以前整个人类 文明产生的数据量总和3
大数据的4V特征
Volume
Variety
Velocity
Value
“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是 “大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。
想驾驭这庞大的数据，我们必
1Byte = 8 Bit 1 KB = 1,024 Bytes
须了解大数据的特征。
1 MB = 1,024 KB = 1,048,576 Bytes
1 GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes
1 TB = 1,024 GB = 1,048,576 MB = 1,073,741,824 KB = 1,099,511,627,776 Bytes
大数据安全问题ppt
01 02 03 04
BIG DATA
大数据（BIG DATA）
指无法在一定时间范围内用常规软件工具进行捕 捉、管理和处理的数据集合，是需要新处理模式才 能具有更强的决策力、洞察发现力和流程优化能力 的海量、高增长率和多样化的信息资产。
大数据定义
对于“大数据”（Big data）研究机构Gartner给
策。
革命
大数据分析能力逐渐加强，传 统市场研究行业、产业链咨询
机构将逐渐消失。
改变
因大数据系统的出现，所有依 赖信息不对称盈利的业务都将 消失。
颠覆
银行都将基于企业大数据平台 开展银行直销业务，按照产业 链金融服务事业部模式开展业 务
大数据的应用领域
教育学 天文学 金融学
情报学 电子政务 生活娱乐
科学理论的突破：随着大数据的快速发展，
就像计算机和互联网一样，大数据很有可能是 新一轮的技术革命。随之兴起的数据挖掘、机 器学习和人工智能等相关技术，可能会改变数 据世界里的很多算法和基础理论，实现科学技 术上的突破。
借助大数据
尖端分析加速发展
• 如果正确的数据出现在合适的时间，您的业务将有望获得什么机会？如何更有效率地运营您的业务？通过数据分析 获得变革的潜力与直观理解影响着医疗、银行、交通运输、制造等各行各业。
人工
“人工”比较好理解，争议性也不大。 有时我们会要考虑什么是人力所能及 制造的，或者人自身的智能程度有没 有高到可以创造人工智能的地步，等 等。但总的来说，“人工系统”就是 通常意义下的人工系统。
人工 智能
智能
关于什么是“智能”，就问题多多 了。这涉及到其它诸如意识 （CONSCIOUSNESS）、自我 （SELF）、思维（MIND）（包括无 意识的思维 （UNCONSCIOUS_MIND））等等问 题。人唯一了解的智能是人本身的智 能，这是普遍认同的观点。
BIG DATA
大数据（BIG DATA）
指无法在一定时间范围内用常规软件工具进行捕 捉、管理和处理的数据集合，是需要新处理模式才 能具有更强的决策力、洞察发现力和流程优化能力 的海量、高增长率和多样化的信息资产。
大数据定义
对于“大数据”（Big data）研究机构Gartner给
策。
革命
大数据分析能力逐渐加强，传 统市场研究行业、产业链咨询
机构将逐渐消失。
改变
因大数据系统的出现，所有依 赖信息不对称盈利的业务都将 消失。
颠覆
银行都将基于企业大数据平台 开展银行直销业务，按照产业 链金融服务事业部模式开展业 务
大数据的应用领域
教育学 天文学 金融学
情报学 电子政务 生活娱乐
科学理论的突破：随着大数据的快速发展，
就像计算机和互联网一样，大数据很有可能是 新一轮的技术革命。随之兴起的数据挖掘、机 器学习和人工智能等相关技术，可能会改变数 据世界里的很多算法和基础理论，实现科学技 术上的突破。
借助大数据
尖端分析加速发展
• 如果正确的数据出现在合适的时间，您的业务将有望获得什么机会？如何更有效率地运营您的业务？通过数据分析 获得变革的潜力与直观理解影响着医疗、银行、交通运输、制造等各行各业。
人工
“人工”比较好理解，争议性也不大。 有时我们会要考虑什么是人力所能及 制造的，或者人自身的智能程度有没 有高到可以创造人工智能的地步，等 等。但总的来说，“人工系统”就是 通常意义下的人工系统。
人工 智能
智能
关于什么是“智能”，就问题多多 了。这涉及到其它诸如意识 （CONSCIOUSNESS）、自我 （SELF）、思维（MIND）（包括无 意识的思维 （UNCONSCIOUS_MIND））等等问 题。人唯一了解的智能是人本身的智 能，这是普遍认同的观点。
大数据分析讲稿ppt教案
一致性
不同来源的数据是否 能够相互匹配和验证 。
03 大数据分析技术
CHAPTER
数据预处理
01
02
03
数据清洗
去除重复、异常、缺失数 据，确保数据质量。
数据转换
将数据从一种格式或结构 转换为另一种格式或结构 ，以便于分析。
数据集成
将多个数据源的数据整合 到一个统一的数据仓库中 。
数据分析方法
特点
大数据分析具有数据量大、处理速度 快、数据类型多样等特点，能够为企 业提供更精准、全面的数据分析结果 ，帮助企业做出更好的决策。
大数据分析的重要性
提高决策效率
大数据分析能够快速处理大量数 据，为企业提供及时、准确的分 析结果，从而提高决策效率和准
确性。
发现潜在机会
通过对数据的深入挖掘和分析，企 业可以发现隐藏在数据中的机会和 趋势，从而制定更具针对性的市场 策略。
大数据伦理、法律与社会责任
总结词
大数据的伦理、法律和社会责任是大数 据发展中不可忽视的重要问题。
VS
详细描述
随着大数据技术的广泛应用，数据隐私、 信息安全、算法公正等问题也日益凸显。 因此，在大数据的发展过程中，需要关注 和解决这些伦理、法律和社会责任问题。 例如，加强数据隐私保护、建立数据安全 标准、推动算法公正等，以确保大数据技 术的健康发展。
以更好地了解客户需求，提高客户满意度和忠诚度，降低营销成本。
03
精准营销工具
精准营销工具包括用户画像、推荐系统、A/B测试等，可以帮助企业实
现个性化推荐、优化广告投放等。
风险管理与控制
风险管理概述
风险管理工具
风险管理是指对企业面临的各种风险 进行识别、评估、控制和监控的过程 。
大数据的分析课件ppt
THANK YOU
感谢观看
总结词
通过大数据分析，深入了解用户在电商平台上的行为模 式和偏好，优化产品推荐和营销策略。
详细描述
收集用户在电商平台上的浏览、搜索、购买、评价等数 据，运用数据分析工具进行挖掘和分析。识别用户的购 买习惯、兴趣爱好和消费趋势，为产品开发和营销提供 有力支持。
社交媒体情绪分析
总结词
利用大数据分析社交媒体上的文本、图片和视频，了 解公众的情绪和态度，为企业决策提供依据。
预测性分析
预测模型建立
利用回归分析、时间序列分析、机器学习等技术，建 立数据预测模型，对未来数据进行预测。
模型评估与优化
通过交叉验证、调整参数等方法，评估模型的预测精 度和稳定性，并进行优化和改进。
预测结果解读
对预测结果进行解释和说明，帮助用户理解预测的意 义和价值。
规范性分析
01
数据关联分析
通过关联规则挖掘、相关性分析 等技术，发现数据之间的关联和 规律，为决策提供支持。
数据清洗
在数据存储之前，需要对数据进行清洗，去除重 复、错误或不完整的数据。
数据整合
将来自不同数据源的数据进行整合，以便进行更 全面的分析。
数据分析
利用统计分析、机器学习等技术对大数据进行深 入分析，以揭示数据中的模式和趋势。
数据可视化
数据可视化是将大数据以图形、图表 等形式呈现出来，以便更好地理解和 解释数据。
数据泄露风险
大数据的收集和处理涉及到大量的个人隐私信息，需要采取有效 的安全措施，防止数据泄露和滥用。
访问控制和权限管理
建立完善的访问控制和权限管理制度，对数据进行分级管理，确 保只有经过授权的人员能够访问相关数据。
加密与脱敏技术
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4
ቤተ መጻሕፍቲ ባይዱ
大数据包括： 交易数据和交互数据 集在内的所有数据集
大数据的构成
大数据 = 海量数据 + 复杂类型的数据
海量交易数据： 企业内部的经营交易信息主要包括联机交易数据和联机 分析数据，是结构化的、通过关系数据库进行管理和访 问的静态、历史数据。通过这些数据，我们能了解过去 发生了什么。
海量交互数据： 源于Facebook、Twitter、LinkedIn及其他来源的社交 媒体数据构成。它包括了呼叫详细记录CDR、设备和传 感器信息、GPS和地理定位映射数据、通过管理文件传 输Manage File Transfer协议传送的海量图像文件、 Web文本和点击流数据、科学信息、电子邮件等等。可 以告诉我们未来会发生什么。
想驾驭这庞大的数据，我们必
1Byte = 8 Bit 1 KB = 1,024 Bytes
须了解大数据的特征。
1 MB = 1,024 KB = 1,048,576 Bytes
1 GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes
1 TB = 1,024 GB = 1,048,576 MB = 1,073,741,824 KB = 1,099,511,627,776 Bytes
1
大数据时代的背景
“大数据”的诞生：
半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始 引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信 息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念。如今，这个概念几乎应 用到了所有人类智力与发展的领域中。
数据量在爆炸式增长—— 近两年所产生的数据量相 当于2010年以前整个人类 文明产生的数据量总和3
大数据的4V特征
Volume
Variety
Velocity
Value
“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是 “大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。
海量数据处理： 大数据的涌现已经催生出了设计用于数据密集型处理的 架构。例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。
5
4、大数据的应用——精准营销
• 通过用户行为分析实现精准营销是大数据的典 型应用
• 智能电网现在欧洲已经做到了终端，也就是所谓的智 能电表。在德国，为了鼓励利用太阳能，会在家庭安 装太阳能，除了卖电给你，当你的太阳能有多余电的 时候还可以买回来。通过电网收集每隔五分钟或十分 钟收集一次数据，收集来的这些数据可以用来预测客 户的用电习惯等，从而推断出在未来2~3个月时间里， 整个电网大概需要多少电。有了这个预测后，就可以 向发电或者供电企业购买一定数量的电。因为电有点 像期货一样，如果提前买就会比较便宜，买现货就比 较贵。通过这个预测后，可以降低采购成本。
6
大数据应用案例之：通信行业
• 电信业者透过数以千万计的客户资料，能分析出 多种使用者行为和趋势，卖给需要的企业，这是 全新的资料经济。
• NTT docomo把手机位置信息和互联网上的信息 结合起来，为顾客提供附近的餐饮店信息，接近 末班车时间时，提供末班车信息服务。
7
大数据应用案例之：零售业
Your E-Book Is Reading You
9
谷歌如何“嗅”出疫情讯号？
借助大数据，更好地监测医药效 果和预测大规模疾病趋势
• “谷歌流感趋势”便是谷歌2008年推出，用于预警流感的即时网络服务。该 系统根据对流感相关关键词搜索进行数据挖掘和分析，创建对应的流感图表 和地图，目前可预测全球超过25个国家的流感趋势。
2
大数据时代的爆炸增长
地球上至今总共的数据量：
TB
PB
EBZ B
GB
1PB = 2^50字节 1EB = 2^60字节 1ZB = 2^70字节
在2006 年，个人用户才刚刚迈进TB时代，全球 一共新产生了约180EB的数据；
在2011 年，这个数字达到了1.8ZB。
而有市场研究机构预测： 到2020 年，整个世界的数据总量将会增长44 倍， 达到35.2ZB（1ZB=10 亿TB）！
10
候鸟迁徙与禽流感病毒之间不可切 割的联系
疫情严重的地区与候鸟迁徙路线之间也有重叠情况。譬如，
“谷歌流感趋势”中疫情呈“橘红色”预警状态的俄罗斯， 全球8条候鸟迁徙路线就有5条穿过它
1 PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes
1 EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes
1 ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes
…
facebook 社交网络
电子商务
淘宝、 ebuy
…
…
微博、 Apps
移动互联
21世纪是数据信息大发展的时代， 移动互联、社交网络、电子商务等极大拓 展了互联网的边界和应用范围，各种数据 正在迅速膨胀并变大。
互联网（社交、搜索、电商）、移动互联 网（微博）、物联网（传感器，智慧地 球）、车联网、GPS、医学影像、安全监 控、金融（银行、股市、保险）、电信 （通话、短信）都在疯狂产生着数据。
• 零售企业也监控客户的店内 走动情况以及与商品的互动。 它们将这些数据与交易记录 相结合来展开分析，从而在 销售哪些商品、如何摆放货 品以及何时调整售价上给出 意见，此类方法已经帮助某 领先零售企业减少了17%的 存货，同时在保持市场份额 的前提下，增加了高利润率 自有品牌商品的比例。
8
大数据分析应用案例之电子书
大数据分析—安全防御 的核武器
伴随着物联网、云计算、移动互联网等新技术的迅猛发展， 数据正以前所未有的速度不断地增长和积累。人们不禁惊 呼，大数据时代已经到来！ 大数据(Big Data)是继云计算、物联网之后信息技术领域 的又一次颠覆性变革，同时也拉开了全球网络空间争霸的 帷幕。各国相继调整信息安全战略，将大数据置于重要地 位，以夺取“信息优势”和“国际话语权”。
ቤተ መጻሕፍቲ ባይዱ
大数据包括： 交易数据和交互数据 集在内的所有数据集
大数据的构成
大数据 = 海量数据 + 复杂类型的数据
海量交易数据： 企业内部的经营交易信息主要包括联机交易数据和联机 分析数据，是结构化的、通过关系数据库进行管理和访 问的静态、历史数据。通过这些数据，我们能了解过去 发生了什么。
海量交互数据： 源于Facebook、Twitter、LinkedIn及其他来源的社交 媒体数据构成。它包括了呼叫详细记录CDR、设备和传 感器信息、GPS和地理定位映射数据、通过管理文件传 输Manage File Transfer协议传送的海量图像文件、 Web文本和点击流数据、科学信息、电子邮件等等。可 以告诉我们未来会发生什么。
想驾驭这庞大的数据，我们必
1Byte = 8 Bit 1 KB = 1,024 Bytes
须了解大数据的特征。
1 MB = 1,024 KB = 1,048,576 Bytes
1 GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes
1 TB = 1,024 GB = 1,048,576 MB = 1,073,741,824 KB = 1,099,511,627,776 Bytes
1
大数据时代的背景
“大数据”的诞生：
半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始 引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信 息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念。如今，这个概念几乎应 用到了所有人类智力与发展的领域中。
数据量在爆炸式增长—— 近两年所产生的数据量相 当于2010年以前整个人类 文明产生的数据量总和3
大数据的4V特征
Volume
Variety
Velocity
Value
“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是 “大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。
海量数据处理： 大数据的涌现已经催生出了设计用于数据密集型处理的 架构。例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。
5
4、大数据的应用——精准营销
• 通过用户行为分析实现精准营销是大数据的典 型应用
• 智能电网现在欧洲已经做到了终端，也就是所谓的智 能电表。在德国，为了鼓励利用太阳能，会在家庭安 装太阳能，除了卖电给你，当你的太阳能有多余电的 时候还可以买回来。通过电网收集每隔五分钟或十分 钟收集一次数据，收集来的这些数据可以用来预测客 户的用电习惯等，从而推断出在未来2~3个月时间里， 整个电网大概需要多少电。有了这个预测后，就可以 向发电或者供电企业购买一定数量的电。因为电有点 像期货一样，如果提前买就会比较便宜，买现货就比 较贵。通过这个预测后，可以降低采购成本。
6
大数据应用案例之：通信行业
• 电信业者透过数以千万计的客户资料，能分析出 多种使用者行为和趋势，卖给需要的企业，这是 全新的资料经济。
• NTT docomo把手机位置信息和互联网上的信息 结合起来，为顾客提供附近的餐饮店信息，接近 末班车时间时，提供末班车信息服务。
7
大数据应用案例之：零售业
Your E-Book Is Reading You
9
谷歌如何“嗅”出疫情讯号？
借助大数据，更好地监测医药效 果和预测大规模疾病趋势
• “谷歌流感趋势”便是谷歌2008年推出，用于预警流感的即时网络服务。该 系统根据对流感相关关键词搜索进行数据挖掘和分析，创建对应的流感图表 和地图，目前可预测全球超过25个国家的流感趋势。
2
大数据时代的爆炸增长
地球上至今总共的数据量：
TB
PB
EBZ B
GB
1PB = 2^50字节 1EB = 2^60字节 1ZB = 2^70字节
在2006 年，个人用户才刚刚迈进TB时代，全球 一共新产生了约180EB的数据；
在2011 年，这个数字达到了1.8ZB。
而有市场研究机构预测： 到2020 年，整个世界的数据总量将会增长44 倍， 达到35.2ZB（1ZB=10 亿TB）！
10
候鸟迁徙与禽流感病毒之间不可切 割的联系
疫情严重的地区与候鸟迁徙路线之间也有重叠情况。譬如，
“谷歌流感趋势”中疫情呈“橘红色”预警状态的俄罗斯， 全球8条候鸟迁徙路线就有5条穿过它
1 PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes
1 EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes
1 ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes
…
facebook 社交网络
电子商务
淘宝、 ebuy
…
…
微博、 Apps
移动互联
21世纪是数据信息大发展的时代， 移动互联、社交网络、电子商务等极大拓 展了互联网的边界和应用范围，各种数据 正在迅速膨胀并变大。
互联网（社交、搜索、电商）、移动互联 网（微博）、物联网（传感器，智慧地 球）、车联网、GPS、医学影像、安全监 控、金融（银行、股市、保险）、电信 （通话、短信）都在疯狂产生着数据。
• 零售企业也监控客户的店内 走动情况以及与商品的互动。 它们将这些数据与交易记录 相结合来展开分析，从而在 销售哪些商品、如何摆放货 品以及何时调整售价上给出 意见，此类方法已经帮助某 领先零售企业减少了17%的 存货，同时在保持市场份额 的前提下，增加了高利润率 自有品牌商品的比例。
8
大数据分析应用案例之电子书
大数据分析—安全防御 的核武器
伴随着物联网、云计算、移动互联网等新技术的迅猛发展， 数据正以前所未有的速度不断地增长和积累。人们不禁惊 呼，大数据时代已经到来！ 大数据(Big Data)是继云计算、物联网之后信息技术领域 的又一次颠覆性变革，同时也拉开了全球网络空间争霸的 帷幕。各国相继调整信息安全战略，将大数据置于重要地 位，以夺取“信息优势”和“国际话语权”。