互联网大数据分析案例分享精品PPT课件
合集下载
大数据技术与应用(成功案例)ppt课件
32 32
大数据商业价值---企业经营决策
某商店卖 牛奶，通过数据分 析，知道在本店买 了牛奶的顾客以后 常常会再去另一店 买包子，人数还不 少，那么这家店就 可以考虑与包子店 合作，或直接在店 里出售包子。
33 33
大数据商业价值---个性化营销
银行与客户的交 流渠道进行了整合，只要 某个客户在网上点击查询 了有关房贷利率的信息， 系统就会提示呼叫中心在 电话交流时推荐房贷产品， 如果发现顾客确实对此感 兴趣，销售部门就会发送 推介信息给客户，如果这 位顾客到银行网点办事， 业务人员就会详细介绍房 贷产品，开始只有少量的 线索，但通过多渠道的与 顾客交互接触，在这个过 程中，令顾客体验了银行 精准、体贴的服务，其结 果是营业收入大为增加， 成本大幅降低，
31•顺应客户购买行为习惯
31
大数据商业价值---大数据为“未来的新石油”
2013年，世界上存储的数 据预计能达到约1.2泽（约12亿TB） 字节，如果把这些数据全部印刷成 书，这些书可以覆盖整个美国52次， 如果将之存储于标准的光盘，这些 光盘可以堆成五堆，每一堆都可以 伸到月球。
2012年3月22日，奥巴马 政府宣布投资2亿美元拉动大数据相 关产业发展，将“大数据战略”上 升为国家战略。奥巴马政府甚至将 大数据定义为“未来的新石油”。
从范围来看，
传统数据管理方式
外部性管理，依赖管理力度和执行自律，成难毁 易。
元数据
数据 稽核
管理 制度
从内涵来看，
非结构化数据、内外部数据混搭、 云化处理等都会冲击传统管理模式
挑战1
从形式来看，
数据加工的复杂度和速度要求越来 越高，也对传统管理效率提出挑战
挑战2 6
资产验证
大数据商业价值---企业经营决策
某商店卖 牛奶，通过数据分 析，知道在本店买 了牛奶的顾客以后 常常会再去另一店 买包子，人数还不 少，那么这家店就 可以考虑与包子店 合作，或直接在店 里出售包子。
33 33
大数据商业价值---个性化营销
银行与客户的交 流渠道进行了整合，只要 某个客户在网上点击查询 了有关房贷利率的信息， 系统就会提示呼叫中心在 电话交流时推荐房贷产品， 如果发现顾客确实对此感 兴趣，销售部门就会发送 推介信息给客户，如果这 位顾客到银行网点办事， 业务人员就会详细介绍房 贷产品，开始只有少量的 线索，但通过多渠道的与 顾客交互接触，在这个过 程中，令顾客体验了银行 精准、体贴的服务，其结 果是营业收入大为增加， 成本大幅降低，
31•顺应客户购买行为习惯
31
大数据商业价值---大数据为“未来的新石油”
2013年，世界上存储的数 据预计能达到约1.2泽（约12亿TB） 字节，如果把这些数据全部印刷成 书，这些书可以覆盖整个美国52次， 如果将之存储于标准的光盘，这些 光盘可以堆成五堆，每一堆都可以 伸到月球。
2012年3月22日，奥巴马 政府宣布投资2亿美元拉动大数据相 关产业发展，将“大数据战略”上 升为国家战略。奥巴马政府甚至将 大数据定义为“未来的新石油”。
从范围来看，
传统数据管理方式
外部性管理，依赖管理力度和执行自律，成难毁 易。
元数据
数据 稽核
管理 制度
从内涵来看，
非结构化数据、内外部数据混搭、 云化处理等都会冲击传统管理模式
挑战1
从形式来看，
数据加工的复杂度和速度要求越来 越高，也对传统管理效率提出挑战
挑战2 6
资产验证
互联网+大数据PPT课件
病人
医院
医生
药房
网站、APP、客 服中心
报销审核/福利管 理服务机构
审核批准后付款
银行
医保局
缺少对药品流通环节及对医 院购药和医生开药的管控，造 成中间环节的非法返点
.
缺乏完善的审核工具和 监控手段，报销中存在欺
诈、浪费、滥用的现象
小型本地经销商 小型经销商
分销层级过 多，效率低下
大型经销商 药厂
数据来源：中国信息化百人会发布了《智慧医疗与大数据2015年度报告》
11/4/2019
.
20
公共卫生方向
用户搜索数据 数据建模与分析
疾病预测
11/4/2019
2015年医疗健康数据应用方向 商业应用方向
用户监测数据 医学实验数据 医疗诊断数据 医学学术资源
•••• •••
数据库 /云端
医疗机构 保险公司 制药企业
等现象，医保基金浪费和流失比例不低于50%，控费审核迫在眉睫。
11/4/2019
.
8
中国出现三甲医院看病难的问题，其原因主要有两点： （1）医疗资源分布不均衡是根本原因 （2）分级诊疗制度的缺失加剧了大医院看病难的问题
2013年中国各级医院发展情况
三级医院 占比7.2%
诊疗次数占比45.2%
拥有职业医师59.1万名 平均每所医院331名
11/4/2019
.
17
战略思路 一、政策解读 二、医疗行业痛点 三、大数据医疗发展现状 四、大数据医疗发展趋势 五、标杆分析
18
我国医疗费用支出以政府主导的基本医疗保险和个人支付为主，这两项占到医疗总支出的 96.5%；而美国则是以政府主导的基本医疗保险和商业保险为主，这两部分占比达 80.6%。同美国相比，我国公民医疗负担较重，同时缺少商业保险作为补充支付方
医院
医生
药房
网站、APP、客 服中心
报销审核/福利管 理服务机构
审核批准后付款
银行
医保局
缺少对药品流通环节及对医 院购药和医生开药的管控，造 成中间环节的非法返点
.
缺乏完善的审核工具和 监控手段，报销中存在欺
诈、浪费、滥用的现象
小型本地经销商 小型经销商
分销层级过 多，效率低下
大型经销商 药厂
数据来源：中国信息化百人会发布了《智慧医疗与大数据2015年度报告》
11/4/2019
.
20
公共卫生方向
用户搜索数据 数据建模与分析
疾病预测
11/4/2019
2015年医疗健康数据应用方向 商业应用方向
用户监测数据 医学实验数据 医疗诊断数据 医学学术资源
•••• •••
数据库 /云端
医疗机构 保险公司 制药企业
等现象，医保基金浪费和流失比例不低于50%，控费审核迫在眉睫。
11/4/2019
.
8
中国出现三甲医院看病难的问题，其原因主要有两点： （1）医疗资源分布不均衡是根本原因 （2）分级诊疗制度的缺失加剧了大医院看病难的问题
2013年中国各级医院发展情况
三级医院 占比7.2%
诊疗次数占比45.2%
拥有职业医师59.1万名 平均每所医院331名
11/4/2019
.
17
战略思路 一、政策解读 二、医疗行业痛点 三、大数据医疗发展现状 四、大数据医疗发展趋势 五、标杆分析
18
我国医疗费用支出以政府主导的基本医疗保险和个人支付为主，这两项占到医疗总支出的 96.5%；而美国则是以政府主导的基本医疗保险和商业保险为主，这两部分占比达 80.6%。同美国相比，我国公民医疗负担较重，同时缺少商业保险作为补充支付方
互联网科技网络安全大数据分析科技时代工作汇报通用PPT模板课件
01
目录
CONTENTS
年度工作概述
02
工作完成情况
03
成功项目展示
04
工作存在不足
05
明年工作计划
年度工作概述
1
这里可以用一段简洁的文字描述出本章中心思想，或者作为章节导语。还可以列出本章的小节标题。
Part
单击此处添加标题
01
2019
员工界面
❞
单击此处添加标题
商业
分析
市场化
销售
此处添加详细文本描述，建议与标题相关并符合整体语言风格，语言描述尽量简洁生动。尽量将每页幻灯片的字数控制在200字以内，据统计每页幻灯片的最好控制在5分钟之内。此处添加详细文本描述，建议与标题相关并符合整体语言风格，语言描述尽量简洁生动。尽量将每页幻灯片的字数控制在200字以内，据统计每页幻灯片的最好控制在5分钟之内。
单击此处添加标题
20%
10%
45%
75%
100%
85%
55%
40%
2015
2014
2013
2012
2011
2010
2009
2008
添加标题
请在此处输入您的文本，或者复制您的文本粘贴到此处请在此处请在此处输入您的文本，或者复制您的文本粘贴到此处请在此处请在此处输入您的文本，或者复制您的文本粘贴到此处请在此处请在此处输入您的文本，或者复制您的文本粘贴到此处请在此处请在此处输入您的文本，或者复制您的文本粘贴到此处请在此处请在此处输入您的文本，或者复制您的文本粘贴到此处请在此处
系统保护
此处添加详细文本描述，建议与标题相关并符合整体语言风格
数据分析
此处添加详细文本描述，建议与标题相关并符合整体语言风格
目录
CONTENTS
年度工作概述
02
工作完成情况
03
成功项目展示
04
工作存在不足
05
明年工作计划
年度工作概述
1
这里可以用一段简洁的文字描述出本章中心思想，或者作为章节导语。还可以列出本章的小节标题。
Part
单击此处添加标题
01
2019
员工界面
❞
单击此处添加标题
商业
分析
市场化
销售
此处添加详细文本描述，建议与标题相关并符合整体语言风格，语言描述尽量简洁生动。尽量将每页幻灯片的字数控制在200字以内，据统计每页幻灯片的最好控制在5分钟之内。此处添加详细文本描述，建议与标题相关并符合整体语言风格，语言描述尽量简洁生动。尽量将每页幻灯片的字数控制在200字以内，据统计每页幻灯片的最好控制在5分钟之内。
单击此处添加标题
20%
10%
45%
75%
100%
85%
55%
40%
2015
2014
2013
2012
2011
2010
2009
2008
添加标题
请在此处输入您的文本，或者复制您的文本粘贴到此处请在此处请在此处输入您的文本，或者复制您的文本粘贴到此处请在此处请在此处输入您的文本，或者复制您的文本粘贴到此处请在此处请在此处输入您的文本，或者复制您的文本粘贴到此处请在此处请在此处输入您的文本，或者复制您的文本粘贴到此处请在此处请在此处输入您的文本，或者复制您的文本粘贴到此处请在此处
系统保护
此处添加详细文本描述，建议与标题相关并符合整体语言风格
数据分析
此处添加详细文本描述，建议与标题相关并符合整体语言风格
《互联网大数据课件》
机器学习在大数据中的应用
机器学习是大数据分析的重要工具，可用于预测分析、模式识别和聚类分析 等。
大数据在企业管理中的应用
1
客户关系管理
通过大数据分析客户行为和喜好，提
供应链管理
2
供个性化的服务和推荐。
利用大数据分析供应链数据，提高生
产和分销的效率。
3
业务决策
通过大数据分析企业内外部数据，为 业务决策提供决策支持。
2
将计算任务划分为多个子任务，并行
处理，缩短处理时间。
3
分布式存储
将数据分散存储在多个节点上，提高 数据处理的效率和可靠性。
图像处理
使用图像处理算法对图像数据进行分 析和处理。
大数据存储技术
云存储
使用云平台将大数据存储在远 程的服务器上，提供高效的存 储和数据管理。
分布式文件系统
数据库管理系统
将大数据分散存储在多个节点 上，提供高可用性和可扩展性。
通过数据库来存储和管理大数 据，提供高效的查询和数据处 理能力。
大数据计算技术
批处理
对大析数据流，适 用于实时监控和预警等场景。
图计算
对图结构数据进行复杂计算 和分析，如社交网络分析。
大数据安全性问题
大数据的存储和处理过程中面临着数据隐私、数据泄露和数据安全的风险。保护大数据的安全至关重要。
《互联网大数据课件》
本课件将介绍大数据的定义和应用场景，以及互联网时代中大数据的重要性。 其中包括大数据的来源、分析方法、处理、存储和计算技术，以及安全性问 题。我们还将探讨人工智能、机器学习和大数据在企业管理、金融和医疗领 域的应用。
什么是大数据？
大数据是指海量、高速产生的数据集合，难以使用传统数据库工具进行处理和分析。
《互联网+大数据应用课件》
常用的大数据处理技术和方法，包括批处理、实时处理、流处理等，并 讨论适用场景和应用案例。
互联网+大数据在企业中的应用案例
电商行业
探索电商平台如何利用大数 据进行个性化推荐和精细化 运营，提升用户体验和销售 额。
金融行业
分析金融领域大数据的应用， 如风险管理、反欺诈、信用 评估和智能投资等方面。
3
竞争优势
讨论企业如何利用大数据分析来获取竞争优势，并提供一些成功的案例。
大数据分析与挖掘技术
介绍大数据分析的常用技术和方法，如数据挖掘、机器学习、自然语言处理等，以及它们在实际应用中的作用。
大数据安全与隐私保护
探讨大数据安全和隐私保护的重要性，以及现有的安全措施和法律法规。
医疗行业
探讨医疗领域大数据在疾病 预测、诊断辅助和医疗资源 优化方面的应用案例。
互联网+大数据对于商业模式的创新与变 革
1
创新商业模式
如何利用互联网+大数据创造新的商业模式，以及这些模式如何改变行业格局。
2
消费者行为洞察
揭示互联网+大数据如何帮助企业了解消费者行为和趋势，从而调整营销策略并提高销 售额。
《互联网+大数据应用课件》
本课件将探讨互联网+大数据在商业和社会中的重要应用，以及它对传统商业 模式的影响与创新。
互联网+大数据的概念及定义
介绍互联网+大数据的定义、背景和基本概念。探讨大数据的四个特征：大量、多样、高速、价值。
大数据采集、存储与管理
讨论大数据采集的方法，包括传感器、社交媒体、移动设备等。探索大数据存储的挑战和解决方案，如云存储 和分布式文件系统。
互联网+大数据在企业中的应用案例
电商行业
探索电商平台如何利用大数 据进行个性化推荐和精细化 运营，提升用户体验和销售 额。
金融行业
分析金融领域大数据的应用， 如风险管理、反欺诈、信用 评估和智能投资等方面。
3
竞争优势
讨论企业如何利用大数据分析来获取竞争优势，并提供一些成功的案例。
大数据分析与挖掘技术
介绍大数据分析的常用技术和方法，如数据挖掘、机器学习、自然语言处理等，以及它们在实际应用中的作用。
大数据安全与隐私保护
探讨大数据安全和隐私保护的重要性，以及现有的安全措施和法律法规。
医疗行业
探讨医疗领域大数据在疾病 预测、诊断辅助和医疗资源 优化方面的应用案例。
互联网+大数据对于商业模式的创新与变 革
1
创新商业模式
如何利用互联网+大数据创造新的商业模式，以及这些模式如何改变行业格局。
2
消费者行为洞察
揭示互联网+大数据如何帮助企业了解消费者行为和趋势，从而调整营销策略并提高销 售额。
《互联网+大数据应用课件》
本课件将探讨互联网+大数据在商业和社会中的重要应用，以及它对传统商业 模式的影响与创新。
互联网+大数据的概念及定义
介绍互联网+大数据的定义、背景和基本概念。探讨大数据的四个特征：大量、多样、高速、价值。
大数据采集、存储与管理
讨论大数据采集的方法，包括传感器、社交媒体、移动设备等。探索大数据存储的挑战和解决方案，如云存储 和分布式文件系统。
蓝色微粒体互联网大数据PPT专题演示
大数据的应用和案例
消费大数据
大数据的应用和案例
证监会大数据
回顾“老鼠仓”的查处过程，在马乐一案中，“大数据”首次介入。深交所此前通过“大数据”查出的可疑账户高达300个
大数据的应用和案例
交通大数据
UPS最新的大数据来源是安装在公司4.6万多辆卡车上的远程通信传感器，这些传感器能够传回车速、方向、刹车和动力性能等方面的数据。收集到的数据流不仅能说明车辆的日常性能，还能帮助公司重新设计物流路线。大量的在线地图数据和优化算法，最终能帮助UPS实时地调配驾驶员的收货和配送路线。该系统为UPS减少了8500万英里的物流里程，由此节约了840万加仑的汽油。
大数据的趋势
数据泄露泛滥：未来几年数据泄露事件的增长率也许会达到100%，除非数据在其源头就能够得到安全保障。可以说，在未来，每个财富500强企业都会面临数据攻击，无论他们是否已经做好安全防范。而所有企业，无论规模大小，都需要重新审视今天的安全定义。
数据管理成为核心竞争力：数据管理成为核心竞争力，直接影响财务表现。当“数据资产是企业核心资产”的概念深入人心之后，企业对于数据管理便有了更清晰的界定，将数据管理作为企业核心竞争力，持续发展，战略性规划与运用数据资产，成为企业数据管理的核心。
大数据时代的机遇和挑战
04
大数据的趋势
大数据的趋势
借助大数据尖端分析加速发展
如果正确的数据出现在合适的时间，您的业务将有望获得什么机会？如何更有效率地运营您的业务？通过数据分析获得变革的潜力与直观理解影响着医疗、银行、交通运输、制造等各行各业。对于许多早期的使用者，当他们从传统商业智能 (BI) 的实践发展到可靠直观理解的更高级分析（预测性和规范性）时，数据改变了他们的业务，无论是通过新的发现、更尖端的产品和服务或总体更好的客户体验。
大数据经典案例——买披萨的故事ppt课件
15
! %^#$%^%$&#^@#$^%@#^
顾客当即晕倒。
16
ห้องสมุดไป่ตู้
什 么 是
大 什么是 大数据 ？
据
？
1
某比萨店的电话铃响了， 客服人员拿起电话。
2
你好，我想要一份……
XXX比萨店。您好，请问有 什么需要我为您服务 ？
3
16846146***。
先生，烦请先把您的会员卡 号告诉我。
4
你为什么知道我所有的电话 号码？
陈先生，您好！您是住在泉州路一号12楼 1205室，您家电话是2646****，您公司电话 是4666****，您的手机是1391234****。请 问您想用哪一个电话付费？
陈先生，根据您的记录，您已经超过今 日提款限额。
13
为什么？
大约30分钟。如果您不想等，可以 自己骑车来。
14
! %^#$%^%$&#^@#$^%@#^
根据我们CRM全球定位系统的车辆行驶自动跟 踪系统记录。您登记有一辆车号为SB-748的摩 托车，而目前您正在解放路东段华联商场右侧 骑着这辆摩托车。
10
那可以刷卡吗？
99元，这个足够您一家六口吃了。 但您母亲应该少吃，她上个月刚刚 做了心脏搭桥手术，还处在恢复期。
11
那我先去附近的提款机提款。
陈先生，对不起。请您付现款，因 为您的信用卡已经刷爆了，您现在 还欠银行4807元，而且还不包括房 贷利息。
12
算了，你们直接把比萨送我家吧， 家里有现金。你们多久会送到？
5
我想要一个海鲜比萨……
陈先生，因为我们联机到CRM系统。
6
为什么？
陈先生，海鲜比萨不适合您。
! %^#$%^%$&#^@#$^%@#^
顾客当即晕倒。
16
ห้องสมุดไป่ตู้
什 么 是
大 什么是 大数据 ？
据
？
1
某比萨店的电话铃响了， 客服人员拿起电话。
2
你好，我想要一份……
XXX比萨店。您好，请问有 什么需要我为您服务 ？
3
16846146***。
先生，烦请先把您的会员卡 号告诉我。
4
你为什么知道我所有的电话 号码？
陈先生，您好！您是住在泉州路一号12楼 1205室，您家电话是2646****，您公司电话 是4666****，您的手机是1391234****。请 问您想用哪一个电话付费？
陈先生，根据您的记录，您已经超过今 日提款限额。
13
为什么？
大约30分钟。如果您不想等，可以 自己骑车来。
14
! %^#$%^%$&#^@#$^%@#^
根据我们CRM全球定位系统的车辆行驶自动跟 踪系统记录。您登记有一辆车号为SB-748的摩 托车，而目前您正在解放路东段华联商场右侧 骑着这辆摩托车。
10
那可以刷卡吗？
99元，这个足够您一家六口吃了。 但您母亲应该少吃，她上个月刚刚 做了心脏搭桥手术，还处在恢复期。
11
那我先去附近的提款机提款。
陈先生，对不起。请您付现款，因 为您的信用卡已经刷爆了，您现在 还欠银行4807元，而且还不包括房 贷利息。
12
算了，你们直接把比萨送我家吧， 家里有现金。你们多久会送到？
5
我想要一个海鲜比萨……
陈先生，因为我们联机到CRM系统。
6
为什么？
陈先生，海鲜比萨不适合您。
大数据十大经典案例ppt课件
2012年3月腾讯推出QQ圈子，按共同好友的连锁 反应摊开用户的人际关系网，把用户的前女友推 荐给未婚妻，把同学同事朋友圈子分门别类，利 用大数据处理能力给人带来“震撼”。。
6
5“魔镜”预知石油市场走向
7
如果你对“魔镜”还停留在“魔镜魔镜，告诉我 谁是世界上最美的女人”，那你就真的out了。“魔 镜”不仅仅是童话中王后的宝贝，而且是真实世界 中的一款神器。其实，“魔镜”是苏州国云数据科 技公司的一款牛逼的大数据可视化产品，而且是国 内首款喔。
12
10 超市预知高中生顾客怀孕
明尼苏达州一家塔吉特门店被客户投诉，一位中 年男子指控塔吉特将婴儿产品优惠券寄给他的女 儿——一个高中生。但没多久他却来电道歉，因为 女儿经他逼问后坦承自己真的怀孕了。塔吉特百货 就是靠着分析用户所有的购物数据，然后通过相关 关系分析得出事情的真实状况。
13
9
7 大数据与乔布斯癌症治疗
乔布斯是世界上第一个对自身所有DNA和肿瘤DNA 进行排序的人。为此，他支付了高达几十万美元的费 用。他得到的不是样本，而是包括整个基因的数据文 档。医生按照所有基因按需下药，最终这种方式帮助 乔布斯延长了好几年的生命。
10
8 ห้องสมุดไป่ตู้巴马大选连任成功
2012年11月奥巴马大选连任成功的胜利果实也被 归功于大数据，因为他的竞选团队进行了大规模与 深入的数据挖掘。时代杂志更是断言，依靠直觉与 经验进行决策的优势急剧下降，在政治领域，大数 据的时代已经到来；各色媒体、论坛、专家铺天盖 地的宣传让人们对大数据时代的来临兴奋不已，无 数公司和创业者都纷纷跳进了这个狂欢队伍。
3意料之外：
胸部最大的 是新疆妹子
淘宝数据平台显示，购买最 多的文胸尺码为B罩杯。B罩杯 占比达41.45%，其中又以75B 的销量最好。其次是A罩杯， 购买占比达25.26%，C罩杯只 有8.96%。在文胸颜色中，黑 色最为畅销。以省市排名，胸 部最大的是新疆妹子。
6
5“魔镜”预知石油市场走向
7
如果你对“魔镜”还停留在“魔镜魔镜，告诉我 谁是世界上最美的女人”，那你就真的out了。“魔 镜”不仅仅是童话中王后的宝贝，而且是真实世界 中的一款神器。其实，“魔镜”是苏州国云数据科 技公司的一款牛逼的大数据可视化产品，而且是国 内首款喔。
12
10 超市预知高中生顾客怀孕
明尼苏达州一家塔吉特门店被客户投诉，一位中 年男子指控塔吉特将婴儿产品优惠券寄给他的女 儿——一个高中生。但没多久他却来电道歉，因为 女儿经他逼问后坦承自己真的怀孕了。塔吉特百货 就是靠着分析用户所有的购物数据，然后通过相关 关系分析得出事情的真实状况。
13
9
7 大数据与乔布斯癌症治疗
乔布斯是世界上第一个对自身所有DNA和肿瘤DNA 进行排序的人。为此，他支付了高达几十万美元的费 用。他得到的不是样本，而是包括整个基因的数据文 档。医生按照所有基因按需下药，最终这种方式帮助 乔布斯延长了好几年的生命。
10
8 ห้องสมุดไป่ตู้巴马大选连任成功
2012年11月奥巴马大选连任成功的胜利果实也被 归功于大数据，因为他的竞选团队进行了大规模与 深入的数据挖掘。时代杂志更是断言，依靠直觉与 经验进行决策的优势急剧下降，在政治领域，大数 据的时代已经到来；各色媒体、论坛、专家铺天盖 地的宣传让人们对大数据时代的来临兴奋不已，无 数公司和创业者都纷纷跳进了这个狂欢队伍。
3意料之外：
胸部最大的 是新疆妹子
淘宝数据平台显示，购买最 多的文胸尺码为B罩杯。B罩杯 占比达41.45%，其中又以75B 的销量最好。其次是A罩杯， 购买占比达25.26%，C罩杯只 有8.96%。在文胸颜色中，黑 色最为畅销。以省市排名，胸 部最大的是新疆妹子。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
字符串类型，
90天的数据， Web数据7亿， App数据37亿，
一半数值类型， 一行数据估计 2000Byte
总估计在50
亿
每天5000万行， 原始数据每天 100G， 100天 是10T的数据
抽取样本数
据100万行，
导入数据集 市，数据量 在180M
50亿数据的 若全部导入 需要900G的
量， 压缩比
2021/2/20
9
互联网大数据案例
前端展现：互联网用户行为分析
浏览器分析：运行时间，有效时间，启动次数， 覆盖人数，等等 主流网络电视：浏览总时长，有效流量时长， PV覆盖占有率， UV占有率，等等 主流电商网站：在线总时长，有效在线总时长， 独立访问量，网站覆盖量， 等等 主流财经网站：在线总时长， 有效总浏览时长，独立访问量，总覆盖量， 等等
2021/2/20
2
目录
• 互联网大数据案例
– 海量数据，实时计算
2021/2/20
3
互联网大数据案例
某著名咨询公司用户行为分析系统
? 面临问题：实时分析的数据量大，基于Hive的分析系统不够实时，但预算有限
解决办法：90天细节数据约50亿条导入Yonghong DM，再定制Dashboard分析
ቤተ መጻሕፍቲ ባይዱ
在11:1
假设同时装载 到内存中分析 的量在1/3, 那 总共需要 300G的内存
2021/2/20
6
互联网大数据案例
设计方案
总共配制需要300G的内存 硬件： 5台PC Server， 每台内存：64G， 4 CPU 4 Core 机器角色：一台Naming 、Map， 一台Client、Reduce、Map，其余三台都是Map
2021/2/20
10
互联网大数据案例
海量数据，实时分析
1.90天数据，近10T的原始数据，大部分的查询都是秒级响应 2.实现了Hbase数据与SQL Server中维度表关联分析的需求 3.预算有限，投入并不大，又能解决Hive不够实时的问题 4.性能卓越的交互式BI呈现，非常适合分析师使用
2021/2/20
维度数据被缓存； 细节数据按照日期打上标签，跟缓存的维度数据关联后入集市； 根据日期标签来删除数据；清洗出有意义的字段。
维度数据
细节数据
集市数据
DataCache RefreshJob
2021/2/20
DaJtoainJMoabrt
Cached Data Detail Data From Date To Date Join Type
– Naming Node – Client Node – Map Node – Reduce Node
• 通讯协议：ZIO • 存储结构：ZFS 及其管理 • 计算框架：ZMR 及其管理 • 支持BI的存储格式 • 支持BI的计算框架
13
写在最后
经常不断地学习,你就什么都知道。你知道得越多,你就越有力量 Study Constantly, And You Will Know Everything. The More
RemoveJob Cycling , Chained Jobs
8
互联网大数据案例
系统配置调优
内部管理内存参数： mem.proc.count=8 mem.serial.mem=5120 mem.result.mem=10240
JVM内存管理参数配置： JAVA_OPTS="-XX:NewRatio=3 -XX:SurvivorRatio=1 -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:MaxGCPauseMillis=6000 -XX:GCTimeRatio=19 -XX:ParallelGCThreads=16 -XX:+UseCMSCompactAtFullCollection -XX:CMSFullGCsBeforeCompaction=1 -XX:CMSInitiatingOccupancyFraction=80 -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:SoftRefLRUPolicyMSPerMB=0 -XX:+PrintHeapAtGC -XX:+PrintGCDetails -Xms61440m -Xmx61440m -Djava.awt.headless=true"
2021/2/20
WEB数据
APP数据
Hadoop
5 台 PC Server 64G 内存 4 CPU (4 Core)
Data Mart Dashboard/Reporting
4
互联网大数据案例
POC（Proof of Concept）
1.Demo： 5台PC Server 导入10天的数据，如何ETL，如何做简单应用。
2021/2/20
SQL Server
Hadoop
Naming Map
Data Mart
Client Map Reduce
Map
Map
5 台 PC Server 64G 内存 4 CPU (4 Core)
Map
7
互联网大数据案例
ETL过程
历史数据集中导：每天的细节数据和SQL Server关联后，打上标签，再导入集市 增量数据自动导：先删除近3天的数，再导入近3天的数
©2011-2013 Yonghong Technology Co.,Ltd.
Yonghong大数据BI案例的底层技术分享
2014.1.5
新浪微博@永洪科技BI
大数据的4V
1. 数据量大(Volume) 2. 速度快(Velocity) 3. 类型多(Variety) 4. 价值密度低(Veracity)
2.POC： 导入近3个月的数据 解决步长问题，有效访问次数， 在几个分组内，停留时间大于30分钟 解决HBase数据和SQL Server数据的关联问题 解决分组太多，Span过多的问题 分析师做了些简单的应用报表
2021/2/20
5
互联网大数据案例
数据源及数据特征分析
每个表有20多
个字段，一半
11
架构分析
永洪BI / 其他可视化BI工具
ETL管理 备份管理 监控工具
JDBC 接口
连接池 多路、复用、异步
数据加载/卸 载
SQL优化
列
数据包 数据包 数据包
内存计算
列
数据包 数据包 数据包
库内计算
分布式计算
列
数据包
列
数据包
存
储
数据包
Windows系列
Linux系列
Unix系列
12
架构分析
• 机器角色