京东大数据基础架构与创新应用(PPT)
合集下载
大数据分析技术架构及应用解决方案课件
• 监控数据存储和管理的状态
• 提高数据查询和处理的性能
• 在发生故障时能够快速恢复数据
• 在出现问题时及时发出告警
数据仓库与数据湖的建设与实践
数据仓库与数据湖的建设实践
• 确定数据仓库和数据湖的结构和组成
• 选择合适的技术和工具进行建设
数据仓库
• 为企业级数据分析提供支持
• 如Amazon Redshift、Google BigQuery等
• 挖掘潜在的商业价值和优化产品设计
大数据分析技术架构的组成部分
01
02
03
04
05
数据采集
数据预处理
储技术，如关系型数
数据存储与管
数据分析
结构化数据和非结构
数据，为分析做好准
等
析算法和工具进行数
数据可视化与
• 将分析结果以可视
报告
化数据
备
• 建立数据仓库和数
据分析
解和传达
• 使用各种技术和工
• 提高数据质量和减
NoSQL数据库
• 适用于非结构化数据存储
• 如MongoDB、Cassandra、Red计算能力
• 如Amazon S3、Google Cloud Storage等
大数据管理策略与工具
数据分区
数据备份与恢复
数据监控与告警
• 将数据分散到不同的存储节点上
• 定期备份数据，防止数据丢失
数据故事讲述与价值呈现
数据故事讲述
• 将数据分析结果与业务场景结合，讲述有趣的故事
• 提高数据的吸引力和可理解性
价值呈现
• 突出数据的关键洞察和价值
• 为决策提供依据和参考
06
大数据分析在各行业的应
京东金融集团大数据分析平台总体架构PPT课件
据区数据、主题数据区数据、大数据区数据和集 市数据区数据 数据按照生命周期规划存储到归档区Hadoop集群 ，归档后原数据区删除此数据 整个处理流程由流程调度层部署的自定义开发 WorkFlow组件调度运行 整个流程主要完成如下工作：
1. 数据文件通过HDFS命令行copyfromlocal进 行归档
1. 通过数据库数据交换组件获取增量 数据，加载到实时数据区
2. 通过大数据交换组件获取非结构化 数据，并利用Storm处理数据，加 载到实时数据区
3. 针对实时数据区数据执行标准化处 理和贴源整合
大数据分析平台总体架构——流程调度层归 档数据处理流程 数据归档的对象包括业务系统数据文件、贴源数
定时抽取用户访问 日志，加载到数据 平台大数据区HDFS 指定目录，MR程序 加工处理
开发网络爬虫程序 ，扫描用户微博， 抓取用户微博内容 ，社交圈信息，存 入大数据区
大数据分析平台总体架构——数据 交换层数据库数据交换组件
处理对象
企业内部业务系统产 生的结构化数据，包 括两大来源：
❖ 商城零售业务数据，数 据存储在Oracle、 SQLServer、MySQL和 MongoDB四类数据库
外部用户
用户访 问层
实时数 历史数 据查询 据查询
内部管理分析
应用集市数据区
客户管理 财务管理 风险管理
历
实
史
大数据区
时
归
数
档
待 社交媒体 处
据 区
数 据
处 理
用户评价
理 后
区
大 移动互联 大
数
数
据 访问日志 据
客户汇总 客户主题 零售数据
业务沙盘演练
数据增 值产品
1. 数据文件通过HDFS命令行copyfromlocal进 行归档
1. 通过数据库数据交换组件获取增量 数据，加载到实时数据区
2. 通过大数据交换组件获取非结构化 数据，并利用Storm处理数据，加 载到实时数据区
3. 针对实时数据区数据执行标准化处 理和贴源整合
大数据分析平台总体架构——流程调度层归 档数据处理流程 数据归档的对象包括业务系统数据文件、贴源数
定时抽取用户访问 日志，加载到数据 平台大数据区HDFS 指定目录，MR程序 加工处理
开发网络爬虫程序 ，扫描用户微博， 抓取用户微博内容 ，社交圈信息，存 入大数据区
大数据分析平台总体架构——数据 交换层数据库数据交换组件
处理对象
企业内部业务系统产 生的结构化数据，包 括两大来源：
❖ 商城零售业务数据，数 据存储在Oracle、 SQLServer、MySQL和 MongoDB四类数据库
外部用户
用户访 问层
实时数 历史数 据查询 据查询
内部管理分析
应用集市数据区
客户管理 财务管理 风险管理
历
实
史
大数据区
时
归
数
档
待 社交媒体 处
据 区
数 据
处 理
用户评价
理 后
区
大 移动互联 大
数
数
据 访问日志 据
客户汇总 客户主题 零售数据
业务沙盘演练
数据增 值产品
大数据架构介绍课件
案例中的架构设计
采用分布式架构，提高系 统的可扩展性和容错性
使用Hadoop作为大数据 处理平台，实现海量数据 的存储和处理
利用Spark进行实时数据 处理和分析，提高数据处 理效率
采用NoSQL数据库，如 MongoDB，实现高并发、 低延迟的数据访问
使用数据仓库技术，如 Hive，进行数据整合和存 储
常见的大数据架构包括Lambda架构、 Kappa架构和IoT架构等。
大数据架构的目标是实现数据的高效 处理和价值挖掘。
架构类型
批处理架构：适合大 规模数据处理，如 MapReduce、 Hadoop等
云原生架构：利用云 计算资源进行大数据
处理，如AWS、 Azure等
流处理架构：适合实 时数据处理，如 Storm、Spark Streaming等
采用数据可视化工具，如 Tableau，实现数据的直 观展示和分析
案例中的技术挑战
数据量庞大：需要处理海量 数据，对存储和计算能力要
求高
数据多样性：需要处理各种 类型的数据，如文本、图像、
音频等
数据实时性：需要实时处理 数据，对数据处理速度要求
高
数据质量：需要保证数据的 准确性、完整性和一致性， 对数据清洗和预处理要求高
02
金融服务：大数据在金融服 务领域的应用，如风险评估、 投资决策等
04
交通领域：大数据在交通领 域的应用，如交通流量预测、 智能交通管理等
06
政府管理：大数据在政府管 理领域的应用，如公共安全、 城市规划等
架构优化方向
01
实时数据处理：提高数据处理速度，降低延迟
02
云原生架构：利用云平台优势，提高系统弹性和可扩展性
京东大数据解析
一． 京东大数据
二．京东大数据处理
三． 京东大数据工具云化
第11页
京东大数据收集
第12页
京东大数据收集
第13页
京东大数据收集
第14页
京东大数据收集
第15页
京东大数据处理
第16页
京东大数据实时分析
• Impala
– 历史数据：除了推送实时数据，首先会推送三
面向移动开发 移动分析、移动消息推送、短 地址、移动测试
面向系统运行 弹性计算云、弹性负载均衡、 自动扩展、弹性块存储
面向运维 自动编译、统一监控、统一日 志、自动部署
云存储使用量突破10P，包括电子书、数字音 乐、商品图片、历史订单等，云存储使用率超 过80%
JCloud 京东私有云
电商应用关键模式实现复用，项目研平均研 发周期缩短50%+，大大提升了业务响应速度
共享京东电商资源和能力 真正的自动弹性伸缩的云计算平台 完整的电商应用解决方案 新兴的电商应用市场 5000万扶持基金
第25页
京东电商云发展现状
7月京东电商云对外邀请公测，我们打造了闭环的电商应用云 服务，电商应用生态快速生长
年底目标
26
目 录 CONTENTS
一．京东大数据
二． 京东大数据处理 三． 京东大数据工具云化
京东大数据
第2页
京东大数据
• 基本面
– 过亿用户 – 近五千万商品 – 2012年成交量600多亿 – 近五万第三方卖家 – 日PV2亿以上
第3页
京东大数据
云数据库（MySQL、MongoDB）
数据推送
云监控
二．京东大数据处理
三． 京东大数据工具云化
第11页
京东大数据收集
第12页
京东大数据收集
第13页
京东大数据收集
第14页
京东大数据收集
第15页
京东大数据处理
第16页
京东大数据实时分析
• Impala
– 历史数据：除了推送实时数据，首先会推送三
面向移动开发 移动分析、移动消息推送、短 地址、移动测试
面向系统运行 弹性计算云、弹性负载均衡、 自动扩展、弹性块存储
面向运维 自动编译、统一监控、统一日 志、自动部署
云存储使用量突破10P，包括电子书、数字音 乐、商品图片、历史订单等，云存储使用率超 过80%
JCloud 京东私有云
电商应用关键模式实现复用，项目研平均研 发周期缩短50%+，大大提升了业务响应速度
共享京东电商资源和能力 真正的自动弹性伸缩的云计算平台 完整的电商应用解决方案 新兴的电商应用市场 5000万扶持基金
第25页
京东电商云发展现状
7月京东电商云对外邀请公测，我们打造了闭环的电商应用云 服务，电商应用生态快速生长
年底目标
26
目 录 CONTENTS
一．京东大数据
二． 京东大数据处理 三． 京东大数据工具云化
京东大数据
第2页
京东大数据
• 基本面
– 过亿用户 – 近五千万商品 – 2012年成交量600多亿 – 近五万第三方卖家 – 日PV2亿以上
第3页
京东大数据
云数据库（MySQL、MongoDB）
数据推送
云监控
京东商城案例分析PPT课件
2008年下半年，他错误的估计经济危机将使网上消费产生负面影响，而停止增加配送 人员的招募，而订单不减反增，远远超过了京东的处理能力，他的专断的判断使京东遇到 了一次物流瓶颈的大问题。
每一次需要作出选择的时候，刘强东总会在一段时间的学习和研究后得到自己的答案。 2001年，他迷上了逛商场，逛国美，他跑遍了北京国美的各个连锁店，北太平庄的国 美旗舰店他去了无数次，有时会买点电器，更多的是跟销售员讨价还价，问进货渠道、配 送问题等等，基于这样的实地研究他才最终选择了效仿国美，转型做IT数码连锁。 2004年“京东多媒体网”上线后，他又被互联网迷住，大部分时间都泡在网上，与当 时的2700名注册会员都很熟，了解了直观的一手的信息后，他才在2005年果断的关闭了 所有连锁店，关注线上发展。 他一直都在研究零售行业，最大的启发式对供应链效率和成本的认识，这也体现在京东 的战略转变上。
2.2 商业模式框架
合作伙伴 网络
核心能力 资源配置
价值主张
客户关系 分销渠道
目标消费 群体
成本结构
收入模型
是否盈利
一、B2C行业背景分析
1、B2C产业环境分析
（2） 中国B2C行业重要影响因素 ●首先，受宏观经济状况和宏观经济政策影响巨大。 受“互联网泡沫”破裂的影响，国内第一代的B2C企业很快就中途“夭折”了； 03年的“非典”、08年的“南方冰雪灾害”、“金融危机”和09年的“甲流”疫情，导 致宏观经济状况的大调整，都对B2C企业带来了巨大的影响； 在政府拉动内需和鼓励青年创业的政策影响下，B2C行业在金融危机期间得到了快速发展。
类别
中国代表企业
制造商直销模式 只在网络销售
Dell
兼有实体店面
达芙妮、海尔
中间商模式
每一次需要作出选择的时候，刘强东总会在一段时间的学习和研究后得到自己的答案。 2001年，他迷上了逛商场，逛国美，他跑遍了北京国美的各个连锁店，北太平庄的国 美旗舰店他去了无数次，有时会买点电器，更多的是跟销售员讨价还价，问进货渠道、配 送问题等等，基于这样的实地研究他才最终选择了效仿国美，转型做IT数码连锁。 2004年“京东多媒体网”上线后，他又被互联网迷住，大部分时间都泡在网上，与当 时的2700名注册会员都很熟，了解了直观的一手的信息后，他才在2005年果断的关闭了 所有连锁店，关注线上发展。 他一直都在研究零售行业，最大的启发式对供应链效率和成本的认识，这也体现在京东 的战略转变上。
2.2 商业模式框架
合作伙伴 网络
核心能力 资源配置
价值主张
客户关系 分销渠道
目标消费 群体
成本结构
收入模型
是否盈利
一、B2C行业背景分析
1、B2C产业环境分析
（2） 中国B2C行业重要影响因素 ●首先，受宏观经济状况和宏观经济政策影响巨大。 受“互联网泡沫”破裂的影响，国内第一代的B2C企业很快就中途“夭折”了； 03年的“非典”、08年的“南方冰雪灾害”、“金融危机”和09年的“甲流”疫情，导 致宏观经济状况的大调整，都对B2C企业带来了巨大的影响； 在政府拉动内需和鼓励青年创业的政策影响下，B2C行业在金融危机期间得到了快速发展。
类别
中国代表企业
制造商直销模式 只在网络销售
Dell
兼有实体店面
达芙妮、海尔
中间商模式
京东物流大数据应用
JSHOP
JMQ JimDB
版本控制、灰度发布
JBOX
Kubernetes编排系统 云主机节点
VM VM VM
集团镜 像 基础镜
像 自动 部署
部门镜像
基 镜 基础镜 像础 像
私有镜像
容器资源池
应用 应用 11 版 版本 本x y
应用 应用 22 版 版本 本x y
应用 应用 3 3版 版本 本x y
n
n
将结果按照城市纬 度进行展示。
智能建站案例：预测模型
n
根据所选模型，利 用运筹学模型，对 城市站点布局，进 行优化求解； 针对不同的应用场 景，可以选用传统 机器学习方法，甚 至深度学习的方法， 来进行解决。
n
智能建站案例：自动化决策
n
重新计算
北京市-成本最优模型 新增坐标 • 站点数量 • 消化订单量（总 量） • 终端总成本 • 平均传站距离 • 单均传站成本 • 单均站点成本 • 平均人效 • 单均总成本 • 平均站点派送半 径 • 站点人员数量
n
n
智能建站案例：大数据技术分析
智能建站案例：站点数据展示
n
收集配送站点相关信 息数据，包括地理位 置，单量，房屋成本， 管理成本，传站距离 等；
将站点对应的信息用 图形化的方式进行展 示，采用GIS模式和 传统表格方式。
n
智能建站案例：建站模型评估
n
建立多纬度构建模 型，包括成本最优， 传站距离最优，站 点数量最少，综合 模型最优等； 经过分析，确定评 估模型，即在满足 效率前提下成本最 低；
业务流程
业务流程
更多应用案例
京东物流大数据应用
当今技术热点
大数据应用门槛
JMQ JimDB
版本控制、灰度发布
JBOX
Kubernetes编排系统 云主机节点
VM VM VM
集团镜 像 基础镜
像 自动 部署
部门镜像
基 镜 基础镜 像础 像
私有镜像
容器资源池
应用 应用 11 版 版本 本x y
应用 应用 22 版 版本 本x y
应用 应用 3 3版 版本 本x y
n
n
将结果按照城市纬 度进行展示。
智能建站案例：预测模型
n
根据所选模型，利 用运筹学模型，对 城市站点布局，进 行优化求解； 针对不同的应用场 景，可以选用传统 机器学习方法，甚 至深度学习的方法， 来进行解决。
n
智能建站案例：自动化决策
n
重新计算
北京市-成本最优模型 新增坐标 • 站点数量 • 消化订单量（总 量） • 终端总成本 • 平均传站距离 • 单均传站成本 • 单均站点成本 • 平均人效 • 单均总成本 • 平均站点派送半 径 • 站点人员数量
n
n
智能建站案例：大数据技术分析
智能建站案例：站点数据展示
n
收集配送站点相关信 息数据，包括地理位 置，单量，房屋成本， 管理成本，传站距离 等；
将站点对应的信息用 图形化的方式进行展 示，采用GIS模式和 传统表格方式。
n
智能建站案例：建站模型评估
n
建立多纬度构建模 型，包括成本最优， 传站距离最优，站 点数量最少，综合 模型最优等； 经过分析，确定评 估模型，即在满足 效率前提下成本最 低；
业务流程
业务流程
更多应用案例
京东物流大数据应用
当今技术热点
大数据应用门槛
京东业务模式发展历程(PPT 38页)
•
•
43、付出才会杰出。
•
•
44、成功不是凭梦想和希望，而是凭 努力和 实践。
•
•
45、成功这件事，自己才是老板！
•
•
46、暗自伤心，不如立即行动。
•
•
47、勤奋是你生命的密码，能译出你 一部壮 丽的史 诗。
•
•
48、随随便便浪费的时间，再也不能 赢回来 。
•
•
49、不要轻易用过去来衡量生活的幸 与不幸 ！每个 人的生 命都是 可以绽 放美丽 的，只 要你珍 惜。
•
•
80、最困难的时候，就是距离成功不 远了。
•
•
81、知道自己要干什么，夜深人静， 问问自 己，将 来的打 算，并 朝着那 个方向 去实现 。而不 是无所 事事和 做一些 无谓的 事。
•
•
82、出路出路，走出去了，总是会有 路的。 困难苦 难，困 在家里 就是难 。
•
•
83、人生最大的喜悦是每个人都说你 做不到 ，你却 完成它 了！
2004-2007年 电脑产品
2007-2010年 手机数码、家用电 器、日用百货等
垂直型2010年 母婴、食品、图书
综合型
2010年 POP开放平台上线
8
二、京东产品阵营
家电
数码通讯
电脑
图书音像
服装服饰
母婴个护
家居百货
食品
在线旅游
9
IT数码
家电
图书音像
手机通讯
日用百货 虚拟产品
平台型 自营型
10
目录
海量的产品 以“客户为先”为核心的业务流 专业、拼搏的团队 前景广阔的京东业务
11
京东大数据分析与创新应用-邢志峰-发布版
关联标签挖掘 （基于京东搜索）
标签模型
舆情销售机会模型
主题模型
内外舆情数据集市
京东慧眼
京东雷达
京选（主题导购）
大数据看未来电商发展
电商用户群体趋向男女均衡
B2C网上购物人群的性别比例正在悄然变化，正趋向男女平衡
男性用户
女性用户
线上线下购物将互补发展
网购女性用户更喜欢选择在上班期间购物，而节假日还延续逛街习惯
女 男
移动购物成为电商未来趋势
工作时间
电脑设备
夜间休息
移动设备娱乐
准备 睡觉
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
加入我们
京东大数据平台
我们招聘
-数据挖掘工程师 -数据分析师
-BI工程师
-数据产品经理 ……. 简历可发送至：xingzhifeng@
• • 用户画像 京东慧眼
三 大数据创新的商业价值
• • 用户的生活圈 舆情深度挖掘
四 大数据看未来电商发展
电商面临的大数据挑战
商业思维面临的挑战
中国电子商务市 场依然在快速增 长，“红利”时
代还在延续
• 电商的人员构成（传统+互联网）
• 电商的组织架构（业务主导 VS 数据支持）
• 电商的商业目标（GMV VS Data-Driven）
用 户 浏 览
海淘犹豫型
SKU
奶爸奶妈
单身贵族 超级用户
时尚男女