京东青龙系统数据库架构演进
京东青龙系统数据库架构演进
ü 自动收集所有系统慢SQL 日志，提高性能优化效率；
ü DBA审核后，自动发送邮 件；
ᕮ๕
2012 集中化
2014 垂直化
2015 水平化
2016
私有云
分Thank youѺ
等。
ԯդ-ᬩᖌ
统一监控 平台
MHA自动 切换
慢SQL平台
ü 开放数据库服务器监控查 询；
ü dbs，MySQL架构信息； ü Zabbix，MySQL数据库信
息; ü Mjdos，Docker系统信息；
ü 自动补齐数据，提高系统 可用性；
ü 自动切换域名，提高切换 效率；
方案
1.分库分表规则论证 2.代码重写&测试 2.MySQL数据库 3.Jproxy中间件
ԯຝ-ଘೆړ
ԯຝ
l 架构特点
高性能 l 分库分表 l 上百台MySQL集群 l SSD+IO卡
高可用 l 单库故障不影响全局 l MHA快速主从切换
运营支持
青龙门户 质控管理 时效管理 绩效管理 监控报表 财务
基础服务
基础资料 运单 消息总线 分库框架 序列服务
系统概况-架构演变
系统概况-智慧物流
փᕹຝ-ੜդ
传统Oracle企业架构，IBM 的AIX小机 RAC + DataGuard 方式 支撑业务上线
中小件件冷藏冷冻thegiaccom青龙业务正向物流极速达夜间配上门换新自提点柜乡村电商逆向物流财务物流开放平台上门取件精准达thegiaccom青龙模块划分外部拓展b商家客户端接货中o2o派单b商家合同crm配送官网乡村电商终端服务配送pda站点erp自提点3pl自提柜pda关电签收路由跟踪资归集快速退款运输运输pda车辆调度运输配置运输运营路由系统分拣分拣pda分拣服务缓存管理逆向物流预分拣运营支持质控管理时效管理绩效管理青龙门户监控报表财务基础服务基础资料运单序列服务消息总线分库框架车辆管理thegiaccom系统概况架构演变thegiaccom系统概况智慧物流thegiaccom传统oracle企业架构ibm的aix小机racdataguard方式支撑业务上线thegiaccom优点缺点优缺点thegiaccom优化和保护sql优化01应用限流连接数控制03数据结转02系统降级04架构优化redissolr05thegiaccomx86adgthegiaccomx86oracle数据库想要扩容难度很难特别是应用系统已经充分解耦的情况下架构很难再进行调扩展性emc高端存储三年的硬件维保到期pcserver硬件损坏的问题也很突出比如硬盘电源io卡使用寿命等问题时有发生
京东商家ERP对接青龙系统流程
商家ERP对接青龙系统京东商城-运营研发部-青龙研发部目录一、对接京东JOS平台 (3)二、对接青龙接口 (5)2.1 运单获取接口 (5)2.2 接单接口 (6)2.3 全程跟踪接口需求 (9)三、快递单说明 (11)3.1 纸质运单样式 (11)3.2 打印后的运单样式 (13)3.3 说明 (13)四、对接FAQ (16)一、对接京东JOS平台京东配送使用的是京东青龙系统，属于京东内网系统。
要与之对接，首先需要外部商家ERP系统对接JOS平台。
具体步骤如下：第一步：提交以下资料到**********申请条件：注册资本100万元以上的京东商家第二步：创建应用（自研），将创建好的appkey发给**********做处理1. 审核通过后，使用商家账号登录京东开放服务平台（）2. 在宙斯控制台中创建“自研应用”，将创建的appkey发给**********第三步：appkey被处理好后会收到jos返回的邮件，在控制台中点击“上线运行”即可另：参照授权说明/doc/channel.htm?id=152 对应用进行授权参照接口文档/api/index.htm 调取接口开发软件联系方式： QQ：群号：81528518二、对接青龙接口与JOS平台对接成功后，可调用已开放到JOS平台上的青龙系统对应接口。
京东物流配送的接口请参考：/jos/question-814.html。
2.1 运单获取接口获取京东物流运单号接口：/jos/question-814.html#A20。
接口说明1）此处可以支持运单批量调用，接口会对商家在每月的总调用量进行限制；2）返回的运单集合，请参考详细技术文档。
2.2 接单接口京东物流接单接口：/jos/question-814.html#A21。
输入参数(黄色部分请重点关注)：接口说明：1）非空字段为必填项，需要商家返回；2）可扩展业务选项，做为预留字段，以适应未来可能开展的业务；3）对于商家传入的包裹的重量、体积，主要用来进行订单信息的参考。
京东数据仓库海量数据交换工具--张侃
HDFS
hdfs writer
多线程并行执行
reader disruptor writer
reader
disruptor
writer
ቤተ መጻሕፍቲ ባይዱ
reader
disruptor
writer
并行执行任务
– 分库分表，库名表名sql拆分
资源有效利用
– 根据系统资源增加线程数
调度模板和实时监控
二、plumber技术特点和实现方案
三、 clojure语言在开发中的应用
技术特点及实现方案 • 读写分离插件化
• 多线程并行执行
• 配置化和实时统计信息 • 定制化开发全国仓库抽取
读写插件化
reader
disruptor
writer
Reader : mysql, sqlserver, oracle, mongodb, hive, log Writer : hive, mysql, oracle, hbase
三、 clojure语言在开发中的应用
目 录 CONTENTS
一、离线海量数据交换场景介绍
二、plumber技术特点和实现方案
三、 clojure语言在开发中的应用
技术突破
• 海量
• 每日进出上TB数据
• 每天数千数据传输任务 • 异构
• 结构化：mysql, sqlserver, oracle, hive
谢谢！
Thank you!
北京市朝阳区北辰西路8号北辰世纪中心A座6层 6F Building A, North-Star Century Center, 8 Beichen West Street, Chaoyang District, Beijing 100101 T. 010-5895 1234 F. 010-5895 1234 E. xingming@
数据仓库概念汇总
MDD 多维数据库（Multi-Dimensional Database ，MDD）可以简单地理解为：将数据存放在一个 n 维数组中，而
不是像关系数据库那样以记录的形式存放。因此它存在大量稀疏矩阵，人们可以通过多维视图来观察数据。多维 数据库增加了一个时间维，与关系数据库相比，它的优势在于可以提高数据处理速度，加快反应时间，提高查询 效率。
库或数据仓库中提取人们感兴趣的知识，这些知识是隐含的、事先未知的、潜在有用的、易被理解的模式。
KPI 企业关键业绩指标(KPI：Key Process Indication)是通过对组织内部流程的输入端、输出端的关键参数进行设
置、取样、计算、分析，衡量流程绩效的一种目标式量化管理指标，是把企业的战略目标分解为可操作的工作目 标的工具，是企业绩效管理的基础。
效指标(KPIs)等先进信息技术和管理理论为基础的战略管理的工具，在财务、客户、内部流程和学习与发展四个维 度上进行综合绩效评测，帮助企业从整体上实现对战略实过程的贯彻和控制。
BPR 业务流程重整（Business Process Reengineering），指利用数据仓库技术，发现并纠正企业业务流程中的弊
严格遵照 Codd 的定义，自行建立了多维数据库，来存放联机分析系统数据的 Arbor Software，开创了多维数 据存储的先河，后来的很多家公司纷纷采用多维数据存储。被人们称为 Multi-Dimension OLAP，简称 MOLAP，代 表产品有 Hyperion(原 Arbor Software)Essbase、Showcase STRATEGY 等。 ODS
对于数据仓库的概念我们可以从两个层次予以理解，首先，数据仓库用于支持决策，面向分析型数据处理， 它不同于企业现有的操作型数据库；其次，数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了 重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。
一文搞懂企业架构：业务架构、应用架构、数据架构
一文搞懂企业架构：业务架构、应用架构、数据架构本文内容提纲：01 什么是架构和架构本质02 架构分层和分类03 架构的级别04 应用架构的演进05 衡量架构的合理性06 常见架构误区07 架构知识体系一、什么是架构和架构本质在软件行业，对于什么是架构，都有很多的争论，每个人都有自己的理解。
此君说的架构和彼君理解的架构未必是一回事。
因此我们在讨论架构之前，我们先讨论架构的概念定义，概念是人认识这个世界的基础，并用来沟通的手段，如果对架构概念理解不一样，那沟通起来自然不顺畅。
Linux有架构，MySQL有架构，JVM也有架构，使用Java开发、MySQL存储、跑在Linux上的业务系统也有架构，应该关注哪一个？想要清楚以上问题需要梳理几个有关系又相似的概念：系统与子系统、模块与组建、框架与架构:1.1. 系统与子系统系统：泛指由一群有关联的个体组成，根据某种规则运作，能完成个别元件不能独立完成的工作能力的群体。
子系统：也是由一群关联的个体组成的系统，多半是在更大的系统中的一部分。
1.2. 模块与组件都是系统的组成部分，从不同角度拆分系统而已。
模块是逻辑单元，组件是物理单元。
模块就是从逻辑上将系统分解，即分而治之，将复杂问题简单化。
模块的粒度可大可小，可以是系统，几个子系统、某个服务，函数，类，方法、功能块等等。
组件可以包括应用服务、数据库、网络、物理机、还可以包括MQ、容器、Nginx等技术组件。
1.3. 框架与架构框架是组件实现的规范，例如：MVC、MVP、MVVM等，是提供基础功能的产品，例如开源框架：Ruby on Rails、Spring、Laravel、Django等，这是可以拿来直接使用或者在此基础上二次开发。
框架是规范，架构是结构。
我在这重新定义架构：软件架构指软件系统的顶层结构。
架构是经过系统性地思考, 权衡利弊之后在现有资源约束下的最合理决策, 最终明确的系统骨架: 包括子系统、模块、组件以及他们之间协作关系, 约束规范, 指导原则.并由它来指导团队中的每个人思想层面上的一致。
京东的发展历程
京东的发展历程引言概述：作为中国最大的综合性电商平台之一，京东在过去的几年里取得了巨大的成功。
本文将从京东的发展历程入手，探讨京东是如何从一个小小的电商平台发展成为如今的巨头的。
一、创立与初期发展1.1 京东的创立京东创立于2004年，最初名为“京东商城”，由刘强东创立。
刘强东在创办京东之初，将其定位为一个专注于销售电脑配件的B2C电商平台。
1.2 京东的初期发展在创立之初，京东面临着激烈的竞争和资金短缺的困境。
然而，京东通过提供优质的商品和服务，以及强大的物流体系，逐渐赢得了消费者的信任和认可。
1.3 京东的战略调整随着市场竞争的加剧和消费者需求的变化，京东逐渐调整了自己的战略，开始向更多的品类拓展。
同时，京东还加大了对物流和技术的投入，不断提升用户体验。
二、平台升级与国际化进程2.1 京东的平台升级随着挪移互联网的发展，京东逐渐意识到电商行业的变革和机遇。
京东积极推进平台升级，推出了京东商城APP和京东金融等服务，为用户提供更多元化的购物体验。
京东在2022年正式推出了全球购项目，开始向海外市场拓展。
随后，京东相继进入东南亚、欧洲等市场，实现了国际化的战略布局。
2.3 京东的跨界合作为了进一步扩大市场份额和提升品牌影响力，京东与各行业巨头展开了一系列跨界合作。
例如，京东与华为、小米等手机品牌合作，共同推出独家定制产品。
三、技术创新与智能化发展3.1 京东的技术创新京东向来致力于技术创新，不断提升平台的智能化和个性化服务。
京东推出了人工智能、大数据分析等技术，为用户提供更精准的推荐和购物体验。
3.2 京东的智能化发展京东在物流、支付、客服等方面引入智能化技术，提高了效率和用户体验。
例如，京东的无人机配送、人脸识别支付等技术应用，让用户享受到更便捷的购物体验。
3.3 京东的未来展望京东表示，未来将继续加大对技术创新和智能化发展的投入，不断提升用户体验和服务质量。
京东希翼通过技术的力量，实现更多的商业价值和社会效益。
京东弹性数据库
目录
1 发展历程 2 功能特性 3 整体架构 4 实现细节 5 使用情况
1 Part
发展历程
诸侯混战->MySQL->Jproxy->弹性数据库
Hale Waihona Puke 2011MySQL、 PostGre、 Oracle、 SqlServer
MySQL
2014
2015
JProxy
弹性数据库
2017
2 Part
服务线上业务
3122
02
01
管理Table 6618845
03
自动完成切换 2710
04
完成自助化上线 27092
05
70000 60000 50000 40000 30000 20000 10000
0
分片数与OPS关系
分片数与延时关系
4 3.5
3 2.5
2 1.5
1 0.5
0
50000 40000 30000 20000 10000
功能特性
京东弹性数据库是一个产品系列,包括：JED、BinLake 和DBS，解决了数据库管理和使用过程中的动态伸缩、 高可用、数据路由、日志采集和自动化运维等一系列 问题
JED
1 2 3 4 5
在线动态扩容 自动FailOver 兼容MySQL协议 多源数据迁移 数据库操作审计
BinLake
1 2 3 4 5
BinLake
DBS
4 Part
实现细节
动态Resharding、流式排序、集群化BinLog采集与订 阅的实现细节
动态在线扩容
动态在线扩容
动态在线扩容
动态在线扩容
系统技术架构说明书
北京友联慧通科技有限公司技术文档全网电子商务平台技术架构说明书2010年3月18日北京友联慧通科技有限公司目录技术性需求分析 (4)一致的逻辑数据 (4)优秀的网络环境适应性 (4)系统的兼容性 (4)优异的系统性能 (4)开放的界面和接口 (4)完备的操作日志管理策略 (4)高度的安全性 (4)技术性设计思想和原则 (5)最小成本原则 (5)安全性、可靠性、先进性原则 (5)安全性与可靠性原则 (5)先进性原则： (5)实用性、易用性、可扩展性原则 (5)实用性原则 (5)统一及一致性原则 (6)业务引导及易用性原则 (6)友好及方便性原则 (6)扩展性和适应性原则 (6)数据共享原则 (7)系统技术架构的设计 (7)技术架构的特点 (7)系统的架构图 (7)技术架构图 (7)系统请求数据处理流程图 (9)体系结构图 (10)系统核心功能分布图 (11)架构层次的说明 (11)数据库层 (11)中间件层 (12)基础服务层 (16)应用层 (20)业务表现层和系统接口层 (21)系统部署环境 (22)商城平台部署环境 (22)运行平台 (22)操作系统 (22)应用服务器 (23)Web服务器 (23)数据库服务器 (23)缓存服务器 (23)图片文件服务器 (23)系统部署拓扑图 (23)系统部署结构图 (24)技术性需求分析一致的逻辑数据一般来说，平台所有的服务接点都是这个数据库的客户端访问；因此从逻辑上，任意服务网络接入点的数据应该是一致的。
优秀的网络环境适应性从系统的实现角度考虑，要满足各种复杂的网络环境。
系统的兼容性由于服务结点的数量巨大，其使用的平台和语言各不相同，需要能够容纳所有类型的服务结点；优异的系统性能从系统架构设计上需要考虑巨大量数据的处理引擎，从系统本身进行性能上的优化，而不是仅仅凭借于硬件服务器的性能。
开放的界面和接口不仅个人用户能够方便地通过Web应用查询信息，同时也需要能够预留非GUI的交互界面的接口，以便使其它应用系统也能使用数据管理系统提供的信息服务，同时还需要为第三方软件预留标准的集成接口，使系统具有高度的可扩展性；完备的操作日志管理策略需要有完备的操作日志管理引擎，记录系统交互过程中的日志数据。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
采用Elasticsearch 或者Hadoop
ԯຝ-sqlս۸
慢SQL平台
Email推送
深入业务
ԯຝ-හഝᕮ
1
2
3
4
容量分析
• IO密集型系统 • 上线前容量评估 • 数据库业务类型 • 数据增长趋势 • 。。。
空间清理
• 监控报警 • 制定清理策略 • 自动清理
ü 自动收集所有系统慢SQL 日志，提高性能优化效率；
ü DBA审核后，自动发送邮 件；
ᕮ๕
2012 集中化
2014 垂直化
2015 水平化
2016
私有云
分布式
ದຝ๚
谢谢！
Thank youѺ
SQL优化
03
应用限流 （连接数控制）
02
数据结转
04
系统降级
05
架构优化 （Redis，solr ）
X86ຝ-࣮ፗೆړ
ADG
X86ຝ
l 问题和困惑
扩展性
每 逢 大 促 期 间， Oracle数据库想要 扩容难度很难，特 别是应用系统已经 充分解耦的情况下， 架构很难再进行调 整。
扩展性 l 部署灵活快捷 l 拆分迁移快速
京东云 l 灾备环境Docker化
自主性 l 开源数据库 l 自研应用集群 l 自研DB中间件
ԯຝ
l 架构优化
高并发频繁读写的数据
前端部署JIMDB进行缓冲
日志类和大字段数据迁移出MySQL
采用MongoDB、Cassandra等NoSQL或者JFS（ Jingdong Filesystem ）
故障切换时间较长， 且一旦failover后 原Dataguard关系 彻底损坏，需重建 搭建DG的主备环 境，工作量较大。
X86ຝ
l 需求和方案
诉求
1.灵活扩展性 2.系统可用性 3.技术自主性 4.降低TCO 5.满足3-5年的业务增长
难点
1.分库分表规则 2.代码重写 3.开源数据库的选择 4.DB中间件的选择
外部拓展
B商家客户端 接货中心
B商家合同 CRM
3PL 电子面单 O2O派单
乡村电商
配送官网
终端服务
配送PDA PDA网关 自提点 自提柜 站点ERP
开
电子签收 路由跟踪 资金归集 快速退款
放
API&
大运输 分拣
运输PDA 运输配置 车辆管理 车辆调度 运输运营 消
路由系统
息 服
务
分拣PDA 分拣服务 缓存管理 逆向物流 预分拣
Ղӳᶆὄᔮᕹහഝପຝ ᄍᬰ
—————ᩳݻԯᒒ
李大勇 2016年12月
ದຝ๚
目 录 CONTENTS
青龙 系统概况 传统架构 X86架构 云架构
青龙-业务
7个智能物流中心已经投入使用 （亚洲一号）
运营254个大型仓库 仓储总面积：550万平方米 配送站、自提点：6780个
数据结转
• 历史库 • 结转规则 • 结转方法
自动平台
• 数据自动结转平台 • Hbase集群 • 历史数据随时查询 • 减少资源消耗
ԯդ-ᬩᖌ
一站式的数据库管理平台： ü 针对研发：数据库申请，SQL线审核，授权，提数，慢SQL，数据库架构
信息等等； ü 针对管理：自动化部署，自动化监控，切换管理，域名管理，监控报表等
方案
1.分库分表规则论证 2.代码重写&测试 2.MySQL数据库 3.Jproxy中间件
ԯຝ-ଘೆړ
ԯຝ
l 架构特点
高性能 l 分库分表 l 上百台MySQL集群 l SSD+IO卡
高可用 l 单库故障不影响全局 l MHA快速主从切换
硬件故障
EMC高端存储三年 的 硬 件 维 保 到 期， PCServer硬件损坏 的 问 题 也 很 突 出， 比 如 硬 盘 ， 电 源， IO卡使用寿命等问 题时有发生。
费用
EMC高端存储的维 保费用非常高，加 上Oracle数据库的 License费用，对 公司的预算ຝ
փᕹຝ
l 优缺点
优点
缺点
• 集中部署 • 数据库技术成熟 • 性能稳定
• 系统耦合互相影响干扰 • 扩展性和灵活性差 • 大促期间风险和压力不可控 • 主备服务器硬件性能差距大
փᕹຝ
l 优化和保护
01
覆盖区县：2646个 配送能力：85%的自营订单实现
当日或次日达配送 京东物流网：中小件+大件+冷藏冷冻
Chengdu
Beijing
青龙-业务
• 正向物流 逆向物流
精准达
夜间配
极速达
211
自提点/柜
乡村电商
上门换新 上门取件
外单 财务 物流开放平台
青龙-模块划分
运营支持
青龙门户 质控管理 时效管理 绩效管理 监控报表 财务
基础服务
基础资料 运单 消息总线 分库框架 序列服务
系统概况-架构演变
系统概况-智慧物流
փᕹຝ-ੜդ
传统Oracle企业架构，IBM 的AIX小机 RAC + DataGuard 方式 支撑业务上线
等。
ԯդ-ᬩᖌ
统一监控 平台
MHA自动 切换
慢SQL平台
ü 开放数据库服务器监控查 询；
ü dbs，MySQL架构信息； ü Zabbix，MySQL数据库信
息; ü Mjdos，Docker系统信息；
ü 自动补齐数据，提高系统 可用性；
ü 自动切换域名，提高切换 效率；