杜立 - 从JStorm到Flink：腾讯实时流计算平台的建设与实践
中国算力大会优秀案例集
中国算力大会优秀案例集
1. 阿里巴巴云计算平台：阿里云计算平台是中国最大的云计算服务提供商之一。
它提供了强大的计算和存储资源，帮助企业轻松部署和管理自己的应用程序，并根据实际需求弹性扩缩容。
2. 腾讯人工智能：腾讯人工智能是中国最大的人工智能技术研究与应用平台之一。
腾讯利用算力优势和大数据技术，开发了多种人工智能应用，包括语音识别、图像识别和智能推荐等。
3. 华为云：华为云是华为推出的云计算服务平台。
它提供了高效、安全、可靠的云计算资源，帮助企业实现数字化转型。
华为云还积极推动人工智能的发展，并与各行业合作伙伴共同探索人工智能的应用场景。
4. 百度大脑：百度大脑是百度推出的人工智能开放平台。
它整合了百度在语音、图像、自然语言处理等领域的算法和技术，为开发者提供了一整套人工智能解决方案。
百度大脑已经应用到多个领域，包括智能车载、智能家居和智能商店等。
5. 英特尔中国AI创新中心：英特尔中国AI创新中心致力于
推动人工智能技术在中国的发展。
它与中国的高校和企业合作，共同研究人工智能算法和应用，培养人工智能人才，推动人工智能技术的商业化。
这些优秀案例展示了中国在算力方面的强大实力和创新能力，并为各行业提供了丰富的云计算和人工智能解决方案。
它们的
出现有力地推动了中国数字经济的发展，为中国经济转型升级提供了重要支撑。
JStorm—实时流式计算框架入门介绍
JStorm—实时流式计算框架⼊门介绍JStorm介绍 JStorm是参考storm基于Java语⾔重写的实时流式计算系统框架，做了很多改进。
如解决了之前的Storm nimbus节点的单点问题。
JStorm类似于Hadoop MapReduce系统，⽤户按照指定的接⼝去实现⼀个任务，任务提交给JStorm进⾏运⾏，且这种运⾏是不间断的，因为如果期间有worker发⽣故障，调度器会分配⼀个新的worker去替换这个故障worker。
从应⽤的⾓度来看，JStorm是⼀种分布式应⽤；从系统框架层⾯来看，JStorm⼜是⼀种类似于Hadoop MapReduce的调度系统；从数据层⾯来看，JStorm⼜是⼀种流式的实时计算⽅案。
JStorm优势1. 易开发性： JStomr接⼝简易，只需按照Spout、Bolt及Topology编程规范进⾏应⽤开发即可；2. 扩展性：可以线性的扩展性能，配置并发数即可；3. 容错性：出现故障worker时，调度器会分配⼀个新的worker去代替；4. 数据精准性：JStorm内置ACK机制，确保数据不丢失。
还可以采⽤事务机制确保进⼀步的精准度；5. 实时性：JStorm不间断运⾏任务，且实时计算。
JStorm应⽤场景1. 实时计算：可实时数据统计，实时监控；2. 消息转移：流处理完消息后，可以定向的将结果存储到其他消息中间件中；3. rpc请求：提交任务就是⼀次rpc请求过程；典型的场景：⽤于⽇志分析，rpc请求提交任务，从收集的⽇志中，统计出特定的数据结果，并将统计后的结果持久化到外部存储中，这是⼀种信息流处理⽅式，可聚合，可分析。
JStorm架构组件介绍UI：JStorm web界⾯。
Nimbus：调度者，是主控制节点，主要功能为提交任务、分配集群任务、集群监控等。
Supervisor：负责接收Nimbus分配的任务，管理⾃⼰的所属Worker进程，supervisor节点是整个集群中实际运⾏的topology节点。
Tencent大数据技术架构
SetA
网关 主 MySQL + Agent 备1 MySQL + Agent
…
应用 MySQL API
备2n MySQL + Agent
网关
SetB
网关 主 MySQL + Agent 备1 MySQL + Agent
…
备2n MySQL + Agent
1、识别DDL类sql，并以任务形式保存至scheduler； 2、解析DML类sql，并转发至对应Set； 3、收集Set返回的结果，组合后返回请求端； 4、watch并获取表的访问路由； …
容量：自动分表
GW(逻辑表) Mysql(物理表) GW(逻辑表) Mysql(物理表)
T 0 T 1
T
T
当SET资源不够或表 记录超标时，触发 扩容，物理表分裂
T 2 T T 3
该过程自动完成
初始态：逻辑表=物理表
T n
扩容后：逻辑表=N个物理表
容量：自动伸缩
伸缩方式
整表迁移 子表分裂
T1 T2 T3
原则：避免表分裂，及时表合并 表分裂的问题
在一个集群中，每次表分裂，会导致集群 表数量的增加；集群中表的数量就是路由 的条数，表数量越多，路由的效率就会越 低
•
• •
采用hardlimit+softlimit结合的方式
Hardlimit保证安全，不超机器总容量 Softlimit保证充分利用整机资源
14
Gaia 技术特点
强扩展性：支持单cluster万台规模
（即将达到
8800节点，20w+核，1500个pool）
微软Dryad分布式并行计算平台
一
个有 向无环图。图中的每个节点表示
个要执行的程序 ，节 点之 间的边表示
一
数据通道 中数据的传输方式，其可能是 文件 、Ｔ ＰＰｐ 、共享 内存等 ，为 了支 Ｃ ｉｅ
持数据类型需要针对每个类型有序列化
如 图２ 示 ， 当 用 户 使 用 Ｄｒ ａ 平 所 ｙｄ
算法 以充分利用细颗粒度并行的优势 ，
编 写 的程 序 可 以轻 易 运 行 在 分 布 式 并行
￣ 雌 哺 嚷
ｌ ａｉｎ ｜ ｔ ｓ ｃ ｏ Ｏ ｔ ａａ
辐 播
Ｍ ａ ｈｎ ｃ ｉｅ
｜ 哪
哟
嚣 精 ＿ ¨ ： 二麓 Ｃ
嘲 ， ｅ
ｉ ｍｉ Ｇ ａ ｒ ￣ 穗种 ￥ ｎ￣ 譬ｍ｜ｔ
孽 ｏ ￥ ｒ ｕ 糖 ￡ ｉｔｉ 雹 ０毽 Ｓ ｒ ｃ ｕ ｅ 、 ｂ Ｉ ￣ｕ ｔ ｒ ｓ
集群计算平 台，无论是单台多核 计算机 务在各 个节点上 的运 行。在Ｄ ｙ ｄ ｒ ａ 平台 还是由多台计算机组成的集群 ，甚至拥 上 ，每个工作或并行计 算过程被表示为
计算编程框架 ，支持常用 的协 同任务调 度和硬件 资源管理 ，通过Ｗｏｋｓ ａｉｇ ｒ ｅｌ ｔ ｎ
有数千 台计算机 的数据中心，都 可以从 任务队列 中创建的策略建 模来 实现分布 式并行计算 的编程框架。
传递 组成 。任务 管理 器 获取 无环 图之 有 向无 环 图 。这些 操作 包 括建 立新 节 候 ，会 先 查 看 用 户 属 于 哪 一 类 ，然 后 后 ，便 会在 程序 的 输入 通道 准备 ，当 点 ，在 节点 问 加入 边 ，合 并两 个 图 以 直 接 访 问存 储 那 类 用 户 数 据 的数 据 有 可用机 器 的时 候便 对 它进 行调 度 。 随后Ｊ Ｍ从命名 服务 器那 里获得 一个 可
研制任务书
产品处理系统(PGS)数据支撑分系统
研制任务书
编写 校对 审核 会签 批准
国家卫星气象中心 2017 年 8 月
版本号
日期
0.1 2015.03.01
1.0 2015.11.04
2.0 2015.11.15
文档修改记录
所修改章节 所有
所修改页
注记
初稿
所有 所有
终稿
5 设计约束与要求 .................................................. 21
5.1 质量要求 ..................................................... 21 5.1.1 正确性与准确性........................................... 21 5.1.2 稳定性与可靠性........................................... 21 5.1.3 安全性................................................... 22 5.1.4 可扩展性和易维护性....................................... 22 5.1.5 易用性................................................... 22 5.1.6 时效性................................................... 22
4.1.1 概述..................................................... 16 4.1.2 功能要求................................................. 16 4.1.3 非功能要求............................................... 18 4.2 系统及平台子系统 ............................................. 19 4.2.1 概述..................................................... 19 4.2.2 功能要求................................................. 19 4.2.3 非功能要求............................................... 21
BJ-ATMTB-易卓方登
700,000
600,000 500,000 400,000 300,000 200,000 100,000 0 2012/10 2013/09 2014/08
DAU
web+wap
app
SPO
15
用户众包产生海量丰富的UGC内容
类型与数量丰富的游戏覆盖
攻略端数量 着迷网 任玩堂 口袋巴士 游戏多 不凡游戏网 17173手游网 49 9 1 1 10 14 精品wiki+专区数量 206 71 13 52 31 10
娱乐粉丝
数据库
爱车一族
垂直领域的核心品牌
时尚女性
+
价值极高的用户池
视觉瀑布流
+ 微博客
沉淀的优质内容资产
投资人士
形成互动性强的聚合平台
医学人士
BBS
图文攻略
旅游爱好者
7
发力游戏行业的上游流量入口
数字娱乐领域飞速增长，规模达 千亿级别，强势IP不断涌现
游
戏
动
漫
移动游戏市场规模:2013年 148.5亿，同比增长69.3%， 2014年预计236.4亿 用户规模：2013年1.9亿， 2014年预计超3亿 2013年月流水过千万国产手 游超60款，比2012年的10款 迅猛增长 2013年，首款月流水过亿产 品《时空猎人》诞生
12
03
着迷在游戏领域的斐然成绩
预先在游戏领域成功试水
月活跃用户达到 移动端流量占比
1,000万 60% 227，领先所有游
用户 和流量 覆盖 和生成的 内容量
累计
30万UGC攻略页面，超过其他
手游媒体总和 覆盖游戏
在网计算推动算网融合落地
在网计算概述
典型应用场景
场景 1：高性能计算
在网计算是一种将计算任务和数据处理能力从传统的中
正逐渐成为推动数字经济转型升级的重要力量，其广泛应用 算资源突破落地。
推动了算网融合从概念走向实践。单一的在网计算技术难以
满足日益复杂的业务需求和多元化的应用场景，通过将计算、
通信、存储及应用服务下沉至网络边缘，集成云计算的强大
作者单位：中国移动广东公司
80
中国电信业 CHINA TELECOMMUNICATIONS TRADE
段为概念萌芽阶段，主要是面向传统集合通信操作造成的资 性需求，以及减轻中央数据中心的负担。
源堵塞、计算资源浪费等问题，在本世纪初高性能计算领域 传统式高性能计算依赖于中央集中式的
提出硬件卸载的方式，即相对于传统的基于软件的集合操作， 超级计算机或数据中心。在网计算为高
将集合操作由网卡、交换机等硬件执行，有效加快了集合通 性能计算带来了新的维度，在网计算功
行性、张量并行性等不同维度并行技术，
在网计算技术架构包括设备、功能、平台、应用多个层
对计算任务、训练数据和模型进行划分， 次，涉及网络协议卸载、数据处理、异构网元、高性能互联、
实现分布式存储和分布式训练，大幅提 分布式应用等多方面的技术能力。
升训练效率。
网络协议卸载
场景 3：车联网
在进行数据发送和接送操作时，TCP/IP 协议栈一般通过
例如，英伟达在业界率先实现公有云业
大模型时代的基础架构读书笔记
《大模型时代的基础架构》读书笔记目录一、内容描述 (2)二、大模型时代的挑战与机遇 (3)2.1 大模型带来的挑战 (5)2.1.1 计算资源的限制 (6)2.1.2 数据隐私与安全问题 (7)2.1.3 模型可解释性与透明度 (9)2.2 大模型带来的机遇 (10)2.2.1 新算法与新架构的出现 (11)2.2.2 跨领域合作与创新 (12)三、大模型时代的基础架构 (14)3.1 硬件架构 (15)3.1.1 GPU与TPU的发展与应用 (16)3.1.2 其他硬件技术的发展 (18)3.2 软件架构 (19)3.2.1 深度学习框架的功能与特点 (21)3.2.2 软件架构的可扩展性与灵活性 (22)3.3 优化与加速 (23)3.3.1 模型压缩技术 (24)3.3.2 知识蒸馏技术 (26)四、大模型时代的基础架构发展趋势 (27)4.1 技术融合与创新 (28)4.1.1 硬件与软件的融合 (29)4.1.2 多种技术的综合应用 (31)4.2 用户需求与市场导向 (32)4.2.1 用户需求的变化 (34)4.2.2 市场导向的影响 (35)五、结论 (37)一、内容描述《大模型时代的基础架构》是一本关于人工智能和深度学习领域的重要著作，作者通过对当前最先进的技术和方法的深入剖析，为我们揭示了大模型时代下的基础架构设计原则和实践经验。
本书共分为四个部分，分别从基础架构的概念、技术选型、部署和管理以及未来发展趋势等方面进行了全面阐述。
在第一部分中，作者首先介绍了基础架构的概念，包括什么是基础架构、为什么需要基础架构以及基础架构的主要组成部分等。
作者对当前主流的基础架构技术进行了简要梳理，包括云计算、分布式计算、容器化、微服务等。
通过对比分析各种技术的优缺点，作者为读者提供了一个清晰的技术选型参考。
第二部分主要围绕技术选型展开，作者详细介绍了如何根据项目需求和业务场景选择合适的基础架构技术。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
演讲人：杜立
2019
中国数据智能管理峰会
目录
01 02 03
腾讯实时计算概况 Oceanus平台介绍 开源特性增强
04
流计算业务实践
2019
中国数据智能管理峰会
实时计算业务赋能
2019
中国数据智能管理峰会
腾讯实时计算规模
2.1亿/秒
峰值消息处理
2018.01
Flink产品化
开始建设基于Flink的一站式流计算 平台Oceanus，并针对性优化社区 Flink On Yarn模式的部分功能。
2019.03
Oceanus场景化建设
打造内部Oceanus生态，完善场 景化服务，上线在线ML，开始 建设秒级监控等平台。
2017.09
Flink开源版本增强，业务迁移
……..
2019
24h Purge R(n+m)
5min R(n+m) = R(n+m-1) + delta
Sink R(n+m)
中国数据智能管理峰会
Enhanced Window
t tt t Event
t tt t Event
2019
Window
Current watermark 大于
小于(丢弃)
中国数据智能管理峰会
(Local)KeyBy对比
2019
中国数据智能管理峰会
Flink指标及UI重构
2019
中国数据智能管理峰会
目录
01 02 03
腾讯实时计算概况 Oceanus平台介绍 开源特性增强
04
流计算业务实践
2019
中国数据智能管理峰会
实时ETL
2019
中国数据智能管理峰会
实时统计分析
04
流计算业务实践
2019
中国数据智能管理峰会
可靠性提升
2019
中国数据智能管理峰会
Increment Window
Event
e ee ee ee e
……..
e ee e
5min R(n) = R(n-1) + delta
5min R(n+1) = R(n) + delta
Sink R(n)
Sink R(n+1)
2019
中国数据智能管理峰会
监控告警
2019
中国数据智能管理峰会
机器学习-在线训练
2019
中国数据智能管理峰会
机器学习-在线推理
2019
中国数据智能管理峰会
THANK YOU!
2019
中国数据智能管理峰会
20万亿
日均消息总条数
3PB
日均消息总大小
2019
中国数据智能管理峰会
JStorm到Flink的演进历程
2017.03
Flink框架预研，JStorm上K8S
新框架调研，评估Flink替代JStorm 的可行性，包括：功能、性能等的 对比。此时所有的流计算任务全部 由JStorm承载，且继续演进新版本。
Window
Current watermark 大于
小于
中国数据智能管理峰会
LocalKeyBy
2019
4 5 5
Source -> KeyBy -> Window -> Sum -> Sink
4
5
4
3
2
2
1
3
3
3
1
4
2
3
5
3
2
5
4
5
4
Source -> LocalKeyBy -> Sum -> Window -> KeyBy -> Sum -> Sink
Oceanus-在线调试
2019
中国数据智能管理峰会
Oceanus-指标统计
2019
中国数据智能管理峰会
Oceanus-并行度调整
2019
中国数据智能管理峰会
Oceanus-自助诊断
2019
中国数据智能管理峰会
Oceanus-告警配置
2019
中国数据智能管理峰会
目录
01 02 03
腾讯实时计算概况 Oceanus平台介绍 开源特性增强
针对内部场景，部分改造优化开源 版本，开始迁移部分JStorm上的任 务，以standalone模式运行
2019
2018.09
Oceanus平台上线
实时流计算平台规模化接入腾讯内部业务(覆 盖所有BG)、TBDS客户，上线公有云。开始 批量迁移存量JStorm的任务到Oceanus。内 部宣布JStorm版本不再演进。
不仅通过平台Web页面可轻松查看指标、打点日志等数据，同时对调 试结果，应用输出等，都提供了可视化的方式。
持续增强
结合业务实践，持续优化既有能力，并且迭代新功能；在满足自身客 户需求的同时，适时回馈社区。
2019
中国数据智能管理峰会
Oceanus-提交计算任务
配置元数据
2019
创建DAG
编译提交
中国数据智能管理峰会
中国数据智能管理峰会
目录
01 02 03
腾讯实时计算概况 Oceanus平台介绍 开源特性增强
04
流计算业务实践
2019
中国数据智能管理峰会
Oceanus实时计算平台
2019
中国数据智能管理峰会
平台建设重点
一站式
提供完善的上下游数据生态，形成从接入、处理，到应用的数据闭环。
自助化 可视化
借助平台的应用调试、丰富的实时指标数据、配置化告警等功能，实 现监控、运维自助化。