Tencent大数据技术架构
腾讯游戏大数据应用技术架构
任务体系 日常运营 游戏生涯Fra bibliotek分群干预
实时计算能力 数据包装能力
节点运营
版 本
节 日
赛 事
周 年
大数据支持
目录
• 腾讯游戏大数据应用技术架构 • DataMore实时规则应用 • 游戏大数据实时计算体系
DataMore实时规则应用
实时计算
规则计算
RT-‐Rule CheckSvr
上海南汇IDC
上海周浦IDC
实时事件消息总线
Event Table Bus TGlog TRedis
Ka@a
实时指标一致性存储
腾讯游戏大数据应用技术架构
DevOps
数据源
数据接入 游戏内 TGLog TDBank 游戏外 DT
大数据平台
数据处理 实时计算 引擎 应用模型 实时规则 用户画像 精准推荐
业务应用
可视化报表 效果分析 活动营销 个人中心 消息推送 渠道管理
日增 王者
55T，800亿 100W+QPS
数据源异构化突出，数据量大
用户行为多，400+表 维度扩散大，度量组合多样
一游戏一世界，数据抽象模型困难
如何利用大数据技术帮助产品快速、有效的实现游戏精细化运营？
腾讯游戏大数据应用技术架构
发现问题 01 分析问题 02 解决问题 03
数据监控
经 营 分 析 实 时 分 析 场 景 分 析 提 取 分 析
分析决策
跟 踪 分 析 多 维 分 析 场 景 化 标 签
腾讯云部门组织架构
腾讯云部门组织架构作为中国领先的云计算服务提供商，腾讯云拥有着强大的团队和严密的组织架构，以确保公司的稳健发展和业务的顺利运营。
以下是腾讯云部门组织架构的详细介绍。
首先，腾讯云主要分为四个大部门，分别为企业云、游戏云、公共云和视频云。
每个大部门内部又分为许多小部门和小组，以便更好地管理和协调各项业务和任务。
企业云业务部门是为企业客户提供云计算产品和服务的部门，主要承担着企业客户的咨询、销售、交付和售后服务等任务。
该部门下设有市场与业务部、销售与服务部、设计与交付部、平台研发部等子部门和小组，分别负责市场推广、客户开发、产品设计和研发、运营维护等职能。
游戏云业务部门是为游戏行业客户提供云计算产品和服务的部门，主要致力于为游戏客户提供最佳的云计算解决方案，助力其实现游戏全生命周期的数字化转型。
这个部门下设有策略与发展部、市场与业务部、销售与客户关系部、平台运营与技术研发部等子部门和小组。
公共云业务部门是为领导和企业客户提供云计算产品和服务的部门，主要为客户提供稳定和可靠的公共云基础设施和相关服务。
该部门下设有微信企业级数字化平台部、基础设施应用与安全服务部、市场与业务部、销售与客户关系部等子部门和小组。
视频云业务部门是为各种视频应用客户提供视频云计算产品和服务的部门，主要为视频客户提供多种形式的视频技术、平台和产品。
该部门下设有技术研发部、市场与业务部、产品设计部、销售与客户关系部等子部门和小组。
除了以上四个大的业务部门之外，腾讯云还有一些相关职能部门，如人力资源部门、市场部门、财务部门、法务部门等。
这些职能部门协同各大业务部门，为公司提供全方位的支持和帮助，引领腾讯云的发展。
总之，腾讯云的组织架构设计合理，各大业务部门和相关职能部门相互协作、分工明确，为公司的高速发展和业务的顺利运营奠定了坚实的基础。
解构腾讯探究互联网公司的组织结构设计原理(杨少杰)
解读腾讯，探究互联网公司的组织结构设计原理在《腾讯之道》一书中，腾讯的组织结构被描述成“大三层、小三层金字塔”，让人看起来有些神秘，但凡神秘的东西都带有一定的吸引力，贴上这种标签后，自然会引起人们一探究竟的兴趣。
“大三层金字塔、小三层金字塔”显然无形中是与“金字塔”做了对照，用意在于明确告知人们有别于传统组织结构形式，即便的确两者之间有明显区别，其实只要用到“金字塔”这样的关键词就摆脱不了传统管理思维的嫌疑。
其实“大三层金字塔、小三层金字塔”并不难理解，只要掌握组织结构演变规律，就能知道腾讯采取的是矩阵型组织结构。
当然，并非腾讯成立之初就采取了矩阵型结构，从腾讯的进化规律轨迹来看，1998年成立后，很快演变为职能型组织结构，然后是事业部型组织结构，这都是精英价值形态中的组织结构形式。
处于互联网行业的公司，通常要比传统制造业先感知市场变化，因此2005年开启了一次大规模的组织结构变革，尝试向矩阵型组织结构演变。
2012年演变到矩阵型结构阶段时，组织结构调整逐渐频繁，几乎是年年都在变动，这也是矩阵型结构的特征之一，通过调整结构来适应市场变化。
今天中国的互联网公司，无论规模大小，无论看起来有多么复杂，但都遵循了矩阵型结构的运行原理，当然不排除未来会这些公司出现流程型组织结构，只是至少目前还不具备条件。
腾讯的组织架构分为两个层次，第一个层次由管理部门、事业部群、各业务部门组成，称之为“大三层金字塔”，第二个层次是由业务部门、功能中心、业务小组，称之为“小三层金字塔”，业务部门成为两个“金字塔”的衔接点。
一、大三层金字塔位于“大三层金字塔”顶端的是总经理办公室，简称总办，一般由高级执行副总裁及其以上职位组成，负责把控企业的战略方向、转型方向、重大架构调整，以及开放战略、连接策略等对企业影响至关重要的问题。
此外，他们还要把握产品方向，以及在跨事业群合作时处理协调等工作，在处理具体业务事项时，还会包括承担具体业务的业务事业群负责人。
腾讯社交网络的大数据建模框架探索报告33页PPT
腾讯社交网络的大数据建模框架探索报告33页PPT在10月24日2014中国计算机大会的重要活动之一----“大数据高峰论坛”，腾讯公司社交网络运营部专家研究员岳亚丁在论坛上作了题为“社交网络的大数据建模框架探索”报告。
他在报告中首先简略回顾腾讯社交网络的研究及应用成果，然后从尚未充分解决的若干问题出发，分析潜在问题和当前方法局限，对更一般性社交网络的建模给出一些思路建议，包括对最新计算智能技术的采用。
接着提出理想中的模型框架，以及理想的模型框架探索方式。
最后，对社交网络数据的应用潜力做出展望。
下面是PPT要点：研究方向：基础+ 应用目的：帮助用户高效地社交，并支持人、信息、实物之间的高效流动。
算法：圈内紧密、圈外松散对圈子以及圈友的类型进行识别准确率、覆盖率比较满意（基于QQ群以及腾讯实体圈进行验证）（Location-based Social Networking）游戏app传播受关系链的影响：用户之间、用户与群体之间的行为相关游戏app传播受局部网络结构的影响：三角关系：3个人互为好友，已有2人在玩“天天酷跑”，则第三人玩“天天酷跑”的概率会更高，如果：-前两人进入游戏的时间间隔长度越小；-前两人属于游戏早期用户；-三角关系中的消息量越多。
推荐系统-模型僵硬：刚买了一个微波炉，又接二连三地推荐微波炉？我的微波炉没这么快坏掉的。
-个性化不足：为什么推荐这些给我？它们都不是我想要的。
我想要的在哪里？-退化成搜索：给我一个长长的列表，我得一个个地去看，每一个都似是而非，还是拿不定主意。
这叫什么推荐？-缺少互动：猜我喜欢什么？为啥不问我喜欢什么？-…期望：回归到推荐本质，不要瞎蒙；Maximize：E [推荐成功率/ 用户成本(user’s effort)]社交网络的长期演化方向-QQ 会不会成为第二个MySpace、Friendster 轰然倒下？-产品的UI、结构、功能，对用户行为及市场的影响期望：-Leading indicators，crises/crash forecasting -产品的长期运营未完……由于文章太长，PPT图片打开费流量，故在此放出部分内容。
腾讯云架构设计——刘颖：腾讯云架构师
SACC2013
写延时降低明显，IOPS显著提升 冷热分介质是降低成本很重要的手段 预读提升顺序读的能力
合适的合并写提升集群的写吞吐量
SSD集群系统 LRU系统 全局锁 调度系统
降低虚拟化带来的损耗，提升并发度 拥有SSD的性能，SATA的成本
业务和存储双平面，减小拥塞，提升 可用性
SATA集群系统
③ rspdata vmport vmip hostip cport cip tgwip
TGW和宿主机之间Tunnel接入，虚拟机无感知
HTTP和四层负载均衡，真实源IP对用户可见 常见DDOS攻击防护
宿主机 reqdata rspdata
cport cip
vmport vmip
vport vip
cport cip
健康检查
Virtual switch
路由管理
隧道管理
健康检查
Virtual switch
路由管理
物理网卡1
宿主机
物理网卡2
物理网卡1 宿主机 存储网络
物理网卡2
业务网络
从静态加速到动态加速
SACC2013
CDN就近接入
增大TCP的初始传输窗口
丢包快速重传而不是超时重传 Tcp fast open，握手阶段携带数据 移动互联网时代，缓解了问题，但 是还不够
页面配置 安全审计 更多… 内网负载均衡服务
Case 6
CMEM CDB CMQ …
应用自己搭建在CVM上的内网服务
CEE通过自身的监控和日志上报系统自动上报和汇总日志 信息，反馈请求访问质量，为开发者提供指引性数据和视 图，并对部分需要开发者参与的故障或异常进行告警，以 便开发者及时解决问题。
腾讯公司组织架构及部门职责
腾讯公司组织架构及部门职责腾讯公司是一家中国互联网巨头，成立于1998年，总部位于深圳。
腾讯公司的组织架构如下：一、集团总部集团总部是腾讯公司的核心部门，主要负责公司的整体战略规划和管理。
其职责包括：1. 制定公司的战略规划和发展方向，确保公司的长期发展。
2. 管理公司的各个业务部门，协调各部门之间的合作与沟通。
3. 管理公司的人力资源、财务、法务等职能部门，为公司的业务提供支持。
二、互动娱乐事业群互动娱乐事业群是腾讯公司的核心业务之一，主要负责公司的游戏、音乐、视频等娱乐业务。
其职责包括：1. 开发和运营公司的游戏、音乐、视频等娱乐产品，提供优质的娱乐体验。
2. 管理公司的游戏平台、音乐平台、视频平台等业务，为用户提供全方位的娱乐服务。
3. 开展与游戏、音乐、视频等娱乐业务相关的研发和技术创新工作，提升公司的核心竞争力。
三、社交网络事业群社交网络事业群是腾讯公司的另一个核心业务，主要负责公司的社交网络、即时通讯、在线支付等业务。
其职责包括：1. 开发和运营公司的社交网络平台、即时通讯工具、在线支付系统等产品，为用户提供便捷的社交和支付服务。
2. 管理公司的社交网络平台、即时通讯工具、在线支付系统等业务，保障用户的信息安全和资金安全。
3. 开展与社交网络、即时通讯、在线支付等业务相关的研发和技术创新工作，提升公司的核心竞争力。
四、企业服务事业群企业服务事业群是腾讯公司的新兴业务之一，主要负责公司的云计算、大数据、人工智能等企业服务业务。
其职责包括：1. 开发和运营公司的云计算平台、大数据分析平台、人工智能平台等产品，为企业提供高效的云服务和数据分析服务。
2. 管理公司的云计算平台、大数据分析平台、人工智能平台等业务，保障企业的数据安全和隐私保护。
3. 开展与云计算、大数据、人工智能等业务相关的研发和技术创新工作，提升公司的核心竞争力。
以上是腾讯公司的组织架构及部门职责，每个部门都有其独特的职责和使命，共同推动公司的发展和壮大。
QQ大数据及其应用介绍
数据 采集
得出 结论
60%的人对购车限号持反 对意见，其中以18-25岁 的男性为主。 ……
反对摇号
不支持摇号啊
买车都要排队了
观点 汇总
大数据应用畅想三：中国城镇化进程研究
• 通过QQ用户LBS轨迹的变化跟踪计算，从人口迁移的角度看评估城镇化发展 的动力——包括乡村的推力和城市的拉力。
通过LBS计算人口常住地
非常喜爱相册， 尤其是上传照片； 对游戏/应用不感 兴趣，对装扮也 不感兴趣。他们 有时候自己写写 日志，他们喜欢 作为客户看别人 的Qzone。这群 人一般Q龄较长， 朋友较多，相对 年龄较大
非常活跃的用户， 而且变的越来越 活跃。几乎活跃 于所有基础功能； 也比较喜欢买红 钻，对绿钻，蓝 钻和黑钻等不感 兴趣。 这个客户 群比较年轻，有 很多QQ好友
从互联网到现实世界
积极情绪/消极情绪
分析用户发表文本内容
人际关系与社会形态
分析用户关系连接
经济水平与生活状态
分析用户消费记录
大数据应用畅想二：舆情监控
• 通过对用户行为数据系统性的收集与分析，可以全面了解民众对民生问题的 诉求，并能对突发事件进行及时监控与预警。
社会 事件
XX市车牌要 要摇号了
QQ空间状态 腾讯微博发言 门户网站评论
数据记录与收集
SNS行为数据 关系链数据
行为分析
• •
社会关系连接 用户社交行为
年龄/地域/性别等户口数据
•
• • •
用户迁徙行为
用户上网习惯 影响力传播 产品易用性
QQ号码
LBS数据
网络/终端信息
案例：春节人口迁徙报告
• 基于QQ用户位置变化轨迹，建立模型测算迁徙规模，分析人口迁徙方向及其影响因素。 该报告两次登录央视，并引来知乎日报、凤凰新闻等媒体主动扩散报导。
腾讯云-TData数据库一体机服务概述
TData数据库一体机服务产品概述目录产品简介产品介绍 (3)产品架构 (4)产品特性 (5)金融安全 (5)金融合规 (5)高可靠性 (5)高性能 (5)可定制 (5)高性价比 (5)易扩展 (5)快速部署 (6)功能介绍 (7)数据迁移及备份 (7)高可用 (7)容灾支持 (8)系统配置 (10)性能指标 (11)Oracle Calibrate_IO (11)HammerDB (11)产品简介产品介绍19-12-13 15:04:25随着市场金融改革的不断深化和云计算技术的不断成熟与完善，云计算在金融行业的发展中发挥着越来越重要的作用。
传统金融机构在探索与实施互联网金融业务创新的过程中，势必需要灵活可变的 IT 架构和技术支撑，最大限度地缩短创新产品的开发与实施周期以占领市场先机。
云计算服务凭借快速交付、易扩展性、低运维成本等特性，逐渐成为金融机构实现业务创新试验的首选架构。
腾讯金融云敏锐的发觉很多金融行业客户在 Oracle 数据库系统与拥抱云计算潮流所面临的许多痛点，借助迅猛发展的 X86 平台、PCIe 高速闪存卡、低时延高带宽的 InfiniBand 网络等，结合腾讯强大的技术实力推出 TData for Oracle 数据库一体机产品，助力金融客户业务创新。
TData for Oracle 数据库一体机选择 PCIe 高速闪存卡、高性能 X86 服务器、InfiniBand 高速互联技术、RDMA 远程直接数据存取技术以及服务于腾讯百万级别服务器的 Tencent Linux 操作系统，结合 Oracle RAC 进行深度优化整合及调整，为用户提供高可用、易扩展、高性能的数据库服务，适用于 OLAP、OLTP 以及混合负载等各种应用场景。
19-07-22 14:30:08TData 一体机由计算节点、存储节点、InfiniBand 高速网络以及运维监控四大部分组成，计算节点及存储节点均基于标准的 X86 软、硬件架构，计算节点使用高性能 X86 服务器，负责提供数据库计算能力，存储节点配置 PCIe 高速闪存卡，提供数据存储能力，内部通过 InfiniBand 高速网络将多个计算节点及存储节点进行互联，采用全冗余架构设计，形成一个高性能、高可靠、易扩展的数据库系统，计算资源及存储资源均能按需进行横向扩展，性能随节点的增加而呈线性上升。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
SetA
网关 主 MySQL + Agent 备1 MySQL + Agent
…
应用 MySQL API
备2n MySQL + Agent
网关
SetB
网关 主 MySQL + Agent 备1 MySQL + Agent
…
备2n MySQL + Agent
1、识别DDL类sql，并以任务形式保存至scheduler； 2、解析DML类sql，并转发至对应Set； 3、收集Set返回的结果，组合后返回请求端； 4、watch并获取表的访问路由； …
容量：自动分表
GW(逻辑表) Mysql(物理表) GW(逻辑表) Mysql(物理表)
T 0 T 1
T
T
当SET资源不够或表 记录超标时，触发 扩容，物理表分裂
T 2 T T 3
该过程自动完成
初始态：逻辑表=物理表
T n
扩容后：逻辑表=N个物理表
容量：自动伸缩
伸缩方式
整表迁移 子表分裂
T1 T2 T3
原则：避免表分裂，及时表合并 表分裂的问题
在一个集群中，每次表分裂，会导致集群 表数量的增加；集群中表的数量就是路由 的条数，表数量越多，路由的效率就会越 低
•
• •
采用hardlimit+softlimit结合的方式
Hardlimit保证安全，不超机器总容量 Softlimit保证充分利用整机资源
14
Gaia 技术特点
强扩展性：支持单cluster万台规模
（即将达到
8800节点，20w+核，1500个pool）
高调度吞吐：毫秒级的下发效率（App并发3.5k，Container匹配时间0.2ms） 弹性内存管理：hardlimit+softlimit相结合充分利用整机资源 多维度资源管理：新增Network IO、Disk IO等资源管理维度，提升了隔离性 丰富的用户api：为业务提供更便捷的容灾、扩容、缩容和升级等方式 建立“on Gaia”生态圈：支持storm、spark、MR等各种应用
资源管理 TRM - Gaia 服务 器 服务 器 服务 器 服务 器 服务 器
…
3+1结构：资源管理、服务管理、开发框架 + 集群控制台
TAM应用管理-流量调度
(ip, cmd, uin, bizcode, …)
业务请求
包头
包身(value…)
调度规则
接入层
现网流量copy转发
正式
灰度
沙箱
node
备 主
主 备
高一致，跨IDC
高一致性容灾设计
数据安全
存储安全 访问安全
热备：至少双份 冷备：快照+binlog 兼容MySQL权限控制 用户级别的数据隔离、访问控制
冷备中心
增量热备
主 备1
增量热备 …
全量冷备 SET
备(n-1)
用户界面
命令行 编程接口 管理台
通过MySQL客户端 访问，与使用本地 MySQL一样
多磁盘管理
统一工作目录，为job提供更大磁盘空间 充分利用多磁盘IO并发
13
（三）Gaia-优化资源管理策略
• CPU管理
• • • 资源超发：提高资源使用率 基于优先级调度的cpu.share 高优先级作业的服务质量得以保证
• 内存管理
• 引入EMC(Elastic Memory Control)
Gaia
资源管理
关键技术概览 资源调度Gaia – 8800台 分布式数据库TDSQL – 高一致性
分布式计算 – 规模化、实时化、多样化
资源调度-Gaia
Gaia简介 Gaia核心特性
Gaia 打造大数据云操作系统
配置管理、单点容灾+性能，扩缩容，资源利用率…，统统不用操心！
将一组机器映射成一台逻辑上的大机器 为上层提供简单、统一的资源界面
NodeManager
硬件设施
9
（一）Gaia vs Yarn – 提升可扩展性
在规模为1万节点，1万作业，1200队列时， Yarn原生fair调度器平均每秒只能调度20个container。 一天只能调度170万个container。
而我们的现网集群， 平均每天调度的container数量为7000万+。
18
业界方案-阿里：TDDL
基于集中式配置的 jdbc datasource实现，主要解 决分库分表对应用透明和 异构DB间的数据复制 主要特点
主备和动态切换 带权重的读写分离 集中式数据源信息管理和 动态变更 支持mysql和oracle数据库 基于jdbc规范，容易扩展 应用直连数据库 读写次数、并发度流程控 制，动态变更
数据消费域
• OLAP
基础平台架构
SDK: H5/iOS/Android…
用户接入
秒级监控/精准推荐/多 维分析/…
数据产品
OLAP
TDF：配置/日志/协议 /路由/权限/容错/容灾 …
业务逻辑
OLTP
实时计 算
TRC
离线计 算
TDW
分布式存储
TDSQL/…
HDFS/HBase/…
分布式存储
资源调度
TDSQL
面向关键数据的解决方案
数据存储&访问 故障隔离&恢复 容量伸缩 数据安全 …
SDK: H5/iOS/Android…
用户接入
TDF：配置/日志/协议 /路由/权限/容错/容灾 …
业务逻辑
分布式存储
TDSQL
TDSQL总体架构
Gaia
scheduler Scheduler
1、保存DDL任务，并在DB上执行； 2、保存实例/表状态，生成容量伸缩任务； 3、控制Set内的主备切换； 4、多scheduler通过zk选举容灾； …
业界方案-奇虎：Atlas
基于MySQL协议的数据中间层 主要功能：
读写分离 从库负载均衡 IP过滤 自动分表 自动摘除宕机的DB
业界方案-腾讯：CDB
为第三方开发人员提供的DB 存储解决方案 主要特点
DBaas，即申请即使用 通过Mysql客户端和API直接访 问和管理Mysql实例，无需改 造代码 master/slave切换后Mysql实例 的IP/Port不变，应用层无需修 改配置 提供master-slave热备，定时 冷备服务 支持“一键式”扩容
通过MySQL ClientAPI访问，完 全兼容
可视化操作，可查看 实时运营状态、统计 报表
一切还像原来，只是
更加简单
用户接入
注册账户
• 管理台：标识逻辑 表空间
创建Table
• MySQL Client命令 行
使用DB
• MySQL Client API • MySQL Client 命 令行
网络出带宽管理
结合linux Cgroups和HTB 采用borrow机制，充分利用共享带宽资源
网络入带宽管理
自主知识产权，通过修改Linux内核实现，实现精准而弹性，高效率低损耗的入带宽隔离。
• • •
专利2013107167896 基于令牌桶的数据传输流量调度方法及其系统 专利201310743471.7 通过接收端主机标记ECN进行网络入流量限速的方法 专利2013107175144 根据令牌桶的水位调整TCP通告窗口的网络入流量主动限速方法
10
Gaia-资源调度器优化 – sfair调度器
Resource Manager
ScheduleThread
RM Scheduler
3. Launch container
AppPool
Match 2. Select an app
NodePool
1. Heartbeat
NodeManager
NodeManager
Node
Gaia
Standby RM Active RM Cluster State Application State
Node
Container NodeManager MR AM Container
Node
Storm AM Container NodeManager
Spark AM
资源利用率高
node
node
node
node
node
主要用于：负载调度、灰度实验、沙箱验证、现网引流等
TAM应用管理-跨城部署
NodeManager
Container
Container
Container
Container
Container
Container
• 心跳处理与调度解耦和：单集群规模扩展至1w个节点 • 控制多线程间的同步：优化线程间锁，将调度线程持锁时间减少70% • 优化队列和作业排序：取消全排序，采用堆排序，减少了调度器80%的CPU时间 • 降低调度开销：对无资源需求的app/queue，禁止其参与调度
业界方案对比
项目 用户接口 功能 一致性 容错 容灾 容量伸缩 建表 监控 数据导入 离线统计分析 CDB 分库分表 Mysql兼容 不严格保障 主备；自动切换 跨IDC 半手工/一键扩容 预分表/手工 分钟 手工 不支持 TDDL 单表 Mysql兼容 不严格保障 主备；自动切换 跨IDC 半手工 预分表/手工 分钟 手工 不支持 Atlas 单表 Mysql兼容 不严格保障 主备；自动切换 跨IDC 半手工 预分表/手工 分钟 手工 不支持