腾讯大数据基础平台介绍
合集下载
大数据应用实例分析
大数据应用实例分析
互联网金融是新兴的金融服务行业，也是大数据应用最为成熟的一个
产业，最主要的原因在于其中约定的服务内容，而大数据可以实现的能力，即以低成本、低风险的方式，为客户提供优质可靠的金融服务。
以下将以
腾讯全民金融（原腾讯财付通）为例，分析大数据在互联网金融中的应用。
腾讯全民金融以腾讯衍生的品牌矩阵来实现品牌拓展。
其主要的大数
据应用有以下几点：
一是，通过大数据来分析用户的行为，挖掘消费能力和潜在价值。
腾
讯的大数据平台，可以实时收集、分析并建模腾讯的用户行为，以提升全
民金融的产品设计、定价及推广活动，拓展用户群体。
二是，通过大数据来构建金融风控体系，提升贷款审批效率。
腾讯可
以有效地利用用户大数据，为借款人提供个性化的金融数据政策。
采用大
数据风控体系，腾讯可以准确评估借款人的信用情况，从而提高贷款审批
效率，降低贷款风险。
三是，利用大数据来提供个性化的金融服务。
腾讯的大数据平台可以
拼接用户历史行为数据，实现个性化的精准推送，为客户提供更优质的服务。
此外。
02-TBDS-4.0.5.0-腾讯大数据套件-平台管理
用户组
• 主要是划分用户的组归属，进一步做组织管理和权限细分，例如同部门的运维人员可归于同一用户组； • 用户与用户组是多对多的关系。
密钥
• 用于识别用户身份的一种凭证，包含id和key，后续开发课程会详细介绍
版权归© 2019 Tencent, Inc.或其附属公司所有 保留所有权利
1.2概述-概念
版权归© 2019 Tencent, Inc.或其附属公司所有 保留所有权利
2.1项目管理
创建项目-配置存储资源
3 存储资源池的HDFS目录默认为 /project/<projectID>/
4 调整项目在HDFS中 最大可用存储空间
5 完成所有配置 后创建项目
版权归© 2019 Tencent, Inc.或其附属公司所有 保留所有权利
2.3项目资源
查看项目-资源信息-调整资源配额
版权归© 2019 Tencent, Inc.或其附属公司所有 保留所有权利
CONTENTS
章 节ቤተ መጻሕፍቲ ባይዱ
第三章 资源管理
第 一
3.1 状态
章
云 计
3.2 配置
算
发第
展一
历章
史云
计
算
发
版权归© 2019 Ten展cent, Inc.或其附属公司所有 保留所有权利
5.2公告管理
公告管理
版权归© 2019 Tencent, Inc.或其附属公司所有 保留所有权利
5.3通知渠道
邮件
短信
版权归© 2019 Tencent, Inc.或其附属公司所有 保留所有权利
5.3产品信息
产品信息
版权归© 2019 Tencent, Inc.或其附属公司所有 保留所有权利
• 主要是划分用户的组归属，进一步做组织管理和权限细分，例如同部门的运维人员可归于同一用户组； • 用户与用户组是多对多的关系。
密钥
• 用于识别用户身份的一种凭证，包含id和key，后续开发课程会详细介绍
版权归© 2019 Tencent, Inc.或其附属公司所有 保留所有权利
1.2概述-概念
版权归© 2019 Tencent, Inc.或其附属公司所有 保留所有权利
2.1项目管理
创建项目-配置存储资源
3 存储资源池的HDFS目录默认为 /project/<projectID>/
4 调整项目在HDFS中 最大可用存储空间
5 完成所有配置 后创建项目
版权归© 2019 Tencent, Inc.或其附属公司所有 保留所有权利
2.3项目资源
查看项目-资源信息-调整资源配额
版权归© 2019 Tencent, Inc.或其附属公司所有 保留所有权利
CONTENTS
章 节ቤተ መጻሕፍቲ ባይዱ
第三章 资源管理
第 一
3.1 状态
章
云 计
3.2 配置
算
发第
展一
历章
史云
计
算
发
版权归© 2019 Ten展cent, Inc.或其附属公司所有 保留所有权利
5.2公告管理
公告管理
版权归© 2019 Tencent, Inc.或其附属公司所有 保留所有权利
5.3通知渠道
邮件
短信
版权归© 2019 Tencent, Inc.或其附属公司所有 保留所有权利
5.3产品信息
产品信息
版权归© 2019 Tencent, Inc.或其附属公司所有 保留所有权利
分析腾讯智慧城市“数字政府”“超级大脑”新打法473629
析：腾讯智慧城市“数字政府”+“超级大脑”新打法论文类别：计算机论文 - 互联网研究论文写作时间：2018/9/1 10:34:46论文作者：未知论文版本：简体版英文版(网经社讯)2015年，“互联网+”概念异军突起，成为重构商业模式的符号；2017年，“数字经济”利用后发性优势推动高新技术突飞猛进；2018年，“数字中国”成为国内建设的主旋律符号，一批战略行动和重大工程迅速跟进。
而这些趋势背后，都有腾讯在广泛推动的身影。
图为：城市场景来源：wallhalla腾讯的数字中国建设，落地到智慧城市方面也是建树颇丰。
除了深耕深圳与广州等地区，云南、重庆、上海、青岛等省市也在腾讯的助力下相继开展智慧城市建设。
综合其目前整体智慧城市业务开展情况，雷锋网认为腾讯具体有3套逻辑：一是数字广东公司所主导的“数字政务”实践，旨在消除政府各部门之间的数据孤岛，连接更多城市信息；二是腾讯云的超级大脑所代表的技术体系，在各个具体场景上构建人联网、物联网和智联网，让AI in All；三是在微信、QQ、支付、位置数据等应用上连接民众、政府和企业，让民众真正感知到政府的努力和企业的贡献怎样让生活变得更美好。
因此，想要了解腾讯的智慧城市的整体布局，除了对腾讯旗下的具体应用矩阵有所接触，还必须深刻解读“数字广东”与“超级大脑”两个关键体。
腾讯做智慧城市，天生优势在应用场景目前，根据最新数据显示，腾讯拥有微信10.4亿用户、QQ 8.05亿用户、微信支付8亿用户、日均600亿次的全球定位请求。
为了真正便捷民众生活，腾讯在技术和场景上形成了点线面的结合，其中，以各式各样的应用最为明显，也是目前腾讯整个“互联网+”战略的实践，包括以下几个层面：·人工智能：涉及计算机视觉、语音识别、自然语言处理和机器学习，主要有腾讯优图实验室、腾讯AI Lab、微信AI研究团队、音视频实验室、量子实验室以及机器人实验室等前沿技术团队。
·云计算：计算、存储、数据库、大数据、AI、数据处理、网络、CDN与加速、互联网中间件、安全、开发者工具等超过180项的产品与服务。
大数据云平台基础架构介绍
安全可靠趋势
随着数据重要性的不断提高，大数据云平台需要 提供更加安全可靠的数据保护和服务，保障数据 安全和隐私。
智能化趋势
大数据云平台正在不断引入人工智能技术，实现 智能化数据分析、处理和存储，提高数据处理效 率和准确性。
绿色环保趋势
随着能源消耗的不断提高，大数据云平台需要采 取更加绿色环保的技术和措施，降低能源消耗和 碳排放。
06
大数据云平台案例分享
案例一：阿里巴巴的大数据云平台
总结词
分布式、可扩展、弹性
详细描述
阿里巴巴的大数据云平台是基于开源平台构建的分布式系统，具备可扩展和弹性的特点。它采用了分 布式文件系统，如HDFS，用于存储海量数据，并支持多种数据访问模式。同时，该平台还集成了弹 性计算、弹性存储和弹性网络等云基础设施，以提供稳定、高效的大数据处理服务。
提供数据挖掘和机器学习功能，以发现数 据中的潜在规律和价值。
应用层
数据报表与可视化
提供数据报表和可视化功 能，以直观展示数据分析 结果。
数据服务
提供数据服务功能，包括 数据查询、数据挖掘、机 器学习等服务，以支持各 种业务应用。
安全管理
提供安全管理功能，包括 用户认证、访问控制、加 密传输等，以确保大数据 云平台的安全性。
据，为后续数据分析提供准确的基础。
数据转换与整合
03
实现数据的转换和整合，以满足不同业务场景的需求
。
数据分析层
分布式计算框架
提供分布式计算框架，如Hadoop、 Spark等，以处理大规模数据。
数据库查询与分析
提供数据库查询和分析功能，支持SQL、 NoSQL等数据库查询语言和分析工具。
数据挖掘与机器学习
谢谢您的聆听
随着数据重要性的不断提高，大数据云平台需要 提供更加安全可靠的数据保护和服务，保障数据 安全和隐私。
智能化趋势
大数据云平台正在不断引入人工智能技术，实现 智能化数据分析、处理和存储，提高数据处理效 率和准确性。
绿色环保趋势
随着能源消耗的不断提高，大数据云平台需要采 取更加绿色环保的技术和措施，降低能源消耗和 碳排放。
06
大数据云平台案例分享
案例一：阿里巴巴的大数据云平台
总结词
分布式、可扩展、弹性
详细描述
阿里巴巴的大数据云平台是基于开源平台构建的分布式系统，具备可扩展和弹性的特点。它采用了分 布式文件系统，如HDFS，用于存储海量数据，并支持多种数据访问模式。同时，该平台还集成了弹 性计算、弹性存储和弹性网络等云基础设施，以提供稳定、高效的大数据处理服务。
提供数据挖掘和机器学习功能，以发现数 据中的潜在规律和价值。
应用层
数据报表与可视化
提供数据报表和可视化功 能，以直观展示数据分析 结果。
数据服务
提供数据服务功能，包括 数据查询、数据挖掘、机 器学习等服务，以支持各 种业务应用。
安全管理
提供安全管理功能，包括 用户认证、访问控制、加 密传输等，以确保大数据 云平台的安全性。
据，为后续数据分析提供准确的基础。
数据转换与整合
03
实现数据的转换和整合，以满足不同业务场景的需求
。
数据分析层
分布式计算框架
提供分布式计算框架，如Hadoop、 Spark等，以处理大规模数据。
数据库查询与分析
提供数据库查询和分析功能，支持SQL、 NoSQL等数据库查询语言和分析工具。
数据挖掘与机器学习
谢谢您的聆听
Tencent大数据技术架构
1、监控实例状态并上报； 2、监控表状态并上报； 3、拉取并执行数据搬迁任务； …
SetA
网关 主 MySQL + Agent 备1 MySQL + Agent
…
应用 MySQL API
备2n MySQL + Agent
网关
SetB
网关 主 MySQL + Agent 备1 MySQL + Agent
…
备2n MySQL + Agent
1、识别DDL类sql，并以任务形式保存至scheduler； 2、解析DML类sql，并转发至对应Set； 3、收集Set返回的结果，组合后返回请求端； 4、watch并获取表的访问路由； …
容量：自动分表
GW(逻辑表) Mysql(物理表) GW(逻辑表) Mysql(物理表)
T 0 T 1
T
T
当SET资源不够或表 记录超标时，触发 扩容，物理表分裂
T 2 T T 3
该过程自动完成
初始态：逻辑表=物理表
T n
扩容后：逻辑表=N个物理表
容量：自动伸缩
伸缩方式
整表迁移 子表分裂
T1 T2 T3
原则：避免表分裂，及时表合并 表分裂的问题
在一个集群中，每次表分裂，会导致集群 表数量的增加；集群中表的数量就是路由 的条数，表数量越多，路由的效率就会越 低
•
• •
采用hardlimit+softlimit结合的方式
Hardlimit保证安全，不超机器总容量 Softlimit保证充分利用整机资源
14
Gaia 技术特点
强扩展性：支持单cluster万台规模
（即将达到
8800节点，20w+核，1500个pool）
SetA
网关 主 MySQL + Agent 备1 MySQL + Agent
…
应用 MySQL API
备2n MySQL + Agent
网关
SetB
网关 主 MySQL + Agent 备1 MySQL + Agent
…
备2n MySQL + Agent
1、识别DDL类sql，并以任务形式保存至scheduler； 2、解析DML类sql，并转发至对应Set； 3、收集Set返回的结果，组合后返回请求端； 4、watch并获取表的访问路由； …
容量：自动分表
GW(逻辑表) Mysql(物理表) GW(逻辑表) Mysql(物理表)
T 0 T 1
T
T
当SET资源不够或表 记录超标时，触发 扩容，物理表分裂
T 2 T T 3
该过程自动完成
初始态：逻辑表=物理表
T n
扩容后：逻辑表=N个物理表
容量：自动伸缩
伸缩方式
整表迁移 子表分裂
T1 T2 T3
原则：避免表分裂，及时表合并 表分裂的问题
在一个集群中，每次表分裂，会导致集群 表数量的增加；集群中表的数量就是路由 的条数，表数量越多，路由的效率就会越 低
•
• •
采用hardlimit+softlimit结合的方式
Hardlimit保证安全，不超机器总容量 Softlimit保证充分利用整机资源
14
Gaia 技术特点
强扩展性：支持单cluster万台规模
（即将达到
8800节点，20w+核，1500个pool）
数据中心基础知识
02 数据中心架构与组成
数据中多个服务器连接到一 个总线上，实现数据的快速传输。
星型架构
星型架构将多个服务器连接到一个中心节点，实 现数据的集中管理和传输。
环型架构
环型架构将多个服务器连接成一个环状结构，实 现数据的环状传输。
数据中心硬件设备
服务器
数据中心的核心设备是服务器，用于存储和 处理数据。
随着数据中心规模的扩大和复杂性的增加，自动化管理成为了数据中心
的一个重要发展趋势。例如，通过自动化工具对数据中心的网络、服务
器和存储设备进行统一管理和监控。
数据中心未来发展方向预测
边缘计算
随着物联网和5G技术的普及，边缘计算将会成为数据中心的一个重要发展方向。在边缘计算中，数据处理和分析将 在靠近数据源的设备上完成，从而减少数据传输延迟和提高数据处理效率。
数据中心建设流程与标准
建设流程
包括前期准备、基础施工、 设备安装与调试、系统集成 与测试、验收与交付等步骤
。
建设标准
遵循国家和行业的建设标准 ，确保数据中心的合规性和 安全性。同时要关注绿色环 保和节能减排等方面的要求
。
建设质量保障
建立严格的质量管理体系， 确保数据中心的施工质量和 使用寿命。同时要进行定期 的维护和升级，保持数据中 心的稳定性和可用性。
设备和软件系统。
应用软件
数据中心的应用软件包括Web服务器 、邮件服务器等，用于实现特定的业
务功能。
数据库系统
数据中心的数据库系统包括Oracle、 MySQL等，用于存储和处理数据。
管理软件
数据中心的管理软件包括监控软件、 备份软件等，用于实现数据中心的日 常管理和维护。
03 数据中心设计与建设
01-TBDS-4.0.5.0-腾讯大数据套件介绍
2.2腾讯大数据套件功能-对接数据展现-Raydata
贵阳数博会（2017）城市政务展项
两化融合大会“RayDATA+智能制造”展项（2017）
智慧建筑项目
城市综合数据可视化项目（深圳市）
版权归© 2019 Tencent, Inc.或其附属公司所有 保留所有权利
20
2.2腾讯大数据套件功能-数据分析-Hive/Spark/Hbase
系统安全性 ✓提供安全认证，保证系统和数据安全； ✓提供权限控制，满足toB客户对系统的权限控制 需求；
系统可用性 ✓腾讯大数据领域先进经验输出，快速复制腾讯高 可用大数据系统，做到开箱即用；
系统易用性 ✓基于拖拽式交互的工作流平台，提供各类典型的 大数据处理、分析、计算模版，即拖即用；
系统开放性 ✓系统提供接口方便引入新的大数据服务； ✓兼容开源接口；
TBDS可对接数据可视化产品，包括但不限于以下两种 • 永洪BI系统：
o 支持复杂的数据可视化系统； o 更加专业的数据可视化系统；
• Raydata
o 3D渲染可视化大屏展示； o 多用于政企客户，例如智慧城市、警务指挥系统。
版权归© 2019 Tencent, Inc.或其附属公司所有 保留所有权利
2.2腾讯大数据套件功能-对接数据展现-永洪BI
版权归© 2019 Tencent, Inc.或其附属公司所有 保留所有权利
2.2腾讯大数据套件功能-对接数据展现-Raydata
数据进行提取和分析，对城市管理中可能会出现的各事件进行科学 的预见，提高了城市管理者在警务方面管理效率。
由多类型数据融合构建，将城市内各个政府管理机构系统数据打 通，包括医疗、交通、教育、金融、休闲娱乐等数据呈现。
2024版云计算演讲稿ppt课件
寄语听众，共同推动行业发展
01
鼓励听众积极学习和应 用云计算技术，提升自 身竞争力。
02
呼吁听众关注云计算行 业发展趋势，把握市场 机遇。
同推动云计 算行业的健康发展。
期待在云计算的浪潮中， 与听众携手共创美好未 来。
THANKS
感谢观看
06
企业上云策略与实践
企业上云需求分析
业务需求
分析企业当前业务需求， 明确上云目的和期望效果。
技术需求
评估企业现有技术架构和 应用系统，确定需要迁移 或重构的部分。
安全需求
制定上云安全策略和措施， 确保数据安全和业务连续 性。
选择合适的云服务提供商
服务商资质
考察云服务提供商的资质、经验 和口碑。
容器化与微服务架构
01
容器技术
如Docker等，实现轻量级虚拟化，提供快速部署、隔离和可移植性等
优势。
02 03
微服务架构
将应用程序拆分成多个小型、独立的服务，每个服务运行在自己的进程 中，通过轻量级通信机制进行通信，提高系统的可维护性、可扩展性和 可靠性。
容器编排与管理
如Kubernetes等，提供容器编排、管理和调度功能，实现容器化应用 的自动化部署、扩展和管理。
分布式文件系统
采用分布式架构，将数据分散存 储在多个节点上，提供高可靠性、
可扩展性和高性能的数据存储服 务。
对象存储
以对象为单位进行存储，支持海量 数据存储和访问，适用于非结构化 数据的存储需求。
分布式数据库
采用分布式架构的数据库系统，支 持大数据量、高并发读写和实时数 据分析等场景。
大数据处理技术
腾讯云云计算平台概述 腾讯云是腾讯公司推出的云计算服务平台，提供全面的云 计算服务，包括IaaS、PaaS、SaaS等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
腾讯大数据基础平台介绍
赵伟
架构挑战及应对
-> 亿级 •千万级 千万级-> -> 全球 异地-> ->全球 •同城 -> 异地 •P级数据深度应用 •99.9% -> 99.99%+ 0停机维护 核心业务做到0 •核心业务做到 •应用级灾备 •安全
海量
•降低业务处理成本 厂商绑定 •去IOE IOE厂商绑定
Gaia – 应用情况
– 上层业务包括MR 、Hive、PIG、Strom等 – 为业务提供自动的容灾、资源管理与调度、权限管理 、自动扩容缩容支持等 – 目前单集群达1000节点，今年目标是单集群8800节点 ，将会建成业内最大集群
TDBank 数据接入平台
2
� 技术架构 � 技术特点 � 应用状况
•
Gaia – 优化资源管理策略
管理： CPU CPU管理： � 资源超发：提高资源利用率 � 基于优先级调整cpu.share � cpu利用率提升 � 高优先级job的服务质量得 到保证 内存管理： � 层级化Linux Cgroup结构 � hardlimit限制所有job的内 存使用总量 � softlimit限制单个job的内 存使用量
SHARE 3000 1000 1000
GRANTED 3000 1000 1000
21
TDW – Hadoop优化
挑战：大量的历史数据，是否应该清除？
数据资源具有不可再生性，需差异化处理
关键技术点
前后对比 1：1 ：1 2.5 2.5： 5：1
数据类型 L0（热）
80 70 60 50 40 30 20 10 0 1月 2月 3月 4月 5月 6月 10 7 8 40 54 76
关键技术点
– – – – – JobTracker分散化 NameNode分散化 NameNode容灾 公平资源调度 差异化存储压缩
POOL g1_online g1_offline default
MIN 2000 500 1500
MAX 5000 1000 2000
REQUEST 3000 1500 1000
23
TDW – HBase应用
� 游戏客服查询：>300亿条（日新增）× 90天,查询某客户几个月内的历史数据需 要在秒级返回，如何保证？ � 公司安全类数据查询（永久保留）…
业务生产 TDBank 实时接入平台 TDW 分布式数据仓库
1 入库方式 入库方式1 2 入库方式 入库方式2
公网
自动入库 TDW 离线存储
内网
Client 消息 消息Client
自动对接
TRC 在线应用
TDBank — Tencent Data Bank 主要负责：从业务数据源端实时采集数据，进行预处理和分布式消息缓存后， 按照消息订阅的方式，分发给后端的离线和在线处理系统
技术特点 TDBankTDBank-技术特点
TDW – Hadoop优化
Cluster Manager
资源管理 任务调度 任务管理
资源管理 任务调度
关键技术点
– – – – – JobTracker分散化 NameNode分散化 NameNode容灾 公平资源调度 差异化存储压缩
Job Tracker
JobTracker 任务管理 … 任务管理
网络出带宽
• • • 基于Linux Cgroup和 • HTB 层级化HTB结构 • 剩余出带宽基于job优 先级再分配：提高资源 • 利用率
网络入带宽
修改Linux kernel，已 发社区patch 通过令牌桶给网络包打 标记 通过ENC+丢包来限速 •
磁盘容量
统一的工作目录：便于 用户编写和调试分布式 程序 多磁盘：为job提供更 大磁盘空间，充分利用 磁盘I/O并发
秒级 监控
k Ba n TD
实时计算
TRC
离线计算
TDW
关系ቤተ መጻሕፍቲ ባይዱ存储
TDSQL
分布式存储
… HDFS/HBase/ HDFS/HBase/…
资源调度
Gaia
Gaia 资源管理与调度
1
� � � � �
平台简介 丰富资源管理维度 优化资源管理策略 优化资源调度器 应用情况
Gaia – 基于Yarn的改进
2 12月
22
TDW – PostgreSQL集成
� 弥补TDW接口不丰富的短板 � 弥补TDW小数据分析效率低的短板 � 弥补TDW update/delete效率低下的短板
DNS rw
master
互联互通 r r slaver slaver
TDW
JDBC ODBCShell php pgadmin
• •
Yarn——as Cluster Operation System 。 GAIA —基于Yarn的通用资源调度平台，提供高并发任务调度和资源管理，实现集 群资源共享，可伸缩性和可靠性，不仅可以为MR等离线业务提供服务，还可以支持 实时计算，甚至在线service业务。
� � �
将一个数据中心的硬件资源逻辑上整合成一台服务器 为云应用软件提供统一、标准的接口 管理海量的任务以及资源调配
Gaia – 优化资源调度器
调度器特点： Yarn Yarn调度器特点： �多种可插拔调度策略 �考虑job的公平性和优先级 的优化： Gaia scheduler scheduler的优化： �提升调度吞吐，毫秒级的下发 �提升可扩展性，适应更大规模集群 关键技术点： �Profiling优化关键路径 �调度与心跳处理解耦和 �细化锁粒度，减少线程间竞争 �异步化并行化处理
Namenode
DN
...
HDFS Cluster1 (namenode 1)
…
HDFS Cluster3 (namenode 3)
� �
单namespace无法扩展（ M1，128G，2.7亿） 文件操作性能受限
� �
按业务分布 按负载分布资源
19
TDW – Hadoop优化
关键技术点
– – – – – JobTracker分散化 NameNode分散化 NameNode容灾 公平资源调度 差异化存储压缩
年8月 2013 2013年 亿/天 1000 1000亿 年3月 2013 2013年 亿/天 100 100亿
年底 10000 亿/天 2014 2014年底 年底10000 10000亿
TDW 腾讯分布式数据仓库
3
� � � � � �
平台简介 Hive优化 Hadoop优化 PostgreSQL集成 Hbase应用 应用情况
压缩算法 Lzo（2-3倍） gzip（5-10倍） gzip（5-10倍）
副本策略 3副本 3副本 1.4-raid
L1（中） L2（冷）
– – – – –
JobTracker分散化 NameNode分散化 NameNode容灾 公平资源调度 差异化存储压缩
4 7月
2 8月
3 9月
1 10月
3 11月
Hive
获取NN信息
Meta
关键技术点
namenode 1 namenode 3
user
submit mr
Tbl_a Tbl_b
user
计算层 计算层
...
....
– – – – –
JobTracker分散化 NameNode分散化 NameNode容灾 公平资源调度 差异化存储压缩
Tbl_a
Tbl_b
Task Tracker
Task Tracker
...
Task Tracker
Task Tracker
Task Tracker
...
�
性能瓶颈（2K节点， 1000并发job，submit 延迟，lost tt）
� �
资源管理和任务调度解耦 分配资源高效
18
TDW – Hadoop优化
Hive
, Tbl_b Tbl_a Tbl_a, submit mr
TDW – 基于Hadoop/Hive的深度定制
集成开发环境 IDE 任务统一调度 Lhotse
Hive / Pig 查询处理引擎 数数数数据据据据采采采采集集集集
计算 引擎
MapReduce HADOOP 集群 HDFS
Postgre 小数据 处理
HBase 实时 查询
• •
TDW — Tencent distributed Data Warehouse 腾讯分布式数据仓库，支持百PB级的数据存储和计算，为公司产品提供海量、高效 、稳定的大数据平台支撑和决策支持。
易用性
命令行工具 存储引擎 DB DB存储引擎 语法细节 SQL SQL语法细节 集成开发环境 TDW TDW集成开发环境 • • • •
性能优化
split 按行 按行split Order by limit 优化 limit优化 查询计划并行优化 元数据重构
已覆盖商业数据库的常用功能； 低门槛开发界面，公司内部开发者超过1500人； 性能提升明显，稳定性高；
技术框架 TDBankTDBank-技术框架
业业业业务务务务数数数数据据据据源源源源 • •
消消消消息息息息接接接接入入入入中中中中心心心心
消消消消息息息息分分分分拣拣拣拣中中中中心心心心
︵︵︵︵分分分分布布布布式式式式缓缓缓缓存存存存︶︶︶︶
消消消消息息息息存存存存储储储储中中中中心心心心
DBAgent 日志 Agent 日志Agent
blockreport
...
...
� �
手工Failover，丢失 checkpoint后的数据（>1h） 重启耗时长（2k节点，2.4亿块 ，需80分钟）
赵伟
架构挑战及应对
-> 亿级 •千万级 千万级-> -> 全球 异地-> ->全球 •同城 -> 异地 •P级数据深度应用 •99.9% -> 99.99%+ 0停机维护 核心业务做到0 •核心业务做到 •应用级灾备 •安全
海量
•降低业务处理成本 厂商绑定 •去IOE IOE厂商绑定
Gaia – 应用情况
– 上层业务包括MR 、Hive、PIG、Strom等 – 为业务提供自动的容灾、资源管理与调度、权限管理 、自动扩容缩容支持等 – 目前单集群达1000节点，今年目标是单集群8800节点 ，将会建成业内最大集群
TDBank 数据接入平台
2
� 技术架构 � 技术特点 � 应用状况
•
Gaia – 优化资源管理策略
管理： CPU CPU管理： � 资源超发：提高资源利用率 � 基于优先级调整cpu.share � cpu利用率提升 � 高优先级job的服务质量得 到保证 内存管理： � 层级化Linux Cgroup结构 � hardlimit限制所有job的内 存使用总量 � softlimit限制单个job的内 存使用量
SHARE 3000 1000 1000
GRANTED 3000 1000 1000
21
TDW – Hadoop优化
挑战：大量的历史数据，是否应该清除？
数据资源具有不可再生性，需差异化处理
关键技术点
前后对比 1：1 ：1 2.5 2.5： 5：1
数据类型 L0（热）
80 70 60 50 40 30 20 10 0 1月 2月 3月 4月 5月 6月 10 7 8 40 54 76
关键技术点
– – – – – JobTracker分散化 NameNode分散化 NameNode容灾 公平资源调度 差异化存储压缩
POOL g1_online g1_offline default
MIN 2000 500 1500
MAX 5000 1000 2000
REQUEST 3000 1500 1000
23
TDW – HBase应用
� 游戏客服查询：>300亿条（日新增）× 90天,查询某客户几个月内的历史数据需 要在秒级返回，如何保证？ � 公司安全类数据查询（永久保留）…
业务生产 TDBank 实时接入平台 TDW 分布式数据仓库
1 入库方式 入库方式1 2 入库方式 入库方式2
公网
自动入库 TDW 离线存储
内网
Client 消息 消息Client
自动对接
TRC 在线应用
TDBank — Tencent Data Bank 主要负责：从业务数据源端实时采集数据，进行预处理和分布式消息缓存后， 按照消息订阅的方式，分发给后端的离线和在线处理系统
技术特点 TDBankTDBank-技术特点
TDW – Hadoop优化
Cluster Manager
资源管理 任务调度 任务管理
资源管理 任务调度
关键技术点
– – – – – JobTracker分散化 NameNode分散化 NameNode容灾 公平资源调度 差异化存储压缩
Job Tracker
JobTracker 任务管理 … 任务管理
网络出带宽
• • • 基于Linux Cgroup和 • HTB 层级化HTB结构 • 剩余出带宽基于job优 先级再分配：提高资源 • 利用率
网络入带宽
修改Linux kernel，已 发社区patch 通过令牌桶给网络包打 标记 通过ENC+丢包来限速 •
磁盘容量
统一的工作目录：便于 用户编写和调试分布式 程序 多磁盘：为job提供更 大磁盘空间，充分利用 磁盘I/O并发
秒级 监控
k Ba n TD
实时计算
TRC
离线计算
TDW
关系ቤተ መጻሕፍቲ ባይዱ存储
TDSQL
分布式存储
… HDFS/HBase/ HDFS/HBase/…
资源调度
Gaia
Gaia 资源管理与调度
1
� � � � �
平台简介 丰富资源管理维度 优化资源管理策略 优化资源调度器 应用情况
Gaia – 基于Yarn的改进
2 12月
22
TDW – PostgreSQL集成
� 弥补TDW接口不丰富的短板 � 弥补TDW小数据分析效率低的短板 � 弥补TDW update/delete效率低下的短板
DNS rw
master
互联互通 r r slaver slaver
TDW
JDBC ODBCShell php pgadmin
• •
Yarn——as Cluster Operation System 。 GAIA —基于Yarn的通用资源调度平台，提供高并发任务调度和资源管理，实现集 群资源共享，可伸缩性和可靠性，不仅可以为MR等离线业务提供服务，还可以支持 实时计算，甚至在线service业务。
� � �
将一个数据中心的硬件资源逻辑上整合成一台服务器 为云应用软件提供统一、标准的接口 管理海量的任务以及资源调配
Gaia – 优化资源调度器
调度器特点： Yarn Yarn调度器特点： �多种可插拔调度策略 �考虑job的公平性和优先级 的优化： Gaia scheduler scheduler的优化： �提升调度吞吐，毫秒级的下发 �提升可扩展性，适应更大规模集群 关键技术点： �Profiling优化关键路径 �调度与心跳处理解耦和 �细化锁粒度，减少线程间竞争 �异步化并行化处理
Namenode
DN
...
HDFS Cluster1 (namenode 1)
…
HDFS Cluster3 (namenode 3)
� �
单namespace无法扩展（ M1，128G，2.7亿） 文件操作性能受限
� �
按业务分布 按负载分布资源
19
TDW – Hadoop优化
关键技术点
– – – – – JobTracker分散化 NameNode分散化 NameNode容灾 公平资源调度 差异化存储压缩
年8月 2013 2013年 亿/天 1000 1000亿 年3月 2013 2013年 亿/天 100 100亿
年底 10000 亿/天 2014 2014年底 年底10000 10000亿
TDW 腾讯分布式数据仓库
3
� � � � � �
平台简介 Hive优化 Hadoop优化 PostgreSQL集成 Hbase应用 应用情况
压缩算法 Lzo（2-3倍） gzip（5-10倍） gzip（5-10倍）
副本策略 3副本 3副本 1.4-raid
L1（中） L2（冷）
– – – – –
JobTracker分散化 NameNode分散化 NameNode容灾 公平资源调度 差异化存储压缩
4 7月
2 8月
3 9月
1 10月
3 11月
Hive
获取NN信息
Meta
关键技术点
namenode 1 namenode 3
user
submit mr
Tbl_a Tbl_b
user
计算层 计算层
...
....
– – – – –
JobTracker分散化 NameNode分散化 NameNode容灾 公平资源调度 差异化存储压缩
Tbl_a
Tbl_b
Task Tracker
Task Tracker
...
Task Tracker
Task Tracker
Task Tracker
...
�
性能瓶颈（2K节点， 1000并发job，submit 延迟，lost tt）
� �
资源管理和任务调度解耦 分配资源高效
18
TDW – Hadoop优化
Hive
, Tbl_b Tbl_a Tbl_a, submit mr
TDW – 基于Hadoop/Hive的深度定制
集成开发环境 IDE 任务统一调度 Lhotse
Hive / Pig 查询处理引擎 数数数数据据据据采采采采集集集集
计算 引擎
MapReduce HADOOP 集群 HDFS
Postgre 小数据 处理
HBase 实时 查询
• •
TDW — Tencent distributed Data Warehouse 腾讯分布式数据仓库，支持百PB级的数据存储和计算，为公司产品提供海量、高效 、稳定的大数据平台支撑和决策支持。
易用性
命令行工具 存储引擎 DB DB存储引擎 语法细节 SQL SQL语法细节 集成开发环境 TDW TDW集成开发环境 • • • •
性能优化
split 按行 按行split Order by limit 优化 limit优化 查询计划并行优化 元数据重构
已覆盖商业数据库的常用功能； 低门槛开发界面，公司内部开发者超过1500人； 性能提升明显，稳定性高；
技术框架 TDBankTDBank-技术框架
业业业业务务务务数数数数据据据据源源源源 • •
消消消消息息息息接接接接入入入入中中中中心心心心
消消消消息息息息分分分分拣拣拣拣中中中中心心心心
︵︵︵︵分分分分布布布布式式式式缓缓缓缓存存存存︶︶︶︶
消消消消息息息息存存存存储储储储中中中中心心心心
DBAgent 日志 Agent 日志Agent
blockreport
...
...
� �
手工Failover，丢失 checkpoint后的数据（>1h） 重启耗时长（2k节点，2.4亿块 ，需80分钟）