美团数据库运维平台介绍ppt
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 慢查询TOP10 • 磁盘消耗速度TOP10 • Innodb_pages_read TOP10 • Innodb_row_lock_time TOP10 • 监控被disable的主机 • 自增ID溢出检测
-
-
DB Weekly Report
• 包含内容
– 持续一周不在访问表 – 持续一周不在使用的索引 – 冗余的索引
-
One More Thing……
-
Redis Cluster使用经验
-
• cluster-node-timeout 15000 • 添加slave节点 • Flushall操作
-
• 使用redis-trib.rb创建集群 • 添加slave节点 • 小心master和slave分布在同一台机器上
-
Percona使用经验
• Percona Server
– User Statistics – Response Time Distrub – Thread pool – innodb_deadlocks – max_binlog_files
• Percona Toolkit
– pt-query-digest – pt-kill – pt-online-schema-change – pt-duplicate-key-checker
• 实现方式
– percona user stat – pt-duplicate-key-checker
-
-
• 历史processlist查询 • 历史的show engine innodb status查询
-
容量管理
团购/外卖/猫眼/酒店
-
容量管理
• Benchmark • Tcpcopy • 挖掘历史数据估算节假日峰值 • 监控数据:max(avg(15m))
-
慢查询
• pt-query-digest • Box Anemometer
-
MySQL
Slow Log
Pt-query-digest
MySQL
Slow Log
Pt-query-digest
MySQL
Anemometer
MySQL
Slow Log
Pt-query-digest
-
-
备份系统
• Xtrabackup • 自动扩容
美团数据库运维平台介绍
-
大纲
• 自动化运维平台 • 慢查询系统 • 备份系统 • 运维报表 • Percona使用经验
-
自动化运维平台
工具
自助DDL 授权申请 慢查询系统 DBManager
元信息
报表
DBA Weekly Report
CPU IO 慢查询 监控
RD DB Weekly Report
废弃表废弃索引冗余索引
历史Processlist查询
历史Innodb Status查询
容来自百度文库管理
-
-
自助DDL
-
类 型
Create Alter&Drop
Delay
检
Size
查
Alter
Drop
执
O
备
行
S
份
C
Drop
-
pt-online-schema-change
触发器
Old New Data Data
（issue 2204）
-
• 慢查询 • 避免神秘主义
– 一个节点内存消耗远大于其他节点 – 不恰当使用monitor导致client output buffer占用
了大量的内存
-
-
统计分析报表
工具
自助DDL 授权申请 慢查询系统 DBManager
元信息
报表
DBA Weekly Report
CPU IO 慢查询 监控
RD DB Weekly Report
废弃表废弃索引冗余索引
历史Processlist查询
历史Innodb Status查询
容量管理
-
DBA Weekly Report
New Table
Insert ignore into newtable select from oldtable where pk between () lock in share mode
主从表结构异构,会导致Slave表结构被覆盖
添加唯一索引,如果存在重复数据会丢失-
DBManager
-
慢查询
-
-
DB Weekly Report
• 包含内容
– 持续一周不在访问表 – 持续一周不在使用的索引 – 冗余的索引
-
One More Thing……
-
Redis Cluster使用经验
-
• cluster-node-timeout 15000 • 添加slave节点 • Flushall操作
-
• 使用redis-trib.rb创建集群 • 添加slave节点 • 小心master和slave分布在同一台机器上
-
Percona使用经验
• Percona Server
– User Statistics – Response Time Distrub – Thread pool – innodb_deadlocks – max_binlog_files
• Percona Toolkit
– pt-query-digest – pt-kill – pt-online-schema-change – pt-duplicate-key-checker
• 实现方式
– percona user stat – pt-duplicate-key-checker
-
-
• 历史processlist查询 • 历史的show engine innodb status查询
-
容量管理
团购/外卖/猫眼/酒店
-
容量管理
• Benchmark • Tcpcopy • 挖掘历史数据估算节假日峰值 • 监控数据:max(avg(15m))
-
慢查询
• pt-query-digest • Box Anemometer
-
MySQL
Slow Log
Pt-query-digest
MySQL
Slow Log
Pt-query-digest
MySQL
Anemometer
MySQL
Slow Log
Pt-query-digest
-
-
备份系统
• Xtrabackup • 自动扩容
美团数据库运维平台介绍
-
大纲
• 自动化运维平台 • 慢查询系统 • 备份系统 • 运维报表 • Percona使用经验
-
自动化运维平台
工具
自助DDL 授权申请 慢查询系统 DBManager
元信息
报表
DBA Weekly Report
CPU IO 慢查询 监控
RD DB Weekly Report
废弃表废弃索引冗余索引
历史Processlist查询
历史Innodb Status查询
容来自百度文库管理
-
-
自助DDL
-
类 型
Create Alter&Drop
Delay
检
Size
查
Alter
Drop
执
O
备
行
S
份
C
Drop
-
pt-online-schema-change
触发器
Old New Data Data
（issue 2204）
-
• 慢查询 • 避免神秘主义
– 一个节点内存消耗远大于其他节点 – 不恰当使用monitor导致client output buffer占用
了大量的内存
-
-
统计分析报表
工具
自助DDL 授权申请 慢查询系统 DBManager
元信息
报表
DBA Weekly Report
CPU IO 慢查询 监控
RD DB Weekly Report
废弃表废弃索引冗余索引
历史Processlist查询
历史Innodb Status查询
容量管理
-
DBA Weekly Report
New Table
Insert ignore into newtable select from oldtable where pk between () lock in share mode
主从表结构异构,会导致Slave表结构被覆盖
添加唯一索引,如果存在重复数据会丢失-
DBManager
-
慢查询