面向高能所信息化系统的高可用数据库服务

• 缺点：
• 只支持一主多从架构，集群中必须最少有三台数据库服务 器 • 要保持切换对应用透明，依然依赖于VIP。 • 不适用于大规模集群部署，配置比较复杂。 • MHA管理节点本身的HA无法保证。
Wang Li/CC/IHEP 2018/11/1 - 13
基于zookeeper的高可用
• 优点：
• 优点：
Wang Li/CC/IHEP 2018/11/1 - 16
高能所数据库集群方案
• 优势
• 使用Atlas代理服务器 ，实现读写分离，实 现mysql集群的高并发 • 两个master安装 keepalived实现Mysql 集群的高可用。VIP是 对外服务ip • master节点故障，自 动切换master。 • 两个slave节点同步主 节点，用来读
• 需要主备的IP在同一个网 段。 • 需要自定义脚本来确定 Master是否能提供服务
• 限制或缺点：
Wang Li/CC/IHEP 2018/11/1 - 12
MHA
• 优点：
• • • • 代码开源 保持数据一致。 故障时，选择slave作为自动切换 可以灵活选择VIP方案或者全局目录数据库方案(更改 Master IP映射)来进行切换。
• 扩展性非常好，可以管理大规 模集群。 • 保证了整个系统的高可用 • 主从的强一致依赖于MySQL本 身，比如半同步，或者外围工 具的回补策略
• 缺点：
• 引入zk，整个系统变得复杂。
Wang Li/CC/IHEP 2018/11/1 - 14
Mysql Cluster
• 优点：
• • • • • • • • • 准同步复制、自动节点管理 数据严格一致 服务高可用 多个可同时读写节点， 可实现写扩展 只支持innodb引擎 所有表都要有主键 由于写要同步到其它节点，存在写扩大问题 非常依赖于网络稳定性，不适用于远距离同步
Wang Li/CC/IHEP 2018/11/1 - 6
需求
• • • •
高性能 安全性 高可用 集中存储
MySQL集群
Wang Li/CC/IHEP 2018/11/1 - 7
Mysql 集群方案
• • • • • • •
基于共享存储的方案SAN 基于磁盘复制的方案 DRBD 基于主从复制(单点写)方案 MHA(Master High Availability) 基于zookeeper的高可用 基于Cluster(多点写)方案 基于中间件proxy的方案
信息化
提高效率
流程
业务
来自百度文库
渠道
降低成本
增强竞争力
整合、优化、重组
Wang Li/CC/IHEP 2018/11/1 - 3
信息化现状
Wang Li/CC/IHEP 2018/11/1 - 4
高能所信息化
• PC端
• • • • • 网络接入控制系统 人力资源系统 物资采购系统 基建采购报销系统 投票系统
Wang Li/CC/IHEP 2018/11/1 - 8
基于共享存储的方案SAN
• 优点:
• 可以避免存储外的其它组件引起 的数据丢
• 部署简单，切换逻辑简单，对应 用透明。 • 保证主备数据的强一致。 • 共享存储是单点， • 价格比价昂贵。 • 若共享存储挂了，则会丢失数据
• 限制或缺点:
Wang Li/CC/IHEP 2018/11/1 - 9
Wang Li/CC/IHEP 2018/11/1 - 15
• 缺点
基于中间件proxy方案
• 中间件
• 阿里 Cobar、MyCAT • 360 Atlas • 淘宝 Tddl
• • • • 切换对应用透明 可扩展性强，方便分片扩展 可以跨机房部署切换 使用中间件的方案能够每天处理近50亿次的SQL执行请 求

Select-Atlas Select-直连 Update-Atlas Update-直连 Insert-Atlas Insert-直连
1319 1532 181 211 195 214
5882 9957 853 819 890 864
7397 14189 1350 1333 3516 5132
12125 17172 1908 2148 4614 6587
Wang Li/CC/IHEP 2018/11/1 - 17
数据库平台测试效果
• 利用sysbench测试
• 执行80000次 select • 80000次update • 80000次insert 每组数据重复测试三 次后取平均值
1 8 16 32 64 128
• 测试情况
• 测试连接 Atlas • 直连 DB 这两种情 况下的 QPS
基于磁盘复制的方案 DRBD
• 优点：
• 1.切换对应用透明 • 2.保证主备数据的强一致。 • 1.影响写入性能，由于每次 写磁盘，实质都需要同步到 网络服务器。 • 2.一般配置两节点同步，可 扩展性比较差 • 3.备库不能提供读服务，资 源浪费
Wang Li/CC/IHEP 2018/11/1 - 10
• APP移动端
• 高能所通讯簿系统 • 个人云平台
Wang Li/CC/IHEP 2018/11/1 - 5
传统数据库
• 单机数据库 • 可靠性难以保障 • 不支持高并发
• 数据分散存储
• 数据库节点故障 • 数据库配置存在瓶颈 • 访问量影响系统响应 • 数据丢失、数据损坏
• 数据一致性无法保障
面向高能所信息化系统的高可用 数据库服务
王丽
计算中心 中科院高能所
第十八届全国科学计算与信息化会议
目录
• • • • • •
背景与现状 问题与需求 数据库集群方案 IHEP数据库集群架构 性能测试 总结与展望
Wang Li/CC/IHEP 2018/11/1 - 2
什么是“信息化”？
计算机技术 软件技术 互联网技术
16472 21575 2388 2677 5948 7353
• 限制或缺点：
基于主从复制(单点写)方案
• Mysql 主从复制原理 • 优点
• • • • 数据分布 负载平衡 备份 高可用性和容错行
Wang Li/CC/IHEP 2018/11/1 - 11
Keepalived+双主
• 优点：
• 安装配置简单 • Master故障时，Slave快 速切换提供服务，并且对 应用透明