达梦数据库集群选择及介绍

达梦数据库集群选择及介绍

武汉达梦数据库有限公司

2019年9月

版本历史

目录

1 达梦公司介绍 (1)

1.1核心研发能力 (1)

1.2运维保障能力 (2)

1.2.1 保障体系的组织方式 (2)

1.2.2 服务保障流程 (5)

2 数据库集群选择及介绍 (8)

2.1路线规划 (8)

2.2集群种类 (10)

2.2.1 达梦数据守护集群(DataWatch) (10)

2.2.2 达梦读写分离集群(DMRWC) (15)

2.2.3 达梦大规模并行处理框架(DMMPP) (18)

2.2.4 达梦数据共享集群(DMDSC) (23)

3 成熟案例介绍 (28)

3.1国家智能电网调度指挥系统D5000 (28)

3.2南方电网-OS2地级主站系统 (28)

3.3中航信在线事务处理系统 (29)

3.4中国铁建集团财务大共享系统 (29)

3.5海南社保 (30)

3.6南京公安警务平台系统 (30)

3.7江苏监狱管理局项目 (31)

3.8国家发改委-投资审批系统 (31)

3.9国家发改委-信用交换平台 (32)

1达梦公司介绍

达梦数据库有限公司成立于2000年11月，注册资金3637万，为国有控股的大型基础软件企业。其前身是华中科技大学数据库与多媒体研究所，是国内最早从事数据库管理系统研发的科研机构，得到国家各级政府的强力支持，是中国数据库标准委员会挂靠单位，湖北省数据库工程技术研究中心。在北京、石家庄、上海、广州、南宁、西安和成都等地设有分支机构。

达梦公司是国家规划布局内重点软件企业，首批获得国家“双软”认证的高新技术企业，专业从事数据库管理系统研发、销售和服务。公司管理规范，锐意进取，通过了国家保密局“涉及国家秘密的计算机信息系统集成软件单项资质”认证和工业信息化部“计算机信息系统集成资质二级”认证，并通过了国际IS09001质量体系和CMMI软件成熟度模型五级认证，AAA资信。

达梦人经过30年的努力拼搏，在学习、分析国际上众多优秀数据库产品的基础上原始创新，投入上千人年，耗资过亿，开发源代码上千万行，形成了具有完全自主知识产权的DBMS产品系列，先后完成了近80项国家级、省部级的科研开发项目，取得了50多项研究成果，皆为国际先进、国内领先水平，其中30多项获国家、省部级科技进步奖，在国内同行中处于领先地位。

达梦数据库是国内第一家通过国家安全三级认证，国内第一家通过10TB数据库容量测试的数据库产品，也是唯一通过中国人民解放军目前最高级别军B级认证的国产数据库。达梦数据库产品已成功用于我国国防军事、公安、安全、财政金融、电力、水利、审计、交通、信访、电子政务、税务、国土资源、制造业、消防、电子商务、教育等20多个行业及领域，装机量超过10万套，打破了国外数据库产品在我国一统天下的局面，取得了良好的经济效益和社会效益。

达梦数据库(DM)具有完全知识产权，是达梦人近30年的智慧、心力和汗水的结晶，是中国人的骄傲，必将为中国信息化做出贡献。

1.1核心研发能力

达梦数据库历来注重新的技术发展趋势和技术研发工作，工作70%以上人员为技术人员。DM7.0推出后，在国内数据库领域引起了强烈反响。在这一款产品上，达梦推出了目前

国际最前沿的MPP大规模并行计算集群架构的实现方案，其技术架构和功能性能能够应用大目前国内很多核心重大工程中，结合了目前的云计算平台的发展趋势，将在未来一段时间里面处于技术领先状态。另外，达梦数据库还同时支持行列存储，内置了行列两个引擎，可同时很好的支持OLAP和OLTP业务。列存技术，结合分段式压缩、智能索引、MPP分布式技术一起构成了达梦数据库海量数据解决方案，目前在国内也只有达梦能提供。同时达梦还提出了基于DMASM的DSC集群，不同于其他厂商基于操作系统文件系统开发的DSC

集群，提供了一个专门解决裸设备的使用限制而提出的自动存储节目方案。

1.2运维保障能力

1.2.1保障体系的组织方式

达梦公司在武汉设立技术服务中心总部，协调全国范围的技术服务和培训工作并为区域技术服务中心提供支持，在全国建立七个区域技术服务中心：

华北服务中心（北京）：负责北京、河北、山西、天津、内蒙的客户服务。

东北服务中心（沈阳）：负责黑龙江、辽宁、吉林的客户服务。

西北服务中心（乌鲁木齐）：负责宁夏、青海、甘肃、新疆的客户服务。

西南服务中心（成都）：负责四川、云南、贵州、重庆、西藏的客户服务。

华中服务中心（武汉）：负责湖北、河南、湖南、江西的客户服务。

华南服务中心（广州）：负责广东、广西、海南、福建、台湾省的客户服务。

华东服务中心（上海）：负责上海、江苏、浙江、安徽、山东的客户服务。

七个区域中心均配备有丰富经验的技术人员，负责本区域范围的技术支持和培训服务。在本区域内的每一个省会城市或中心城市都有合作伙伴，建立本地技术服务中心，他们与技术服务中心的技术人员一起负责解决本地区的问题，为达梦提供本地化服务保障。

达梦公司服务机构组织层次如下图所示：

技术服务中心总部设在武汉，负责所有服务的管理和监督工作。总部设统一的电话服务热线、网上在线服务、投诉处理等，并负责制订达梦服务规范，统一服务窗口形象等，对区域及中心城市的服务进行指导和后备支持。

区域服务中心设立在相应的区域中心，有两种方式建设。一是依托达梦在当地的分公司/机构，组建服务团队。另一种是依托当地的合作伙伴，由他们提供服务。每个区域服务中心保证有固定的办公场地、服务热线，有专职的技术服务人员。总部将协助区域中心对技术服务人员进行培训，达到所需业务水平。

省会中心城市的本地服务中心主要通过各区域服务中心来实现业务指导和监督。在每个城市，本地服务中心可以有多个，以提高达梦服务能力。

达梦公司技术服务机构组织结构如下图所示：

达梦公司技术服务机构位置分布如下图所示：

1.2.2服务保障流程

达梦公司建立了完整的服务策略，并设立了客户服务中心，客服中心是集客户服务质量管理、客户投诉建议受理与反馈、客户服务满意度跟踪与回访和售后技术支持为一体的统一客户服务平台。以实现与客户“共同进步、共享成功”的最终目标：

服务标准化：基于ISO9001 质量控制体系的技术服务标准，形成标准化的作业流程，严格的追诉制度，规范化的文挡与服务用语。

服务产品化：充分满足用户需求，将服务内容和服务项目细化，作为产品进行捆绑销售或单独销售给用户。

服务体系化：建立了以分公司为中心的服务体系，有专业的服务工程师让用户的问题在最短的时间内得到解决。

服务多样化：在售前、售中、售后，倡导基于用户满意的个性化关怀；满足用户标准化服务以外的特殊使用需要。

服务主动化：定期回访制度，针对客户问题比对历史案例，提出预先解决方案，并保证服务在短时间内到位。

在服务过程中，为保证我们的服务策略得到充分的贯彻和实施，我们建立了如下图所示的服务层次模型，以确保用户的满意：

图：达梦公司服务层次模型

1.区域技术服务中心：由达梦区域中心的技术人员与当地合作伙伴合作，解决客户在

数据库系统运行中的遇到的常见问题。他们负责解决客户提出的约60％的问题，不能解决的问题报告给武汉技术服务中心总部，转入下一层。

2.技术服务中心总部：该部门成员长期从事应用软件开发，具有丰富的实践经验和快速解决问题的能力，综合素质高，负责解决区域中心不能解决的各种综合性问题，包括应用软件、操作系统、数据库、中间件甚至网络和硬件。他们负责解决客户提出的约30％的问题，不能解决的转入下一层。

3.测试中心：该部门人员精通数据库实现原理，对数据库产品的内核技术非常了解，可以解决数据库软件比较深层的问题。他们负责解决客户提出的约8％的问题，不能解决的问题转入下一层。

4.研发中心：即设计与实现达梦产品的核心技术人员。他们负责解决剩下的2％的最难问题。

为了能够在短时间解决用户的问题，缩短用户系统的故障恢复时间，达梦公司技术人员将充分利用网络资源和网络技术，优先提供远程在线技术支持，在尽量短的时间内解决用户的问题，恢复用户的业务系统。如果远程在线技术支持不能解决问题，将在第一时间派资深技术人员到现场。

达梦公司服务流程如下：

图：达梦公司服务流程

我们本着用户是上帝的宗旨，尽可能为用户排忧解难，只要您提出了问题，我们就认真地去解决。

2数据库集群选择及介绍

达梦目前的主打产品为达梦数据库DM7，在此基础上达梦开发形成了较为丰富的产品体系。目前在面向传统的事务处理、大数据分析，以及面向互联网、大数据领域都有针对性的主打产品，如下所示：

在传统事务处理方面，例如交易系统、办公管理系统，达梦除了单机数据库之外，还开发了共享存储集群。能够实现高可用和一定程度的性能提升。目前已经处于首批用户试用阶段。

对于大数据分析场景，例如经分、首长决策，达梦基于大规模并行计算技术，提供了MPP集群产品，能够充分利用多机并行，大幅提升分析速度，目前在河北公安云、湖北公安云、泰国教育部等项目得到应用，在国安某系统中，支撑了200TB数据的分析。

对于超大规模的并发事务处理，比如达到上十万的并发用户级，面向互联网+领域的应用场景，达梦正在开发分布式数据库。

在全国产、自主替代工程方面，针对国产CPU平台硬件性能相对较低的情况，达梦开发提供了读写分离产品，能将多台国产服务器对外整合为一个统一的数据库实例，在兼顾数据一致性的情况下，实现数据库的负载均衡，效果突出。在NF工程中，基于达梦读写分离集群已经能够支撑千人并发的需求，并在咸阳、余杭等试点上限。

2.1路线规划

根据达梦目前的主要市场化进展，以及市场发展策略，达梦未来三年将在传统数据库应

用领域，发力高可用、国产硬件平台优化、共享存储集群、监控运维、高端设备优化5个方向。

尤其是在电子政务自主可控替代方面，达梦产品的主要规划有两个方面：

1.跟随着CPU、国产OS的发展节奏，持续进行国产平台的适配、优化、改进。

2.总结达梦现有的高可用技术，结合用户的反馈，开发实现新的高可以技术，着重强调故障切换的自动化、透明化。

在新兴的大数据、云计算和互联网+领域，达梦将整合结构化和非结构化数据，研发半结构化数据存储引擎、非结构化数据分析引擎。同时面向互联网+进一步发展分布式数据库，提供超高并发的事务处理数据库集群产品。并通过大数据整合平台实现结构化与非结构化的整合，前端事务系统与后端分析系统的整合。

未来三年期间，在这些研究内容的支撑下，预计DM数据库将升级三个版本号

（DM7.3~DM7.5），同时还会新推出适用于DM7的半结构化存储引擎选件(DM JSON1.0)、达梦分布式数据库产品（DM DCP2.0，目前内部已经有DMDCP1.0，属于原型产品），以及达梦非结构化数据库DM NoSQL DB2.0(目前已有DM NoSQL DB1.0,属于原型产品)。

2.2集群种类

达梦数据库采用全新的体系架构，以及提供了为容灾为主的数据守护集群(DataWatch)、基于分摊业务并发压力的读写分离集群(DMRWC)，基于分布式存储的大规模并行处理框架(DMMPP)集群、以及基于共享存储的数据共享集群(DMDSC)。

2.2.1达梦数据守护集群(DataWatch)

数据库系统往往处在信息系统的核心位置，是系统正常运行的必要基础。因此，用户对数据库系统的安全性和可用性提出了很高的要求。传统的备份恢复技术，基于存储的远程镜像等方法可以满足用户对数据安全性的要求，但无法满足高可用性的要求，从出现故障，到解决故障，重新提供数据库服务的时间往往较长。用户迫切的希望有一种新的解决方案，可以同时满足数据安全性和高可用性的要求。

DM7数据守护（Data Watch）是一种集成化的高可靠性解决方案，同时满足用户对数据安全性和高可用性的要求。解决由于硬件故障、自然灾害等原因导致的数据库服务长时间中断问题，满足用户不间断提供数据库服务的要求。

2.2.1.1实现原理

DM7数据守护（Data Watch）的实现基础是REDO日志的生成、归档、传输和重做。数据库对象的任何修改，都可以归结为对数据块的改动，REDO日志忠实的记录了数据块内容的变动情况。并且，REDO日志具有原子性、有序性的特征，每条REDO日志记录包含明确的操作内容，并且REDO日志是严格按照操作的先后顺序生成的。借助DM7的REDO日志归档机制，将主数据库产生的REDO日志，通过网络传递到备数据库，备数据库的REDO日志重做服务解析并重做REDO日志，在对应数据块的对应偏移上写入最新数据；从而，实现了备数据库与主数据库之间的数据同步。这种同步是纯粹物理层面的同步，可以严格保证主、备数据库之间数据是完全一致的。

REDO日志由一系列的REDO日志记录RREC组成，根据记录内容的不同，RREC可以分为两类：物理RREC和逻辑RREC。物理RREC的内容包括：修改的数据块、块内偏移、修改类型、修改动作的内容，以及修改内容的长度等信息。

逻辑RREC是专门为数据守护新增加的记录类型，主要是为了解决重做REDO日志与用

户访问备数据库之间的并发冲突，以及DDL导致的主备数据库字典缓存不匹配问题。逻辑RREC类型包括：事务启动、事务提交、事务回滚、字典封锁、事务封锁、B树封锁、字典淘汰等。虽然这些操作本身不会修改物理数据块，但是主数据库仍然忠实的记录了这些操作，生成相应逻辑RREC记录。备数据库解析到逻辑RREC记录时，根据记录内容，生成相应的事务，封锁对应的数据库对象，并从字典缓存中淘汰过期的字典对象。

2.2.1.2系统架构

DM7数据守护包含的主要部件有：主数据库、备数据库、联机REDO日志系统、本地REDO日志归档服务、实时REDO日志归档服务、REDO日志重做服务、MAL系统、守护进程和监视器。其中，守护进程和监视器是两个独立的工具，其他部件集成在DM7数据库服务器DMSERVER中。

2.2.1.3功能

DM7 Data Watch 的功能包括：

主备机切换(SWITCHOVER)

在主备机正常的情况下，支持通过监视器执行SWITCHOVER来切换主备机，实现主备

机计划内的切换。

备机接管

在主机故障，并且长时间无法恢复的情况下，用户可以通过备机接管切换TAKEOVER，手动将备机切换为主机，对外提供数据库服务。

应用自动重连

通过配置达梦服务配置文件(dm_svc.conf)，使用连接服务名访问数据库，在主数据库发生故障后，达梦数据库访问驱动程序自动将连接迁移到新的主数据库上。

自动同步历史数据

在故障解决后，恢复的原主机，可以作为备机重新加入数据库守护系统。这个过程无需用户干预，系统自动将其配置为备机并同步历史数据。

实时监控

通过监控工具DMWMON，可实时监控主、备数据库的状态和数据同步情况。

活动的备用数据库

基于独特的字典缓存技术和日志重演技术，备用数据库在OPEN状态下执行数据同步，是真正意义上的热备机；在实现异地容灾的同时，用户可以只读访问备数据库，执行报表生成、数据备份等功能，减轻主机系统的负载、提高资源利用率。

滚动升级

通过DM7 Data Watch，可通过计划内的主备机切换，在保证应用不宕机的情况下，依次实现对主备机的DM7数据库版本升级。

2.2.1.4优点

部署简单方便

DM7 Data Watch 部署较简单，仅需要对主备机的配置文件进行一些配置即可搭建完成。

可靠的故障处理

主机故障：

?假如主机实例故障，主机的dmwatch会自动重启主机实例；

?假如主机硬件故障，主机机器shutdown；

?备机继续提供只读的数据库服务；

?若主机数据没有损坏，主机恢复后，继续做为主机提供服务；

?若主机数据损坏，手工切换备机为主机，并根据备机数据恢复主机；

备机故障：

?主机的实时归档失效，本地归档继续服务；

?主机继续提供正常的数据库服务；

?假如备机的实例故障，备机的dmwatch会自动重启备机实例；

?假如备机硬件故障，备机机器shutdown；

?若备机数据没有损坏，备机恢复后继续做为备机，主备机的dmwatch消息互通后，确认备机状态正常，主机的实时归档将生效，数据同步；

?若备机数据损坏，根据主机数据恢复备机数据；

外部网络故障：

?假如主机外部网络故障，则无法访问主机，此时备机还提供只读服务；

?假如备机外部网络故障，则无法访问备机，主机继续提供正常的数据库服务，主机数据更新将通过内网同步到备机；

?外部网络恢复后，主备机正常访问，在些期间数据一致性不受影响；

内部网络故障：

?主机继续提供正常的数据库服务，主机实时归档失效；

?备机提供只读数据库服务，但数据一致性已不受保证；

?内部网络恢复后，主机实时归档生效，同步期间的数据到备机；

监视器故障：

?监视器做为Data Watch的状态监视客户端，非必需项，假如发生故障，不影响主备功能正常使用。

快速切换

采用TPCC事务模型，分别在120库压力、800库压力下对DM7 DataWatch的切换性能进行测试，测试结果如下：

TPCC 120库，data文件为8.5G，相当于1200个用户并发访问。

TPCC 800库，data文件为65G，相当于8000个用户并发访问。

性能稳定

采用TPCC事务模型，分别在120库压力、800库压力下对DM7 DataWatch的性能进行测试，测试结果表明其与单机的性能相比无明显损耗。

TPCC 120库，data文件为8.5G，相当于1200个用户并发访问。

TPCC 800库，data文件为65G，相当于8000个用户并发访问。

表现稳定

采用TPCC事务模型，在TPCC 800库压力对DM7 DataWatch的进行稳定性测试，进行7x24小时，表现稳定。

注：TPCC 800库，data文件为65G，相当于8000个用户并发访问.

2.2.2达梦读写分离集群(DMRWC)

读写分离集群（DMRWC）是DM7提供的一个用于提升并发事务处理性能的集群组件。在一个高并发的事务型系统中，当写事务占的比例相对读事务较小时，DM7提供的这种独具创新的方案DMRWC，可通过客户端来实现读、写事务的自动分离，读事务在备机执行，写事务在主机执行，减轻主机的负载。可配置多台备机，通过增加备机节点资源，提高系统的并发能力，增强系统性能。

2.2.2.1系统架构

DMRWC系统可通过驱动程序来实现读写事务的自动分离，读事务在备机执行，写事务在主机执行，减轻主机的负载。通过增加备机节点资源，提高系统的并发能力，增强系统性

能。DMRWC的系统架构如下图所示。

2.2.2.2事务级读写分离

DM7创新地实现了事务级别的读、写操作分离执行的技术方案。若事务全为读操作，则全部在备机上执行；若事务全为写操作，则全部在主机上执行；若事务既有读又有写，备机会将写操作返回给主机执行，该事务中从写操作开始以后所有操作均在主机上执行，保证事务一致性。如果事务中含有存储过程/存储函数，也支持存储过程/存储函数中的读写操作的分离执行。

2.2.2.3负载均衡

为了实现负载均衡，在写事务不多的情况下，为了防止出现读事务过多占用备机资源、主机负载过少造成资源浪费的情况，客户端采用一定的算法进行均衡。用户可通过驱动程序的连接属性来指定主机分配事务数的比例，属性值设得越大，则主机上分配的事务数越多。同时，负载均衡还具备故障隔离的功能，当某些物理服务器失效时，自动剔除故障服务器，一旦故障得以恢复，用户访问负载则自动加载上来。

当DMRWC的负载趋于饱和时，通过增加备机服务器，系统的负载将重新在所有集群的物理服务器之间重新分配达到新的均衡。举例说明：有1000个并发连接，4台备机，按照负载策略，则每台备机上的连接数为250个；如果再增加一台备机，则每台备机的连接数将为200个。

2.2.2.4性能提升

DMRWC特别适用于办公系统、网站等以读为主、只读事务多于写事务的业务场景，在这样的场景中的性能可以得到较明显的提升。

搭建一主两备的DMRWC，经测试，加速效果如下所示：

图：读写分离一主两备加速效果图

在一主两备的DMRWC的配置下，当只读事务比例超过整个事务的30%时，开始有加速效果；当只读事务比例超过整个事务的60%时，加速效果明显；当只读事务比例超过整个事务的90%时，加速效果接近线性。

2.2.2.5高可用性

DMRWC中可配置多个实时备机冗余，提升可靠性；支持秒级的故障快速切换。

2.2.2.6可扩展性

DMRWC随着用户访问数量的增加，可以增加备机对集群进行扩容，最多可扩展到8台备机；系统性能、可靠性随着节点的增加而增强。一主两备的配置下，最高可达到接近单机3倍的性能提升；一主八备的配置下，最高可达到单机7倍左右的性能提升。