分布式数据库设计报告

1案例背景 (1)

需求分析 (1)

2 分布式数据库设计 (2)

设计目标 (2)

总体设计目标 (2)

（4）可靠性： (3)

完成方式及周期 (3)

分布式数据库架构图 (4)

物理设计施工 (5)

3 总结 (5)

4所用设备汇总 (7)

5所使用软件 (7)

成品车间分布式数据库设计

1案例背景

随着成品车间信息化程度越来越高，我们的传统集中式数据库系统的缺点逐渐体现出来主要有:

1、所有数据处理、存储集中在一台计算机上完成，一旦机器损坏或系统崩

溃数据数据很难恢复。

2、单台机器写入/查询处理能力不足，一台机器既要读取数据，又要写入数

据，遇到大批量超过单台数据库的处理能力，就会出现卡顿，在生产时

间不敢批量制造/查询数据。

3、硬件性能瓶颈，包括(硬盘、CPU、内存)，使用升级硬件的方法效果有限。

4、出现故障没有备用服务器可以替代。

5、当前成品车间存在2种数据库，oracle，sql sever，交叉使用不方便管

理维护，出现问题排查困难。

6、由于数据库初期创建数据库/表比较混乱，现在对数据的统计管理需要在

两台服务器之间交叉进行，统计难度高，效率低。

需求分析

成品车间信息化程度越来越高，各个节点产生的数据量越来越大，对数据系统要求越来越高，我们所使用的传统集中式数据库已经无法从容应对越来越大的数据。

成品车间生产线数据库主要有oracle和sql server两种，分别分布在2台计算机中，柔性线、自动线、三相线交叉使用两种类型数据库，主要出现的问题有;

1、一旦其中一个数据库出现问题，那么就有很大的几率导致三条线体

的某个节点或全部节点失去数据服务，导致停线。

2、数据库出现故障，必须停线，故障修复之后才可以上线使用。

3、数据库处理能力有限，一旦进行数据统计，或者批量导出、写入数

据，数据库响应时间就会延长，严重时会影响到生产线的运行，带

来停线的风险。

4、硬件可拓展能力差，单台服务器使用升级硬件的方式来提高整个数

据库系统性能效果有限，花费高。

这就要求数据库必须变得稳定、快速、灵活，应具备分布式管理数据的能力，节点扩容添加灵活，容灾容错能力，数据安全增加备份服务器，主备数据同步无缝切换主备服务，读写分离功能，数据分片功能,每个节点都是一个独立的数据库，每个独立数据库上都有属于自己的局部业务应用，同时也能够支持全局的业务应用，数据由两台主机互相备份，一台异常宕机后出错另一台无缝提供数据服务，异常处理后可以即时并入系统，不用重启服务。

2 分布式数据库设计

分布式数据库系统是数据库系统与计算机网络相结合的产物，分布式计算是和集中式计算相对立的概念，分布式计算的数据可以分布在很大区域，它具备三方面的特点：一是物理分散性，即数据分散存储在各个不同的场地上；二是逻辑整体性，即分散的数据库在逻辑上是一个整体，在逻辑上就好像是一个集中的数据库系统；三是场地自治性，即各个场地上的数据由本地的DBMS (数据库管理系统)管理，具有高度自治的处理能力，能够独立完成本站点的局部业务应用。

设计目标

总体设计目标

根据分布式数据库设计的总体要求，结合实际现场生产案例的具体业务需求，该案例的总体设计目标如下：

（1）安全性：包括保证网络安全、数据库安全,建立严格的权限管理机制，后端数据库网络独立。

（2）配置方便：整个数据库配置后要实现热加载，不能重启整个系统服务。

（3）可扩充性：该分布式数据库的设计必须保证一定的可扩充性，以满足业务发展的需求，当系统需要扩容时，必须保证系统能够方便的将其加入，而并不需要修改源程序，以保证前端使用方式不变。

（4）可靠性：

1、改善系统的可靠性和可用性是分布式数据库的主要目标．将数据分

布于多个场地，并增加适当的冗余度可以提供更好的可靠性．一些可靠性要求较高的系统，这一点尤其重要．因为一个节点出了故障不会引起整个．因为故障场地的用户可以通过其它场地进入系统．而其它场地的用户可以由系统自动选择存取路径，避开故障场地，利用其它数据副本执行操作，不影响业务的正常运行，针对系统运行时可能遇到的各种软硬件故障，

2、分布式数据库应提供系统恢复机制和数据单节点定时备份功能，使

故障发生时遭受的损失最小。

3、当网络出现故障时，仍然允许对局部数据库的操作，而且一个位置

的故障不影响其他位置的处理工作，只有当访问出现故障位置的数据时，在某种程度上才受影响。

（5）数据一致性:分布式数据库在处理多节点数据时要保证主备数据的一致性、完整性。

完成方式及周期

系统设计目标分4期:

1、一期目标:完成部署4台存储服务器、1台数据路由器、调试(进行

稳定性测试，压力测试，主从切换测试)、完成定时备份功能，上线

提供服务。

2、二期目标:规划柔性线数据库表结构，创建相应的存储规则，完成柔

性线数据转移，替换柔性线应用软件使用的Sql Server数据库。

3、三期目标:

1、规范化SQL语句的使用，以数据库运行效率。

2、为保证前端的高可用，增加数据路由服务器至2台，替

换掉现有一台测试用路由服务器。(可以是当前办公电脑

联想小机箱) 。

3、加入数据路由服务器负载均衡服务，保证数据路由可靠

性。

4、将4台数据服务器内存升级为64或128GB，数据在内存

中执行效率是最高的。

5、使用独立交换机提供数据交换。

6、重新梳理柔性线数据存储表结构。

7、规划三相数据表存储结构与规则，完成三相线数据转移，

替换三相线应用软件使用的Sql Server数据库。

4、四期目标:与三辉合作，通过升级软件的方式将数据存储至分布式数

据库中，替代现有oracle数据库，实现为整个自动线提供数据服务，

最终建成可靠稳定高效的成品车间大数据系统。

分布式数据库架构图

物理设计施工

数据库性能的好坏很大程度上取决于数据库的物理设计，而不仅仅是关系模式设计的好坏和SQL语句写的好坏。通常关系数据库物理设计的内容包括：为关系模式选取存取方法，设计关系和索引等数据库文件的物理存储结构。

首先将5台服务器网络配置为（，并安装配置java环境，在4台服务器中分别安装mysql数据库，并配置2个用户，backup(用于主备数据同步)，mycat(用于数据路由)，使用backup账户配置主从同步，在pc主机中安装mycat数据路由工具，配置相关连接属性与数据分片规则，使mycat账户可以成功接管4台mysql服务。

3 总结

大数据时代，面对海量测试数据量和成品车间不断增加的节点对数据库的需求，分布式数据库具有如下特征，足以从容应对不断增加的节点与数据。

● 高可扩展性：分布式数据库必须具有高可扩展性，能够动态地增添存储节点以实现存储容量的线性扩展。

● 高并发性：分布式数据库必须及时响应大规模用户的读/写请求，能对海量数据进行随机读/写。

● 高可用性：分布式数据库必须提供容错机制，能够实现对数据的冗余备份，保证数据和服务的高度可靠性。

设计理念

从需求分析开始，分别进行概念设计，框架设计，容灾容错设计，物理设计物理设计等一系列设计过程。该设计过程是系统从无到有的设计与实现过程，是比较适合当前生产模式的分布式数据库设计。

该分布式数据库设计过程基于分布式应用需求，符合分布透明性原则，满足整个数据库系统在物理上分散而逻辑上统一的设计要求，基本能够实现用户的功能需求，改善整体工作效率，解决原来集中式处理的传输瓶颈问题，有效的利用

了局部数据来处理资源，使整个数据库系统实现负载均衡。

当前分布式数据库优点:

处理能力:当前服务器设计处理能力是oracle数据库2倍

容灾容错:采用主备同步方式，单节点定时备份，主机崩溃后，自动切换可用服务,整个数据库后端单节点故障不会影响到整个数据库对外服务。

硬件拓展:分布式数据库优点在于其是一个分布式的数据库集群，处理节点和存储节点都可以线性增加.

开发方式:分布式数据库提供一个统一的前端连接接口，与其他数据库使用方式基本相同。

当前分布式数据库缺点

通信开销较大，例如，在网络通信传输速度不高时，系统的响应速度慢，与通信相关的因素往往导致系统某个节点。

（2）数据的存取结构复杂。一般来说，在分布时数据库中存取数据，比在集中时数据库中存取数据更复杂，开销更大。

4所用设备汇总

5所使用软件