组建MySQL集群的几种方案,优劣与讨论

组建MySQL集群的几种方案,优劣与讨论
组建MySQL集群的几种方案,优劣与讨论

组建MySQL集群的几种方案

LVS+Keepalived+MySQL(有脑裂问题?但似乎很多人推荐这个)

DRBD+Heartbeat+MySQL(有一台机器空余?Heartbeat切换时间较长?有脑裂问题?)

MySQL Proxy(不够成熟与稳定?使用了Lua?是不是用了他做分表则可以不用更改客户端逻辑?)

MySQL Cluster (社区版不支持INNODB引擎?商用案例不足?稳定性欠佳?或者还有其他问题?又或者听说现在发展不错?)

MySQL + MHA (如果配上异步复制,似乎是不错的选择,又和问题?)

MySQL + MMM (似乎反映有很多问题,未实践过,谁能给个说法)

淘宝的Cola(似乎现在停止开发了?)?变形虫Amoeba(事务支持?)

或者,其他方案?

回答1:

不管哪种方案都是有其场景限制或说规模限制,以及优缺点的。

1. 首先反对大家做读写分离,关于这方面的原因解释太多次数(增加技术复杂度、可能导致读到落后的数据等),只说一点:99.8%的业务场景没有必要做读写分离,只要做好数据库设计优化和配置合适正确的主机即可。

2.Keepalived+MySQL --确实有脑裂的问题,还无法做到准确判断mysqld是否HANG 的情况;

3.DRBD+Heartbeat+MySQL --同样有脑裂的问题,还无法做到准确判断mysqld是否HANG的情况,且DRDB是不需要的,增加反而会出问题;

3.MySQL Proxy -- 不错的项目,可惜官方半途夭折了,不建议用,无法高可用,是一个写分离;

4.MySQL Cluster -- 社区版本不支持NDB是错误的言论,商用案例确实不多,主要是跟其业务场景要求有关系、这几年发展有点乱不过现在已经上正规了、对网络要求高;

5.MySQL + MHA -- 可以解决脑裂的问题,需要的IP多,小集群是可以的,但是管理大的就麻烦,其次MySQL + MMM 的话且坑很多,有MHA就没必要采用MMM

建议:

1.若是双主复制的模式,不用做数据拆分,那么就可以选择MHA或Keepalive 或heartbeat

2.若是双主复制,还做了数据的拆分,则可以考虑采用Cobar;

3.若是双主复制+Slave,还做了数据的拆分,需要读写分类,可以考虑Amoeba;

上述所有的内容都要依据公司内部的业务场景、数据量、访问量、并发量、高可用的要求、DBA人群的数量等综合权衡

这是我在知乎上的一个问题,就一人回答了下,搬上CU来讨论讨论,本人之前开发人员,对MySQL不太熟,现国内『某省运营商』希望出个分布式MySQL的方案,就方案的那种,结果摊到小弟头上,望大神指点迷津。

SQLOracle数据库群集实施方案

南宁海关信息系统基础平台数据库群集实施报告 2016年9月13号

目录 1 MS SQL数据库群集 ................................................................. 错误!未定义书签。 项目概述.............................................................................. 错误!未定义书签。 SQL群集拓朴图................................................................. 错误!未定义书签。 运行网SQL群集拓朴图............................................ 错误!未定义书签。 管理网SQL群集拓朴图.............................................. 错误!未定义书签。 SQL群集配置信息............................................................. 错误!未定义书签。 运行网SQL群集配置表............................................ 错误!未定义书签。 管理网SQL群集配置.................................................. 错误!未定义书签。 SQL群集安装配置............................................................. 错误!未定义书签。 网络配置...................................................................... 错误!未定义书签。 两台服务器功能及角色安装...................................... 错误!未定义书签。 Win2008集群验证和配置.......................................... 错误!未定义书签。 添加MSDTC的集群资源.......................................... 错误!未定义书签。 添加SP1功能 .............................................................. 错误!未定义书签。 优化网络配置................................................................ 错误!未定义书签。 安装SQLServer2008集群.................................................... 错误!未定义书签。 安装第一个集群节点.................................................... 错误!未定义书签。 添加第二个集群节点.................................................... 错误!未定义书签。 验证SQL2008群集.................................................... 错误!未定义书签。2Oracle RAC高可用群集........................................................ 错误!未定义书签。 项目概述.............................................................................. 错误!未定义书签。 Oracle群集拓朴图 ...................................................... 错误!未定义书签。 Oracle群集配置信息.......................................................... 错误!未定义书签。 系统及数据库版本........................................................ 错误!未定义书签。 主机IP地址................................................................ 错误!未定义书签。 共享存储配置................................................................ 错误!未定义书签。 安装目录配置................................................................ 错误!未定义书签。

怎样解决mysql 集群问题集

怎样解决mysql 集群问题集 MySQL是一个开放源码的小型关联式数据库管理系统,目前MySQL被广泛地应用在Internet上的中小型网站中。由于其体积小、速度快、总体拥有成本低,尤其是开放源码这一特点,专职优化、域名注册、网站空间、虚拟主机、mysql数据库、服务器托管、vps主机、服务器租用的中国信息港来为你做详细介绍! 错误1、[MgmtSrvr] WARNING -- 1011 Unable to connect with connect string: nodeid=0,localhost:1186 处理:一般这个情况是系统ping 127.0.0.1不通,可能是网卡问题,但是ping 在eth0和eth1上配置的IP地址却通,所以处理方法是在/etc/hosts文件中添加: 192.168.1.5 localhost 即可。192.168.1.5根据自己配置的IP地址进行修改。 错误2、在修改了数据节点目录后,数据节点遇到如下错误:[ndbd] ERROR -- Couldn't start as daemon, error: 'Failed to lock pidfile '/opt/mysql_cluster/ndb_data/ndb_11.pid', errno: 37' 处理:由于数据节点的目录是挂载在nas存储上面,由于防火墙问题导致nas 挂载异常,以致出现以上错误,关闭防火墙,重新挂载nas存储即可。 错误3、在修改了数据节点目录后,mysql节点遇到如下警告:[Warning] NDB : Tables not available after 15 seconds. Consider increasing --ndb-wait-setup value,导致管理节点识别不到mysql节点 处理:经检查,是配置文件https://www.360docs.net/doc/3112146673.html,f里ndb-connectstring参数的配置有误,改成正确的管理节点IP地址即可。 Warning: World-writable config file '/etc/https://www.360docs.net/doc/3112146673.html,f' is ignored Unable to connect with connect string: nodeid=0,localhost:1186 Retrying every 5 seconds. Attempts left: 12 11 10 9 8 7 6 5 4 3 2 1, failed. 2011-06-08 23:31:35 [ndbd] ERROR -- Could not connect to management server, error: '' 中国信息港,专业提供域名虚拟主机空间申请等服务,ICANN授权域名注册商,全国十强虚拟主机提供商,电信、联通、双线、海外等多种线路上百种虚拟主机空间任选,云主机,虚拟主机,vps主机,香港虚拟主机,虚拟主机申请,空间申请,服务器托管,服务器租用,云享主机,ShopEx空间,phpwind空间,discuz空间,php空间。

活动方案之数据库建设方案模板

数据库建设方案模板 【篇一:xxx项目数据库设计说明书_模版】 xxx有限公司 xxx产品/项目数据库设计说明书 目录 1 文档介 绍 ....................................................................................................... ............................................... 3 1.1 1.2 1.3 1.4 1.5 2 数据库环境说 明 ....................................................................................................... .................................... 4 2.1 2.2 2.3 数据库系 统 ....................................................................................................... ........................................... 4 设计工 具 ....................................................................................................... ............................................... 4 数据库配 置 ....................................................................................................... . (4) 3 4 数据库的命名规 则 ....................................................................................................... ................................ 4 逻辑设 计 ....................................................................................................... ............................................... 5 4.1 功能模 块 ....................................................................................................... .. (5) 5 物理设 计 ....................................................................................................... ............................................... 5 5.1 5.2 数据表汇 总 ....................................................................................................... ........................................... 5 数据表结 构 ....................................................................................................... . (5)

MySQL优化自学手册

/* * ------------------------------------------------------------------- * |-标题:MySQL优化自学手册 * |-整理: 杨白玉 * |-时间: 2015年9月25日 * ------------------------------------------------------------------- */ mysql优化 前提:数据库性能的优劣直接影响到程序的性能,所以数据库的设计与参数配置至关重要。 数据库优化的方式: 1、数据库设计 2、sql语句的优化 3、数据库参数的配置(扩展数据库的缓存或者数据库的空间) 4、恰当的硬件资源(钱的问题,有钱就能满足)

第一章数据库的设计 一、数据库的设计: 数据库的设计指的就是表的设计。设计要符合三范式(规范的模式),有时我们也需要适当的逆范式; 二、什么是三范式? 第一范式:1NF是对属性(可理解为字段)的原子性约束,要求属性具有原子性,不可再分。第二范式:2NF是对记录的唯一性约束,要求记录有唯一的标识,即实体的唯一性; 第三范式:3NF是对字段冗余的约束,即任何字段不能由其他字段派生出来,要求字段没有冗余,这是可以做到的。 然而,没有冗余的数据库未必是好的数据库,有时候为了提高运行的效率,我们也会使用适当的逆范式,方法就是:增加字段。 一般来说,1NF在关系型数据库中是自动满足的; 2NF通常通过主键自增的唯一性来约束。而且,记录本身也很少会完全一样; 3NF主要是在主从表中,不会出现相同的字段与字段值;

第二章 SQL语句的优化 一、SQL语句优化的步骤: 1、通过show status 命令了解各种sql的执行频率; 2、定位执行效率较低的SQL语句,主要集中在查询语句 3、通过explain分析低效率的sql语句的执行情况 4、确定问题并采取相应的优化措施 二、sql语句有几类? ddl(数据定义语句)[create alter drop] dml(数据操作语句)[insert delete update] select dtl(数据事物语句)[commit rollback savepoint] dcl(数据控制语句)[grant revoke] show status命令 该命令可以显示mysql数据库当前的状态,我们主要重点关注“Com”开头的指令。 1、显示数据库开启本次会话后到目前的信息: show status like “Com%”; <=> show session status like “Com%”; 2、显示数据库从启动到目前的信息: Show global status like “Com%”;

大数据库建设技术方案设计

农村集体建设用地使用权、宅基地使用权确权项 目数据库建设技术方案

一、地籍数据库建设 (一)、成果数据库建设的内容 农村地籍调查成果数据库建设是在农村集体建设用地和宅基地使用权地籍调查的基础上,按照相关数据库标准的要求,建立集空间信息和属性信息为一体的土地调查成果数据库。 农村集体建设用地和宅基地使用权数据库内容: 1、农村地籍数据库包括地籍区、地籍子区、土地权属、土地利用、基础地理等数据。 2、土地权属数据包括宗地的权属、位置、界址、面积等空间和属性信息; 3、土地利用数据包括行政区(含行政村)图斑的权属、地类、面积、界线等; 4、基础地理信息数据包括数学基础、境界、测量控制点、居民地、交通、水系、地理名称等。 (二)成果数据库建设要求 1、严格遵循数据库标准 农村集体建设用地和宅基地使用地籍调查数据库建设以《城镇地籍数据库标准》为基础,结合《宗地代码编制规则(试行)》等新的技术规范和要求,对相关要素属性结构表进行扩展,以满足农村地籍调查成果管理要求。 2、坐标系统

数据库建设采用的坐标系统为山西省全省及区域地籍测量控制及服务体系定制的独立坐标系统。 3、面积计算 农村集体建设用地和宅基地使用权宗地面积按高斯-克吕格投影面面积计算。 4、数据库逻辑结构 农村集体建设用地和宅基地使用权调查数据库由空间数据库和非空间数据库组成。空间数据由矢量数据和栅格数据组成,主要包括:基础地理数据、居民地数据、土地权属数据等。非空间数据由权属信息调查数据组成。农村集体建设用地和宅基地使用权调查数据库逻辑结构见图1。 空间数据库 农村集 体建设 用地和 宅基地 使用权 非空间数据库 扫描文件 调查表格 权属资料 其他数据 土地权属数据 居民地数据 基础地理数据 图1 农村集体建设用地和宅基地使用权调查数据库逻辑结构图

数据库负载均衡解决方案

双节点数据库负载均衡解决方案 问题的提出? 在SQL Server数据库平台上,企业的数据库系统存在的形式主要有单机模式和集群模式(为了保证数据库的可用性或实现备份)如:失败转移集群(MSCS)、镜像(Mirror)、第三方的高可用(HA)集群或备份软件等。伴随着企业的发展,企业的数据量和访问量也会迅猛增加,此时数据库就会面临很大的负载和压力,意味着数据库会成为整个信息系统的瓶颈。这些“集群”技术能解决这类问题吗?SQL Server数据库上传统的集群技术 Microsoft Cluster Server(MSCS) 相对于单点来说Microsoft Cluster Server(MSCS)是一个可以提升可用性的技术,属于高可用集群,Microsoft称之为失败转移集群。 MSCS 从硬件连接上看,很像Oracle的RAC,两个节点,通过网络连接,共享磁盘;事实上SQL Server 数据库只运行在一个节点上,当出现故障时,另一个节点只是作为这个节点的备份; 因为始终只有一个节点在运行,在性能上也得不到提升,系统也就不具备扩展的能力。当现有的服务器不能满足应用的负载时只能更换更高配置的服务器。 Mirror 镜像是SQL Server 2005中的一个主要特点,目的是为了提高可用性,和MSCS相比,用户实现数据库的高可用更容易了,不需要共享磁盘柜,也不受地域的限制。共设了三个服务器,第一是工作数据库(Principal Datebase),第二个是镜像数据库(Mirror),第三个是监视服务器(Witness Server,在可用性方面有了一些保证,但仍然是单服务器工作;在扩展和性能的提升上依旧没有什么帮助。

专题数据库建设方案

一,数据仓库的数据模型 1. 数据源 数据源,顾名思义就是数据的来源,互联网公司的数据来源随着公司的规模扩张而呈递增趋势,同时自不同的业务源,比如埋点采集,客户上报等。 2. ODS层 数据仓库源头系统的数据表通常会原封不动地存储一份,这称为ODS(Operation Data Store)层, ODS层也经常会被称为准备区(Staging area),它们是后续数据仓库层(即基于Kimball维度建模生成的事实表和维度表层,以及基于这些事实表和明细表加工的汇总层数据)加工数据的来源,同时ODS层也存储着历史的增量数据或全量数据。 3. DW层 据仓库明细层(Data Warehouse Detail ,DWD)和数据仓库汇总层(Data Warehouse Summary, DWS)是数据仓库的主题内容。DWD和DWS层的数据是ODS 层经过ETL清洗、转换、加载生成的,而且它们通常都是基于Kimball的维度建模理论来构建的,并通过一致性维度和数据总线来保证各个子主题的维度一致性。 4. DWS层 应用层汇总层主要是将DWD和DWS的明细数据在hadoop平台进行汇总,然后将产生的结果同步到DWS数据库,提供给各个应用。 二,数据采集

数据采集的任务就是把数据从各种数据源中采集和存储到数据存储上,期间有可能会做一些简单的清洗。 比较常见的就是用户行为数据的采集 先做sdk埋点,通过kafka实时采集到用户的访问数据,再用spark做简单的清洗,存入hdfs作为数据仓库的数据源之一。 三,数据存储 随着公司的规模不断扩张,产生的数据也越来越到,像一些大公司每天产生的数据量都在PB级别,传统的数据库已经不能满足存储要求,目前hdfs是大数据环境下数据仓库/数据平台最完美的数据存储解决方案。 在离线计算方面,也就是对实时性要求不高的部分,Hive还是首当其冲的选择,丰富的数据类型、内置函数;压缩比非常高的ORC/PARQUET文件存储格式;非常方便的SQL 支持,使得Hive在基于结构化数据上的统计分析远远比MapReduce要高效的多,一句SQL可以完成的需求,开发MR可能需要上百行代码;而在实时计算方面,flink是最优的选择,不过目前仅支持java跟scala开发。 四,数据同步 数据同步是指不同数据存储系统之间要进行数据迁移,比如在hdfs上,大多业务和应用因为效率的原因不可以直接从HDFS上获取数据,因此需要将hdfs上汇总后的数据同步至其他的存储系统,比如mysql;sqoop可以做到这一点,但是Sqoop太过繁重,而且不

MYSQL安装和维护手册

Mysql安装和维护手册

目录 1.在Linux下安装Mysql (3) 1.1RPM安装MySQL (3) 1.2源码安装mysql (4) 1.3Mysql管理 (6) 3.Mysql的配置管理 (8) 4.Mysql复制管理 (12) 4.1现有分布式数据库架构 (12) 4.2主从异步同步配置操作实例 (12) 4.3半同步复制 (14) 5.Mysql多实例配置 (15)

1.在Linux下安装Mysql 1.1RPM安装MySQL 建议在Linux中使用RPM包来安装MySQL。MySQL RPM目前已经嵌入到SuSE Linux 7.3系统中,但是应当能在大多数支持rpm和使用glibc的Linux版本中工作。 MySQL AB不提供与具体平台相关的RPM;具体平台相关的RPM和通用RPM之间的区别是具体平台相关RPM为目标平台而构建,为动态连接。而通用RPM与Linux线程之间是静态连接。 注释:通常由其它供应商提供MySQL的RPM分发版。其特征和功能与MySQL AB所构建的不同,该手册中的指令不一定适合安装其它供应商提供的MySQL的RPM分发版。此时应咨询供应商的说明。 在大多数情况,你只需要安装MySQL-server和MySQL-client软件包来安装MySQL。在标准安装中不需要其它的包。 如果安装MySQL软件包时出现从属错误(例如,“error:removing these packages would break dependencies:libmysqlclient.so.10is needed by..”),你还应当安装包MySQL-shared-compat,其中包括两个向后兼容的共享库(MySQL4.0为libmysqlclient.so.12,MySQL3.23为libmysqlclient.so.10)。 可以使用以下RPM包: ·MySQL-server-VERSION.glibc23.i386.rpm MySQL服务器。你需要该选项,除非你只想连接运行在另一台机器上的MySQL服务器。注释:在MySQL4.0.10之前,服务器RPM文件被称为MySQL-VERSION.i386.rpm。也就是说,名称中不含有-server。 ·MySQL-client-VERSION.glibc23.i386.rpm 标准MySQL客户端程序。你可能总是要安装该软件包。 ·MySQL-devel-VERSION.glibc23.i386.rpm 库和包含文件,如果你想要编译其它MySQL客户端,例如Perl模块,则需要。 ·MySQL-shared-VERSION.glibc23.i386.rpm 该软件包包含某些语言和应用程序需要动态装载的共享库(libmysqlclient.so*),使用MySQL。 ·MySQL-shared-compat-VERSION.glibc23.i386.rpm 该软件包包括MySQL3.23和MySQL4.0的共享库。如果你安装了应用程序动态连接MySQL3.23,但是你想要升级到MySQL4.0而不想打破库的从属关系,则安装该软件包而不要安装MySQL-shared。从MySQL4.0.13起包含该安装软件包。 ·MySQL-embedded-VERSION.glibc23.i386.rpm 嵌入式MySQL服务器库(从MySQL4.0起)。 ·MySQL-VERSION.glibc23.i386.rpm 包含以前所有软件包的源码。可用来在其它架构上重建RPM(例如,Alpha或SPARC)。要想看到RPM软件包内的所有文件(例如,MySQL-server RPM),运行: shell>rpm-qpl MySQL-server-VERSION.i386.rpm 要想执行标准最小安装,运行: shell>rpm-i MySQL-server-VERSION.i386.rpm shell>rpm-i MySQL-client-VERSION.i386.rpm 要想只安装客户端软件包,运行:

数据库集群技术指标

1.DBTwin技术指标 A.非入侵部署 与所有的系统服务一样,DBTwin也是通过唯一的入口-一对(IP,port)来向外提供数据服务。因此,应用程序及其数据库接口不需作任何修改。支持所有的数据库接口:https://www.360docs.net/doc/3112146673.html,、ADO、RDO、DAO、OLE DB、ODBC、DB-LIBRARY等。 B.支持数据库 Microsoft SQL Server2005/2008的标准版和企业版。 C.事务处理同步复制 通过常用的宽带网络,快速的事务处理同步复制 D.高系统可用性 自动的错误恢复,真正把意料之内和意料之外的停机时间缩至最短。网关在错误恢复期间的停止服务间隙达到小于10秒。 E.零单点错误源 从DBTwin网关这一部件开始,整个数据库系统是完全、彻底地物理冗余。 F.数据“零”丢失 DBTwin使得系统同时拥有多个实时一致的数据集,这样从理论上讲,就真正消除了数据丢失的任何可能性。数据库可靠性达到目5个9,即99.999%。 G.动态负载均衡 DBTwin对只读数据库查询操作可以进行自动的判别和动态负载均衡,这是当前唯一实现的针对数据库的动态负载均衡技术,此技术可以大大改善整个数据库系统的性能。性能提升在30%~300%之间,具体提升比例取决于应用系统及网络结构和软硬的配置。 H.可伸缩性 可伸缩的数据库性能(负载均衡+非入侵式的数据库阵列扩展),使得数据库具有可伸缩性。需要更多的数据库性能的时候,只要增加数据库服务器就可以了。 I.容灾能力 具备即时的灾难恢复能力。 J.DBTwin自身的双机容错

DBTwin支持自身的双机主备容错切换,也可以采用第三方的HA方案解决DBTwin 自身的容错问题。 DBTwin备份(复制)软件镜像1专为数据库设计是否否 2支持数据库集群是部分支持部分支持 3支持并发数据库操作是否否 4支持动态负载均衡是部分支持部分支持 5工作方式并行串行串行 6支持多份数据集是是是 7支持多份一致数据集是否否 7单点错误源无有有 8支持业务连续性程度高低中 9数据丢失可能性零高高 10错误恢复自动化程度高低中 2.DBTwin与备份/复制软件,及数据库镜像的功能、特点比较

MSSQL数据库高可用性方案

高可用MS SQL Server数据库解决方案 建设目标 减少硬件或软件故障造成的影响,保持业务连续性,从而将用户可以察觉到的停机时间减至最小,确保数据库服务7*24小时(RTO为99.9%)运转,建设一套完整的高可用性MS SQL Server数据库系统。 需求分析 服务器宕机造成的影响 服务器宕机时间使得丢失客户收益并降低员工生产效率,为了避免对业务造成影响,从两个方面采取预防措施: 一、计划宕机时的可用性: ●补丁或补丁包安装 ●软硬件升级 ●更改系统配置 ●数据库维护 ●应用程序升级 二、防止非计划性宕机: ●人为错误导致的失败 ●站点灾难 ●硬件故障

●数据损毁 ●软件故障 现有状况 ●服务器存在单点故障; ●数据库未做高可用性配置; ●数据库版本为MS SQL Server2008; ●服务器配置为CPU E7540 2.0,24G存; ●数据库容量约800G 技术解决方案 解决思路 考虑到本项目的需求和最佳性能,为了达到最佳可用性,方案采用两台数据库服务器做故障转移集群,连接同一台存储做数据库的共享存储,实现故障自动转移。同时,将旧服务器作为镜像数据库,采用SQL Server 2012的alwayson 功能来再次完成自动故障转移,并可以分担查询的负载。

架构拓扑 新数据库:承担数据库主体计算功能,用于生产数据,采用双机集群,实现自动故障转移。 旧数据库:通过镜像功能,存储数据库副本,用于发生故障时的转移。也可配置为只读,承担备份的负载。 存储:存储采用双控制器,双FC连接两台服务器,避免单点故障。 主/辅域控制器:采用双机模式,SQL Server 2012 实现高可用的必备基础设施。 高可靠性技术方案 SQL Server的企业版支持所有的高可用性功能,这些功能包括:

DBTwin数据库集群技术白皮书

DBTwin数据库集群系统 技 术 白 皮 书 无锡浙潮科技有限公司 2010年1月

目录 1.当前数据库用户面临的问题 (3) 2.当前市场上存在的针对数据库的解决方案 (4) 3.DBTWIN数据库集群 (8) 4.DBTWIN的实现原理 (9) 5.DBTWIN的特性 (10) 6.DBTWIN技术指标 (11) 7.DBTWIN与备份/复制软件,及数据库镜像的功能、特点比较 (12) 8.DBTWIN支持的系统环境 (12)

1.当前数据库用户面临的问题 随着信息时代的发展,公司和企业的运作越来越依赖于计算机系统。大量有关企业生产、销售的数据维系着企业的生存,是企业珍贵的无形资产。这些数据一旦因为存储系统遭受到失窃、断电或不可避免的自然灾害,造成大量丢失,将会给企业带来重大的经济损失。 根据Gartner的调查数据,在经历大型灾难事件而导致系统停运的公司中,有五分之二左右的公司再也没有恢复运营,剩下的公司中也有接近三分之一在两年内破产了。而由于数据库的故障导致的重大事故确是时有发生的,让我们来看几个实例: 实例1:2005年12月5日,国内某著名网络游戏公司的数据库服务器出现严重宕机事故,造成众多玩家数据丢失并蒙受经济损失 实例2:2005年6月9日某证券公司股票交易系统的数据库出现故障,股票无法正常买卖,迫使股民望“红”兴叹。 实例3:2002年7月23日国内某机场数据库系统宕机,导致6000名旅客长时间滞留机场。实例4:2000年国内某银行的支付系统突然死机,给广大用户造成极大的损失和不便。 以上发生的这些事件都是与企业数据库系统相关的故障。 另外,几乎每个数据库客户都或多或少地存在数据库性能问题,当然数据库性能问题涉及很多方面,其中,能否采用“集群”的方法来提高性能,我们公司研究的重点。 概括来讲,当前数据库系统已经成为了企业信息系统的瓶颈,究其原因,各厂家的解决方案无外乎在下列三大方面无法取得同步的进展: 1)数据库数据可靠性 2)数据库系统性能 3)系统服务的可用性 当前几乎所有的数据库系统解决方案,都无法的象真正的集群系统那样,在上述三方面同时具有良好的可伸缩性,具体来讲,当前数据库系统存在下列各种各样的问题:

组建MySQL集群的几种方案,优劣与讨论

组建MySQL集群的几种方案 LVS+Keepalived+MySQL(有脑裂问题?但似乎很多人推荐这个) DRBD+Heartbeat+MySQL(有一台机器空余?Heartbeat切换时间较长?有脑裂问题?) MySQL Proxy(不够成熟与稳定?使用了Lua?是不是用了他做分表则可以不用更改客户端逻辑?) MySQL Cluster (社区版不支持INNODB引擎?商用案例不足?稳定性欠佳?或者还有其他问题?又或者听说现在发展不错?) MySQL + MHA (如果配上异步复制,似乎是不错的选择,又和问题?) MySQL + MMM (似乎反映有很多问题,未实践过,谁能给个说法) 淘宝的Cola(似乎现在停止开发了?)?变形虫Amoeba(事务支持?) 或者,其他方案? 回答1: 不管哪种方案都是有其场景限制或说规模限制,以及优缺点的。 1. 首先反对大家做读写分离,关于这方面的原因解释太多次数(增加技术复杂度、可能导致读到落后的数据等),只说一点:99.8%的业务场景没有必要做读写分离,只要做好数据库设计优化和配置合适正确的主机即可。 2.Keepalived+MySQL --确实有脑裂的问题,还无法做到准确判断mysqld是否HANG 的情况; 3.DRBD+Heartbeat+MySQL --同样有脑裂的问题,还无法做到准确判断mysqld是否HANG的情况,且DRDB是不需要的,增加反而会出问题; 3.MySQL Proxy -- 不错的项目,可惜官方半途夭折了,不建议用,无法高可用,是一个写分离; 4.MySQL Cluster -- 社区版本不支持NDB是错误的言论,商用案例确实不多,主要是跟其业务场景要求有关系、这几年发展有点乱不过现在已经上正规了、对网络要求高; 5.MySQL + MHA -- 可以解决脑裂的问题,需要的IP多,小集群是可以的,但是管理大的就麻烦,其次MySQL + MMM 的话且坑很多,有MHA就没必要采用MMM 建议: 1.若是双主复制的模式,不用做数据拆分,那么就可以选择MHA或Keepalive 或heartbeat

政务信息共享数据库建设方案

政务信息共享数据库建设方案 一、政务信息共享库建设的背景和意义 政务信息共享数据库是指结合政府各类决策支持系统、相关应用系统的接入和政务信息资源共享交换的需求而构 建的共享数据库,它是政务信息交换共享平台的重要组成部分,用于实现各类电子政务共享交换数据的有机管理,并为应用提供相应服务。 在经过基础设施建设、政府上网、政务公开、网上行政等发展阶段之后,随着电子政务工程的深化,单一的政府机构业务系统建设已经达到了一定的水平,积累的政务信息资源已经具有相当规模。但与实际需求相比,仍存在较大差距:数据标准规范不统一,信息共享程度较低;各委办局之间互联互通不足,业务协同困难,难以发挥整体优势;缺乏统一的政务信息管理和服务机制。这些问题的症结之一是缺乏统一规划、规范建设的政务信息共享库。 中办发[2002]17号文件的发布,标志着国家信息化以信息资源交换共享为主要建设思路的导向正在逐渐形成。建设政务信息资源共享库,不仅符合电子政务工程整体发展规律,抓住了当前政府最关键的信息化建设需求,为电子政务

工程的深化与开展,做出了大胆的尝试,而且对推动政府改革、提升政府工作效率、提升领导的科学决策能力,都有着重要意义。 二、政务信息共享库建设的需求分析 随着电子政务各个业务系统的建立和使用,政府、企业和社会公众不但对基础地理空间信息、人口信息、法人信息和宏观经济信息等公共信息的需要越来越迫切,而且各个业务部门对其他部门专题数据的需求也非常强烈。因此,要在统一的数据标准下建立起信息资源基础库,建立起对这个基础库的管理、维护、更新和使用的长效管理机制,使数据库能够不断的扩展、完善,保证数据的一致性、鲜活性和准确性,为整个信息资源的规划和建设奠定一个良好的基础。 1、共享库基础功能需求 1)对数据访问下载的支持 共享库系统要为政府用户及各级电子政务业务应用系统提供访问和下载信息资源的支撑服务。政府终端用户和各级电子政务业务应用系统通过用户身份认证和目录系统授权验证,将数据查询条件及查询要求提交到共享库系统,共享库系统分析查询条件及查询要求,对信息资源进行查找、定位、获取、打包返回给服务调用方。

人口基础数据库建设方案【智慧城市应用】

智慧城市应用之人口基础数据库 转型期的中国是人口发展的关键时期,经济发展和社会建设面临的重大问题无不与人口密切相关,人口问题的聚集与凸显是当前政府面临的重要问题。如何运用信息化的手段进行人口数据的科学有效管理,建立人口基础数据库(简称“人口库”),从而切实提高社会管理与民生服务水平就显得相当重要和紧迫。 人口库建设的意义和重要性 人口基础信息是国家重要的基础信息之一,现行人口管理模式和信息应用模式是一种“条块分割”式的管理,各个相关部门只是从本部门的角度出发对人口 信息进行管理,相互间不能很好地协调起来。随着市场经济体制的建立和完善, 这种“条块分割”式的、孤立的人口信息管理和应用模式的弊病已显端倪:一方面是造成了许多不必要的重复劳动,另一方面各部门间信息不能共享,不能更好地服务百姓。 1、建立人口基础数据库平台是有效实施人口战略的重要依据,是提高政府 决策科学化的支撑。 人口信息是社会的基础信息,是政府进行科学决策和公共行政管理的重要依据。长期以来,我国人口管理建立在户籍制度基础上,随着社会主义市场经济体制改革的深入发展,人口流动性越来越大,旧的管理模式已经不适应社会的发展需要。公安局、劳保局、建交委、社发局、工商局等部门都在实施对部分人口的 专门管理,其要求是对实际居住地人口的管理,取得一定成效。由于各部门对人口管理和发展存在差异,统计口径也不一致,造成人口管理、统计的基础和基数始终不能统一,致使不能得到准确的人口及其分布状况信息。因此,迫切需要建立一个以公安人口信息为基础,以公民身份号码(境外人口为护照号)为唯一代码,以其他部门为补充和核准的,具有权威性、基础性和战略性的人口基础数据

mysql的ndb集群

##################################################################### ### mysql的ndb集群是一个热备与负载均衡的mysql的数据库集群,安全性可达到99.99%,是有mysql节点,数据库节点,管理节点组成。如下图 mysql节点A-----------mysql节点B | \ / | | 管理节点 | | / \ | 数据节点A------------数据节点B ##################################################################### ### ############设备软件需求:############## 5台服务器,RHEL5.2操作系统,mysql-cluster-gpl-7.1.4b-linux-i686-glibc23.tar.gz 192.168.0.13 管理节点 192.168.0.61 mysql节点A 192.168.0.62 mysql节点B 192.168.0.63 数据节点A 192.168.0.64 数据节点B 配置方案: ########1.节点软件安装:#############

将mysql-cluster-gpl-7.1.4b-linux-i686-glibc23.tar.gz分别在mysql节点A、B,数据节点A、B上安装。 # useraddmysql # tar zxvf mysql-cluster-gpl-7.1.4b-linux-i686-glibc23.tar.gz # mv mysql-cluster-gpl-7.1.4b-linux-i686-glibc23 /usr/loacl/mysql # chown -R mysql.mysql /usr/local/mysql ########2.配置mysql节点:(在192.168.0.61上)########### # vim /etc/https://www.360docs.net/doc/3112146673.html,f [mysqld] # mysql服务进程参数 ndbcluster ndb-connectstring=192.168.0.13 [mysql_cluster] # 集群服务进程指向管理节点 ndb-connectstring=192.168.0.13 # scp /etc/https://www.360docs.net/doc/3112146673.html,f 192.168.0.62:/etc/https://www.360docs.net/doc/3112146673.html,f 两个sql节点的配置完全相同,可以copy. #########3.配置数据节点:(在192.168.0.63上)############# # vim /etc/https://www.360docs.net/doc/3112146673.html,f [mysqld] Datadir=/usr/local/mysql/data #数据在本地的存储位置 ndbcluster ndb-connectstring=192.168.0.13

数据库建设技术方案要点

农村集体建设用地使用权、宅基地使用权确权项目数据库建设技术方案

一、地籍数据库建设 (一)、成果数据库建设的内容 农村地籍调查成果数据库建设是在农村集体建设用地和宅 基地使用权地籍调查的基础上,按照相关数据库标准的要求, 建立集空间信息和属性信息为一体的土地调查成果数据库。 农村集体建设用地和宅基地使用权数据库内容: 1、农村地籍数据库包括地籍区、地籍子区、土地权属、土地利用、基础地理等数据。 2、土地权属数据包括宗地的权属、位置、界址、面积等空间和属性信息; 3、土地利用数据包括行政区(含行政村)图斑的权属、地类、面积、界线等; 4、基础地理信息数据包括数学基础、境界、测量控制点、居民地、交通、水系、地理名称等。 (二)成果数据库建设要求 1、严格遵循数据库标准 农村集体建设用地和宅基地使用地籍调查数据库建设以《城镇地籍数据库标准》为基础,结合《宗地代码编制规则 (试行)》等新的技术规范和要求,对相关要素属性结构表进行扩展,以满足农村地籍调查成果管理要求。 2、坐标系统

数据库建设采用的坐标系统为山西省全省及区域地籍测量控制及服务体系定制的独立坐标系统。 3、面积计算 农村集体建设用地和宅基地使用权宗地面积按高斯-克吕格投影面面积计算。 4、数据库逻辑结构 农村集体建设用地和宅基地使用权调查数据库由空间数据库和非空间数据库组成。空间数据由矢量数据和栅格数据组成,主要包括:基础地理数据、居民地数据、土地权属数据等。非 空间数据由权属信息调查数据组成。农村集体建设用地和宅基地使用权调查数据库逻辑结构见图1。 基础地理数据 空间数据库 居民地数据 农村集体建设用地和宅基地使用权调查数据库 土地权属数据 调查表格 权属资料 非空间数据库 扫描文件 其他数据 图1农村集体建设用地和宅基地使用权调查数据库逻辑结构图

数据库架构规划方案

数据库架构规划方案

架构的演变 架构演变一定是根据当时要求的场景、压力下性能的需要、安全性、连续性的要求、技术的发展..... 我把架构的发展分为大概4个阶段: 1.单机模式 IT建设初期,高速建设阶段,大家要做的只有一件事,我需要什么构建什么,我需要ERP我买软件,需要HIS买HIS,这个时期按需构建大量的系统基本在这个时期产生,当然那个时候也没什么高可用的要求。 2.双机热备和镜像 基本是20年前的技术了,在高速构建后,一堆的系统运行中,用户发现我们的核心业务如果坏掉业务受影响,停机几个小时做恢复这是无法接受的,那么双机热备或镜像,Active-Standby的模式出现,这样一台机器工作,一台备用坏了在短时间可以接管业务,造成的损失会低很多!

那么问题也很明显,备机资源浪费,依赖存储,数据还是单点,成本较高。产品也很多:RoseHA/RoseMirrorHA、NEC ExpressCluster、微软MSCS、Symantec VCS、Legato、RHCS 太多太多了。 随后为了解决数据单点的问题有出现了存储的主备,存储的双活这厂商也太多了,这里就不介绍了 基本上传统企业依然停留在第一和第二阶段,也就是要么单机,要么双机热备 3.节点多活

随着业务量越来越大,数据量不断飚升,系统高效性的矛盾显现出来,系统卡慢、报表、接口业务无法分离OLAP OLTP业务混合导致系统锁情况严重,资源消耗极其庞大,光靠升级硬件已经无法满足要求,横向扩展已经成为大势所趋。 同时切换时间、备机无法启动的问题也困扰着用户。 那么节点多活,多台机器同时对外提供访问的技术登上舞台,代表的ORACLE RAC、微软ALWAYSON 、MOEBIUS集群 多活的两种模式也是从第二带架构的演变 oracle rac 把双机热备的辅助节点变的可以访问,关键点数据在多节点内存中的调配 Microsoft awo、Moebius 则是把镜像的辅助节点变的可以访问,关键点数据多节点同步 这样横向扩展来分担压力,并且可以在业务上进行分离。 4.分布式架构 分布式架构真的不知道从何说起,概念太大,每个人理解的都不一样,只能意会不能言传: 比如说一份数据分开存成多份

相关文档
最新文档