Golden实时数据库20产品介绍
golden db 概念
golden db 概念什么是Golden DB概念？Golden DB（Golden Database）概念是指在数据库领域中一种重要的概念。
它是指在数据库管理系统中，用于存储核心数据的主数据库，相对于其他副本数据库而言。
Golden DB通常负责存储最新、最全面的数据，其他副本数据库则予以同步更新。
在一个Golden DB系统中，数据一旦被确认无误地存储在Golden DB中，其他副本数据库则以Golden DB为基准进行数据同步和备份。
通过这样的方式，Golden DB可以确保核心数据的准确性和完整性，提高数据库整体的可信度和稳定性。
Golden DB的重要性Golden DB的重要性源自其用途和特点。
首先，Golden DB作为核心数据库，存放着最新的、最完整的数据。
其他副本数据库通过与Golden DB 的同步来保证数据的一致性。
由于Golden DB中的数据被认为是准确和可靠的，因此在进行数据处理和分析时，可以以Golden DB中的数据为基准，以减少因为数据不一致性导致的错误和误判。
其次，Golden DB 的特点使得数据管理和维护更加方便和高效。
通过将各项数据存储在Golden DB中，可以提供一致性和一条龙的数据管理服务，而不需要针对每个副本数据库单独进行维护和管理。
这样一来，可以简化数据管理的流程，减少维护成本和工作量。
Golden DB的建立和维护建立和维护Golden DB需要一系列的步骤和策略。
首先，需要选择合适的硬件设施来支持Golden DB的存储和处理需求。
一般来说，Golden DB 需要具备较高的计算和存储能力，以应对大规模数据的存储和处理需求。
其次，需要选定合适的数据库管理系统来实现Golden DB的功能。
常见的数据库管理系统包括Oracle、SQL Server和MySQL等。
选择合适的数据库管理系统要根据实际的需求和预算来决定。
然后，需要设计合理的数据模型和架构来支持Golden DB的数据存储和查询。
使用GoldenGate实现实时数据同步
使用GoldenGate实现实时数据同步 实现实时数据同步 使用 实现实时
袁京声，Oracle
议题
• • • • •
GoldenGate简介 简介 Oracle GoldenGate 工作原理 国内成功案例 国内成功案例 支付宝测试汇报 小结
<在此处插入图片 在此处插入图片> 在此处插入图片
2
客户要求连续的实时数据
同时降低IT成本，获得操作效率
实时的 实时的 业务操作 业务操作
关键应用与数据的持续可用性 关键应用与数据的持续可用性
• 灾难发生时的不间断运行 •在规划中的断电期间无宕机 在规划中的断电期间无宕机 •负载均衡 &数据分发 负载均衡
智能&决策的实时信息访问 智能&决策的实时信息访问
• 即刻可用的数据，用于支持报表 即刻可用的数据， • 访问关键信息，用于分析 访问关键信息， • 跨越异构的系统
降低IT花销 降低IT花销 &提高效率 IT
•现代根据需要选择最佳系统化传统系 现代根据需要选择最佳系统化传统系 统 • 卸载系统压力，支持报表 卸载系统压力，
3
为什么要实时？ 为什么要实时？
Processing > 1 Billion Transactions each year, and zero outages
Swedbank
100% paperless environment drives efficiency and improves patient care across hospital
捕获 LAN/WAN Internet
源 Oracle 和非 Oracle 数据库
中兴通讯GoldenDB分布式数据库
中兴通讯GoldenDB分布式数据库1.产品描述中兴通讯在数据库领域具备超过十七年的技术积累，自2002年开始先后自主研发文件数据库、内存数据库、分布式数据库等产品并大规模服务电信领域产品；2014年率先拓展金融行业分布式数据库，该产品完全自主研发并获得100多项相关专利。
针对银行OLTP业务，中兴通讯分布式数据库GoldenDB为业务带来传统单机数据库无法提供的计算及扩展能力，提供高可用、高可靠、资源调度灵活的数据库服务，支持金融行业已有业务升级及创新业务快速部署的需求。
2.产品架构3.功能优势●Share Nothing全分布式架构：计算存储分离、存储节点具备强大的本地计算能力；无单点故障瓶颈，设备故障情况下，依旧保证数据零丢失、提供不间断服务；横向扩展，通过设备堆叠无限扩展计算性能和存储容量；支持超大规模节点的可视化监控运维；●高效可靠的容灾能力：金融级多地多中心多活架构，实现RPO=0，RTO<30S，数据永不丢失，灾难情况下业务快速平稳切换；●不停服务的在线扩容：支持哈希、列表、范围、复制四种分片规则；支持热点库分裂，保证数据分布均衡；支持多表关联扩容，减少跨库关联查询；扩容计划灵活配置，扩容过程可视化管理；●金融级实时一致的分布式事务：引入全局事务管理器，保证分布式事务的实时一致性；对应用透明的分布式事务处理，应用无需改造；一阶段提交+自动补偿机制，提升分布式事务处理性能；●金融级可靠性：快同步复制保证数据不丢失，分组复制保证业务不中断，高低水位实现策略灵活可配置；●功能完备的备份恢复：支持全量、增量、实时和定时的备份策略，支持数据恢复到任意时间点，支持恢复到全局一致的数据状态；●SQL兼容：兼容标准SQL语法、MySQL语法、Oracle常见语法，支持分布式优化、分布式批处理。
4.应用场景中兴通讯GoldenDB分布式数据库已经在中信银行、江苏省农村信用社联合社、江苏银行、湖南省政府、湖北仙桃市政府等单位成功商用，主要应用场景包括：高并发场景：针对政府、金融、运营商、互联网业务对数据库的高并发交易的要求，且可以保证数据的事务强一致性。
容灾方案(GoldenGate产品)技术特点和优势
GoldenGate TDM软件在容灾方面应用的技术特点目录1 GoldenGate TDM软件在容灾方面应用的技术特点 (3)1.1 卓越的性能 (3)1.1.1 大交易量数据复制 (3)1.1.2 极低的时延 (3)1.1.3 对生产端影响小 (4)1.1.4 最低的网络带宽占用 (4)1.2 高可靠性 (4)1.2.1 可靠的数据复制机制 (4)1.2.2 健壮的复制环境 (5)1.2.3 自动的异常恢复能力 (5)1.3 优秀的兼容性和可扩展性 (5)1.3.1 兼容多种软硬件平台以及数据库平台 (5)1.3.2 支持异构环境间的数据复制 (6)1.3.3 灵活的多种复制模式便于扩展 (7)1.4 良好的可维护性 (7)1.4.1 安装与部署简便无需停机 (7)1.4.2 基于时间点的复制可实现快速恢复 (8)1.4.3 方便易用的管理工具 (8)1.5 广泛的用户基础 (9)2 总结 (9)附录 (10)附录一 GoldenGate公司及产品介绍 (10)GoldenGate公司简介 (10)GoldenGate产品介绍 (10)GoldenGate复制模式 (11)GoldenGate关键特性 (14)GoldenGate用途及应用方式 (15)附录二 GoldenGate成功案例 (17)案例一美国银行 (17)案例二国家体育总局体彩中心 (20)案例三海关总署 (23)1GoldenGate TDM软件在容灾方面应用的技术特点基于GoldenGate的容灾方案,能够在异构环境下有效保护用户业务数据安全和业务连续性,并且具有高性能､高可靠性､高可扩展性｡其主要特点如下:1.1 卓越的性能GoldenGate TDM软件能够在活动的生产端及备份端进行数据复制,秒一级的数据延迟,大交易量的数据复制,能在很大程度上确保主备两端数据的同步性及一致性,灾难发生时将数据丢失量降到最低｡1.1.1大交易量数据复制GoldenGate是一种能够支持大交易量数据复制的软件｡它通过实时解析数据库在线日志,捕获其中的数据变化予以复制;再通过数据压缩､缓存和网络优化等手段有效利用网络,降低传输时间;通过交易重组､操作合并､并行处理等机制加速数据在备份端的投递,从而保证了对大交易量实时复制的实现｡在美国银行､Overstock等案例以及国内多次测试中,GoldenGate TDM软件每日同步的数据增量超过1T,在同类软件产品中无人能及｡1.1.2极低的时延GoldenGate实时解析数据库的日志,可以在几十个毫秒之内获取数据的变化,然后通过网络传输到备份端;备份端GoldenGate投递进程同样在几十个毫秒内将数据通过数据库本地接口投递到数据库中,完成数据复制｡根据我们在某用户使用中实测的数据,在北京到广州近2000公里的远距离复制中,使用2M DDN专线,每日日志增量在20G左右,其复制延迟一般在1秒钟之内,在国内外容灾应用中处于领先地位｡如果复制距离缩短,延迟时间会更短｡1.1.3对生产端影响小GoldenGate TDM优秀的日志分析技术使得其在复制过程中极少与源数据库交互,且无须在数据库中插入表或触发器,从而对源数据库运行影响非常小,对生产系统的运行基本没有影响｡1.1.4最低的网络带宽占用首先,从原理上讲,GoldenGate复制的基本单位是事务,复制的是最小化的数据变化集｡通常通过GoldenGate复制的数据量仅为数据库日志量的四分之一左右｡其次,GoldenGate集成了数据压缩功能,可以进一步降低在网络上传输的数据量｡其压缩算法与winzip相同,根据使用经验,可以达到6:1到9:1的压缩比例,进一步降低了带宽的需求｡1.2 高可靠性1.2.1可靠的数据复制机制GoldenGate可以提供可靠的数据复制,主要体现在下面三点:(一)保证事务一致性GoldenGate应用复制操作的顺序与在源系统上的顺序相同,并且按照相同的事务环境提交,确保在目标系统上数据的完整性和读一致性｡这种以交易为单位的复制,在一旦出现灾难后能够避免出现交易中只有部分数据被复制到目标从而造成数据紊乱,大大提高了容灾的可靠性｡(二)检查点机制保障数据无丢失GoldenGate的抽取和复制进程使用检查点机制记录完成复制的位置｡比如在抽取进程中,其检查点记录当前抽取日志的位置,下次复制时能够从该点继续复制,从而保障数据无丢失｡在数据传输和投递进程中,也同样运用了检查点机制来保证数据复制的可靠性｡(三)可靠的数据传输机制GoldenGate使用应答机制传输交易数据,只有在得到确认消息后才认为数据传输完成,否则将自动重新传输数据,从而保证了抽取出的所有数据都能发送到备份端｡GoldenGate的数据传输机制1.2.2健壮的复制环境GoldenGate提供了多种异常处理预案,使客户可以从容应对网络中断､数据库实例失败､RAC节点失败､备份数据库失败等各种异常情况,在异常出现后能够快速地恢复数据复制且保证无数据丢失｡1.2.3自动的异常恢复能力GoldenGate使用检查点机制记录当前完成复制的位置｡在日常运行过程中,如果由于网络中断､数据库实例失败､存储空间不够等原因造成复制停止,GoldenGate能够以自定义间隔自动检测并在异常排除后恢复复制,保障数据无丢失,使得管理和维护工作中人工介入降低到最小｡1.3 优秀的兼容性和可扩展性1.3.1兼容多种软硬件平台以及数据库平台GoldenGate TDM是一种基于日志的结构化数据复制软件,能够兼容各种服务器､磁盘阵列等硬件设备,支持当前常用的各种操作系统如HP Unix､IBM Aix､Sun Solaris､Linux､Windows､z/OS等,可用于当前主流的Oracle､DB2､SQL Server ､Sybase､MySQL､Teradata等各种数据库平台上｡GoldenGate软件兼容表1.3.2支持异构环境间的数据复制GoldenGate TDM不仅适用于多种软硬件平台,还能在主备端异构的情况下跨平台进行数据复制｡由于GoldenGate TDM是基于日志的数据复制软件,对于硬件平台及操作系统平台有很好的兼容性｡对于不同数据库类型,GoldenGate TDM 设计了各自对应的捕捉和投递模块｡其捕捉通过解析数据库日志将数据转化为与数据库无关的自定义格式存放到队列,安装在目标端的GoldenGate TDM软件再将这些数据转换为与目标数据库类型及版本相一致的SQL语句,最后将数据变化应用到数据库｡因此,GoldenGate TDM软件可以实现不同类型操作系统､不同数据库或其不同版本之间的数据复制｡1.3.3灵活的多种复制模式便于扩展GoldenGate提供了灵活的应用方案,基于其先进､灵活的技术架构及其异构环境支持可以根据用户需求组成各种拓扑结构(如图所示)｡客户可以根据自己的需求选择特定的复制方式,并根据系统扩展对复制进行任意扩展｡基于这种灵活的拓扑和对软硬件的高兼容性,使得客户在IT系统扩展上具有更高的灵活性｡GoldenGate各种拓扑结构示意图1.4 良好的可维护性1.4.1安装与部署简便无需停机GoldenGate复制软件的安装和部署非常简单,可以在很短时间内完成软件安装｡GoldenGate是一个解压缩后即可使用的软件,其所有信息包括配置､进程信息､数据队列等都放在安装目录下｡GoldenGate的状态信息､报告､断点等所有信息等放在其安装目录下,它不需要在源数据库和目标端数据库插入任何附加对象｡GoldenGate的安装过程可以在10分钟以内完成,且无须数据库停止服务,对于保证信息系统的业务连续性有重大意义｡1.4.2基于时间点的复制可实现快速恢复GoldenGate数据复制可以基于时间点定义复制起始位置,这为客户在维护过程中提供了更好的灵活性｡例如,如果目标数据库由于系统错误或者人为失误造成近一个小时数据出现错误,我们可以使用一个命令修改GoldenGate时间点使之从错误时间点之前重新复制,GoldenGate的冲突处理机制会自动过滤掉重复数据,使得最后目标数据恢复与源端一致,而无需重新初始化数据｡这种基于时间点的机制非常灵活,为系统管理和维护提供了很大的便利｡1.4.3方便易用的管理工具为了使客户方便地管理,GoldenGate提供了集中管理的工具Director｡该工具可以对多个分布的GoldenGate实例进行集中管理,并提供命令行､web页面面和Java 界面三种管理界面,客户可以根据自身爱好选择任意一种方式管理和监控复制软件的运行｡GoldenGat Director示意图Director使得客户可以更加直观的观察复制软件运行的状态,管理和配置复制软件进程和参数,及时处理故障和报警,还可以提供与第三方监控软件的接口,极大地方便了客户的管理｡1.5 广泛的用户基础GoldenGate是一家专注于数据复制领域的专业公司,也是全球最早致力于数据复制软件开发的公司之一,其产品经过世界各国著名企业多年验证｡其客户包括中国海关总署､中国国家税务总局､中国国家体育总局体彩管理中心､海南移动､中国电子口岸､美国银行､VISA､瑞银集团､汇丰银行､澳大利亚海关､新加坡港务局等企事业单位,得到了客户的一致好评｡2总结在容灾系统建设中,数据备份是关键,如何将数据(包含系统､应用和业务等数据)特别是关键业务数据完整､实时地复制到备份中心,是系统容灾建设的重点｡基于GoldenGate TDM产品的容灾解决方案,很好的实现了数据备份的任务,能够在异构环境中实现大交易量数据的实时复制,确保关键数据的持续性访问,及系统业务的连续性｡对多种硬件平台､操作系统平台及数据库平台的兼容,跨平台数据复制的特性,特别适用于生产端具有多样性的容灾系统建设｡此外,GoldenGate TDM 具有良好的性能,对生产端资源､网络资源占用极少,实时的数据复制,简易的安装,灵活的部署,广泛的应用基础,也使得它在容灾系统数据级复制中,有着无可比拟的优势｡总之,基于GoldenGate TDM软件的容灾方案,能够在主备端的异构环境下实现数据实时备份,减少灾难带来的损失,是容灾系统建设的最佳选择｡附录附录一 GoldenGate公司及产品介绍GoldenGate公司简介GoldenGate是一家创建于1995年的美国公司,开发总部设在旧金山,在北美,欧洲和亚洲(包括新加坡､印度､澳大利亚)设有支持中心｡GoldenGate公司专注于数据同步领域,是实现数据同步技术的领导者｡至2007年,在全球35个国家售出超过2000个许可证,客户分布在政府､银行､电信､证券､传媒､医疗等行业,大部分客户为全球500强企业,如中国海关总署､中国国家体育总局体彩管理中心､中国电子口岸､海南移动､美国银行､VISA､瑞银集团､澳大利亚海关､新加坡港务局等｡GoldenGate是许多一流的数据库厂商如Oracle､Sybase､Microsoft､MySQL､Teradata等公司的认证合作伙伴,并且和著名的公司如HP､IBM､Sun等厂商建立了战略合作伙伴关系｡GoldenGate产品介绍GoldenGate公司的领先技术就是逐渐为大家所知的交易数据管理Transactional Data Management (TDM),可以在异构的IT基础结构之间实现大量数据的秒一级的数据捕捉､转换和投递｡GoldenGate可以支持几乎所有常用操作系统如和数据库平台,如下表所示:GoldenGate软件兼容表▪TeradataDelivery:▪All listed above▪MySQL, Ingres▪and any ODBC compatibledatabasesGoldenGate软件提供了一个单一的平台,这个平台可以为任何企业环境实现秒一级的灾难备份｡GoldenGate是一种基于软件的数据复制方式,它从数据库的日志中解析数据的变化(数据量只有日志的四分之一左右),GoldenGate将数据转化为自己的格式,直接通过TCP/IP网络传输,无需依赖于数据库自身的传递方式如Oracle Net,而且可以通过高达9:1的压缩比率对数据进行压缩,大大降低带宽需求｡在目标端,GoldenGate可以通过交易重组,分批加载等技术手段大大加快数据投递的速度和效率,降低目标系统的资源占用,可以在秒一级实现大量数据的复制｡GoldenGate复制模式1) 单向数据复制GoldenGate的数据复制原理是:利用捕捉进程(Extract Process)在源系统端读取Online Redo Log或Archive Log,确定需要进行的复制(增､删､改)操作,并通过队列(Extract 队列),将相关信息传送到目标系统｡目标系统端的投递进程(Deliver 进程)接受相关内容,通过Replicate 进程创建实现数据复制或同步的SQL语句,并在目标系统中予以执行｡单向复制示意图2) 双向数据复制双向数据复制是基于单向数据复制原理之上,两端互为源/目的数据复制对象,两端生产系统同时保持Active状态｡为了避免出现刚被复制进对端目的数据库数据马上又被捕捉进程复制回源端,陷入死循环的状态｡GoldenGate采用了相应的判别机制来保证对捕捉数据的识别,当应用程序和GoldenGate复制进程同时更新同一个表时, 捕捉进程使用了一个跟踪表机制｡在配置双向数据复制时, 需要通过命令行向两边的数据库中加入跟踪表｡当捕捉进程读到一个交易中有针对跟踪表的更新, 捕捉进程就知道这个交易是由复制进程产生的并且把这笔交易忽略掉. 如果没有针对跟踪表的更新, 捕捉进程就知道这个交易是由应用程序产生的并且把这笔交易读取出来.通过以上处理机制后,就可以很好的解决双向数据复制中所担心的重复捕捉变化数据的操作出现｡显然,上述过程的实现,与基于文件复制原理的数据同步完全不同｡无论从网络资源占用､执行效率和对系统性能影响等方面考虑,都比其它方案有较大的优势｡双向复制示意图GoldenGate提供了灵活的应用方案,基于其先进､灵活的技术架构可以根据用户需求组成各种拓扑结构,如图所示:GoldenGate各种拓扑结构示意图➢广播复制:由一个数据库向多个数据库复制,利用GoldenGate的数据过滤功能可以实现数据的有选择分发;(四)集中复制:由多个数据库向一个数据库复制,可以将分布的､跨平台或异构的多个数据库集中到一个数据库｡此种模式广泛应用于n+1模式的容灾,通过将多个系统数据库集中到一起,可以充分利用备份中心的设施,大幅减少投资;另外也用于跨平台多系统的数据集成,为这些提供系统提供一个统一视图便于查询和统计数据｡➢多层复制:由A数据库向B复制,同时又由B向C复制,可以在以上几种模式基础上无限制扩展｡由此可见,GoldenGate的复制模式非常灵活,用户可以根据自己的需求选择特定的复制方式,并根据系统扩展对复制进行扩展｡GoldenGate关键特性GoldenGate是一种基于数据库日志的数据复制产品,可以利用极少的系统开支,实时复制数据库,改善数据可用性｡GoldenGate可以在数据移植､在线维护等场合应用,以减少或消除数据库的停机时间｡同时,它还可用于数据容灾､负载均衡､数据集中､数据分布等应用中｡GoldenGate可确保在这些工作进行时,源系统的正常事务处理得以继续进行,功能上不受影响｡作为一种软件方案,GoldenGate 可以采用非常灵活的方式加以配置,包括双向复制和多层次的数据复制｡特别是其在双向数据复制领域的技术先进性,可以满足用户在本地或广域网络环境中的各种复杂需求｡GoldenGate的TDM软件的几个关键特性∶➢本机数据改变捕捉–作为一个基于日志的同步解决方案,将对源系统和网络的影响减少到最低｡➢灵活性–源和目的系统不需要有一样的操作系统､数据库及模板(例如∶表,索引,等)｡GoldenGate能在同一个系统的多个数据库实例之间实现数据复制,或把数据复制到局域网内的其它数据库实例,或把数据复制到广域网上的远端数据库实例｡➢无需宕机时间的移植–GoldenGate能在不同版本的数据库和操作系统之间同步数据｡数据库,操作系统或应用系统的更新可以在辅助系统里进行｡一旦更新后的辅助系统通过了完整的测试,所有的处理工作就可以切换到辅助系统,然后更新主系统｡一旦主系统的更新完成了,主与辅助系统之间能够再一次同步而无宕机时间｡➢不依赖于硬件和数据库–GoldenGate不依赖于操作系统,数据库和硬件｡数据可以在不同的环境之间移动,因而消除了客户对任何拓扑结构的依赖性｡➢RPO与RTO的目标–GoldenGate提供了立即恢复备份的装备｡这是因为源和备份系统可以配置或构架设计为双向”端到端”的功能｡➢双向复制–GoldenGate提供了两个或两个以上生产系统之间的数据复制功能｡这些系统无须具有一样的属性或相同的操作系统,数据库或数据库版本｡➢数据一致性–备份数据库支持读一致性的查询活动(交易的一致性在任何时候都受到保护)｡➢灵活的拓扑结构–在数据库和表一级实现了多种相关数据的分部方式｡例如∶支持一对多,多对一,多对多以及分层的配置｡➢映射与转换功能–列转换能够适应特别的备份需要,包括查看和执行存储过程｡➢数据选择–选择性的复制数据而不是全部,例如表,行和列｡➢支持OracleRAC–对于Oracle的一个特别需求就是实时支持RAC数据复制｡与其它现有方案不同之处就是能够从交易日志中捕捉和投递数据｡GoldenGate用途及应用方式GoldenGate 是一种基于log 的复制解决方案,支持不同的配置方式,以满足用户的各种数据复制和同步化要求｡其用途和应用方式包括:1)建立报表系统GoldenGate 可以将源系统的数据实时复制到目标系统,从而建立一个可以被访问的即席查询和报表系统｡目标系统可以是源系统的全集或子集｡报表实例通过将查询和报表系统放在不同的数据库实例中运行,可以平衡服务器负载并提高OLTP类生产系统的性能｡一方面,可以减少OLTP应用和查询报表应用之间的磁盘I/O冲突,提高OLTP应用的效率｡另一方面,GoldenGate支持不同模式间的复制｡可以分别面向OLTP和查询系统的使用特点来进行设计,如建立索引,设置数据库表的参数等等｡2)实现高可用性保证数据高可用性和数据库系统能够从灾难中迅速恢复是一个非常具有挑战性的工作｡GoldenGate可以通过LAN或WAN进行复制,这样当生产环境出现紧急事件或要进行例行维护时,可以将应用切换到复制数据库中｡高可用性有了生产数据库的实时拷贝,用户可以保证应用系统7*24不间断运行的情况下进行维护工作,如进行操作系统和数据库的升级等等｡3)多数据源配置多数据源配置允许你将不同的用户分布到不同的服务器,让每个数据库能够反映其他数据库的变化｡在这种配置模式下,GoldenGate采用必要的冲突处理机制来解决可能发生的冲突｡多数据源4)数据分布和数据集中GoldenGate通过LAN或WAN进行实时复制,将生产数据库中的数据拷贝到需要它们的地方｡对广播复制来说,远程用户可以访问这些实时数据而不用登录生产服务器｡因此,提高了网络性能和生产环境下的OLTP应用的性能｡集中复制广播复制5)层次化企业数据分布GoldenGate 支持层叠复制,可以向不是直接相连的数据库复制数据｡使用这种配置,可以在远程数据库间进行复制(如从北京到上海)｡GoldenGate 支持多种复杂的场景来满足复制需求｡数据分布附录二 GoldenGate成功案例案例一美国银行1)美国银行介绍美国银行为全球首要的金融服务机构之一,致力为客户提供前所未有,优质完善的银行服务｡美国银行服务遍及美国21个州､哥伦比亚特区及全球190个国家,为多达3000万个人客户及200万商业客户提供最全面的个人及商业银行服务｡所有业务依托于其构架的全球最大的金融服务网络,包括其美国本土内将近4400个分支机构和大约14000台ATM机｡并且为将近300万用户提供通过INTERNET方式的实时在线访问模式｡2)美国银行面临的几个主要问题作为世界金融服务行业领导企业之一,美国银行的业务系统包括了14000台左右的ATM机,它们每年近似处理大约30亿个事务,一天之中的每一秒钟近似处理300多个事务｡系统所采用的硬件平台是HP NonStop｡随着如此大量的事务数处理的进行,从K系列到S系列的初始化迁移要求在系统持续运行､不停机的情况下进行｡在应用了GoldenGate软件后,美国银行成功的完成系统主机平台升级的初始化数据迁移｡项目在2002年2月完成,成功的系统迁移后,美国银行的应用系统包括了3台HP NonStop S系列主机､2台HP NonStop K系列主机｡面对着IT行业技术的日益更新,IT环境的日益复杂和日趋重要｡美国银行在面对如此庞大的金融服务网络时面对的几个主要问题是:➢美国银行的系统需要为客户提供24小时×7的不间断服务,任何形式的服务停止都会产生不可挽回的损失｡需要建立一个完善的灾备系统｡➢美国银行希望分布在美国各地的服务器均衡的处理业务请求,但由于地理位置的不同,各地所处理的业务数量也相差悬殊｡需要建立一个能够双向复制数据的负载均衡的服务系统｡带着这些期望目标,美国银行最终选择了GoldenGate软件平台做作为它的解决方案｡3)GoldenGate数据双向复制容灾解决方案在美国银行的应用美国银行在美国的全国范围内,按地区划分了四个生产中心,分别为东北中心,西北中心,东南中心,西南中心｡在美国中部堪萨司州设立容灾备份中心｡通过GOLDENGATE数据复制平台,实时将生产中心的数据复制到备份中心,一旦生产中心处于计划停机或非计划停机状态,热备中心将接管生产中心的服务,保障业务的持续进行｡通过GOLDENGATE的应用｡美国银行顺利地完成了各生产中心的系统升级和割接而没有影响到业务服务｡系统拓扑结构图如下:热备中心Kansas CityData Center美国银行灾备系统框图美国银行在东北和西北的用户数量有明显的不平均,承担的服务量也明显不同｡为了让东北和西北的负载均衡起来,同时相互作为容灾中心｡美国银行在东北和西北生产中心采用了GOLDENGATE的数据双向复制功能｡这样客户可以同时在东北或西北生产中心本地进行交易｡交易结果实时复制到另一生产中心｡这样用户交易少的西北生产中心就负载了一部分东北生产中心的用户交易｡为避免两端同时对同一帐户进行操作引起的数据冲突,GOLDENGATE采用了复制交易前后差值的方法,来避免数据冲突｡4)GOLDENGATE数据双向复制的优势在通过GoldenGate软件将生产中心数据进行迁移而达到与热备中心同步后,成功的实施了数据迁移和系统升级后,GoldenGate为美国银行的容灾系统打下了坚实的基础｡可以根据实际业务需要和容灾中心建设的需求,将数据复制到任何想要复制的站点,从而建立灵活的容灾系统｡在美国银行的实际应用中,采用了bin-directional(双向)的数据复制,这也反映了GoldenGate软件ACTIVE to ACTIVE的数据复制特性,这表明了其软件极强的适应性｡实现了硬件级容灾方案和系统级容灾方案所不能解决的问题｡所以说,GoldenGate软件构成了美国银行容灾解决方案的核心部分｡5)用户对GOLDENGATE产品的评价美国银行副总裁兼技术总监Michele schwappach对GoldenGate产品有如下评价:“我们在细致评估了目前业界几乎所有的同类产品后,最终选择了GoldenGate产品｡从2002年应用至今,GoldenGate产品一直提供稳定的服务｡我们相信GoldenGate产品的特性将为美国银行在未来时期内的长期业务发展提供保证”｡“这些显著的特性包括:➢面对日趋复杂的计算机环境的极好的适应性,使其能够在目前流行的各种数据平台间传输数据｡➢利用GoldenGate软件的数据复制功能,产生类似于生产系统的模拟环境,可直接用于应用程序的测试和开发｡➢利用GoldenGate软件的数据双向复制功能,使分散在不同地区的生产系统提供负载均衡的服务｡➢利用GoldenGate软件的数据复制功能,提供了生产系统到热备系统的数据实时同步｡保证美国银行的业务持续性和灾难备份服务｡”。
Golden实时数据库-产品介绍篇V1.0
Golden Portal——Golden门户网站架构模块
Golden Portal可 对流程生产企业 各机组（车间） 数据迚行分类管 理。用户可以浏 览仸意实时/历叱 数据报表，也可 以在海量数据中 通过测点标签、 描述、单位等特 征快速搜索、定 位需要癿信息。
Golden Typer——Golden手工录入工具
集团用户 Golden GDXP典型应用
——Golden分布式实时数据交换平台服务端
Golden GDXP
Golden GDXP 是庚 顿实时数据库癿一种 高级应用模块，适用 亍广域范围内实时数 据库不各种数据源之 间实时数据交换。该 模块是集团用户构建 生产实时管理应用系 统癿重要支撑。 服务器端接收客户端 提交癿实时数据或缓 存历叱数据后直接存 储至Golden等实时 数据库。
Golden Server ——网络服务
• Golden Server 单元主要负责将客户端发送的各种请求提交给各个逻辑单元，并将 响应结果返回客户端。该单元同时提供客户端用户身份验证以及并发控制等服务。
庚顿实时数据库——高级应用模块
Golden 新一代计算平台 ——Golden C2
Golden 分布式实时数据交 换平台 ——Golden GDXP
数据 查询
综合 分析
异常监 控报警
地理 信息
报表 管理
数据 交换
监控 中心
污染源基础数据库 （关系数据库）
污染源监控系统 （实时数据库）
重点监控企业公 众监督不现场执 法记录系统
污染源数据接收设备 网络 传输 Internet/PSTN/GSM/GPRS 数据采集传输设备
COD在 线监测仪 流量计 TOC在线 监测仪 SO2在线 监测仪 流速在线 监测仪 污染物治理设施 运行记录仪
goldengate 参数
goldengate 参数GoldenGate是一种常用的数据复制和数据集成解决方案，可以在异构数据库之间实现高性能、实时的数据复制和数据同步。
本文将介绍GoldenGate的基本概念、主要特点以及使用场景。
一、GoldenGate的基本概念1. 数据复制：GoldenGate可以将源数据库中的数据复制到一个或多个目标数据库中，实现数据的实时同步。
2. 数据集成：GoldenGate可以将来自不同数据库的数据集成到一个目标数据库中，实现数据的统一管理。
3. 事务复制：GoldenGate可以将源数据库中的事务操作记录下来，并在目标数据库上重新执行，从而实现数据的一致性复制。
4. 实时性：GoldenGate可以实时地捕获源数据库中的数据变更，并将其应用到目标数据库中，实现数据的实时同步。
5. 高可用性：GoldenGate具有高可用性，当源数据库或目标数据库出现故障时，可以自动切换到备用数据库，确保数据的连续性。
二、GoldenGate的主要特点1. 支持多种数据库：GoldenGate可以支持多种主流的数据库，包括Oracle、MySQL、SQL Server等，具有良好的兼容性。
2. 高性能：GoldenGate采用了基于日志的数据复制机制，能够以非常高的性能进行数据复制和数据同步。
3. 实时同步：GoldenGate具有实时同步的能力，可以在毫秒级别将源数据库中的数据变更应用到目标数据库中。
4. 灵活配置：GoldenGate提供了丰富的配置选项，可以根据实际需求进行灵活配置，满足各种复杂的数据复制和数据集成需求。
5. 数据过滤：GoldenGate可以对复制的数据进行过滤，可以选择复制部分表或者部分列，减少网络传输和存储开销。
6. 数据转换：GoldenGate可以对复制的数据进行转换，可以进行数据格式的转换、数据字段的映射等，满足不同数据库之间的数据兼容性需求。
三、GoldenGate的使用场景1. 数据备份与恢复：GoldenGate可以将源数据库中的数据实时备份到一个或多个目标数据库中，当源数据库出现故障时可以快速切换到目标数据库，实现数据的快速恢复。
OracleGoldenGate介绍与实施
OracleGoldenGate介绍与实施Oracle GoldenGate是一种高性能、实时数据复制和数据集成软件，可在异构数据库、主机和平台之间实现高效的实时数据复制和同步。
GoldenGate可以在源和目标系统之间进行数据抽取、传输和应用，并提供高可用性、可伸缩性和数据一致性。
1. 高性能：GoldenGate使用轻量级的事务日志挖掘技术，可以在几乎没有对源系统的影响下进行实时数据复制。
2. 实时数据复制：GoldenGate可以在源数据库上监控日志，并将变更应用到目标数据库中，实现实时的数据同步。
3. 异构数据库支持：GoldenGate可以支持多种数据库平台，包括Oracle、Microsoft SQL Server、IBM DB2等。
4. 数据过滤和转换：GoldenGate可以根据用户的需求，在数据复制过程中进行数据过滤和转换，以满足不同系统的数据需求。
5. 可伸缩性和高可用性：GoldenGate可以通过添加副本和增加传输通道来实现灵活的扩展。
同时，GoldenGate还提供了故障转移和冗余配置，确保数据复制的连续性和可用性。
6. 实时监控和管理：GoldenGate提供了一套监控和管理工具，可以用于实时监控数据复制的状态、性能和健康状况，并提供了故障排除和性能优化的功能。
在实施Oracle GoldenGate时，可以按照以下步骤进行：1. 环境准备：在实施GoldenGate之前，需要准备好源和目标数据库的环境。
这包括安装并配置GoldenGate软件、创建必要的用户和权限、设置数据库参数等。
2. 配置和启动GoldenGate：在源和目标数据库上配置GoldenGate的参数文件，并使用GoldenGate提供的管理工具启动GoldenGate进程。
3. 创建抽取进程：通过GoldenGate的管理工具创建抽取进程，用于在源数据库上监控日志，并将变更写入GoldenGate的抽取文件。
goldendb手册
goldendb手册GoldenDB手册是一份关于GoldenDB数据库集群工具的使用手册，主要介绍了GoldenDB的安装、部署、配置、优化和维护等方面的知识。
GoldenDB是一款开源的分布式数据库工具，它基于MySQL数据库的复制和分片机制实现数据的读写负载均衡和高可用性。
一、安装GoldenDB的安装非常简单，只需要从官网下载对应的安装包，并解压到指定目录即可。
然后根据操作系统的不同，配置相应的环境变量和启动命令，即可启动GoldenDB服务。
在启动前，需要保证MySQL数据库已经安装并正常运行。
二、部署GoldenDB的部署需要考虑到分片的数量、分片节点的数量、数据分布情况等因素。
需要合理地划分分片，避免热点数据集中在某些分片节点上，导致负载不均衡。
同时，需要保证分片节点之间的网络连接稳定可靠，防止因为网络故障导致数据同步延迟或丢失。
部署完成后，需要进行压力测试和数据验证，以保证系统的稳定性和可靠性。
三、配置GoldenDB的配置很灵活，可以根据实际需要进行调整。
主要包括分片规则、数据路由、数据同步等方面的配置。
需要根据不同的业务需求，制定相应的分片规则。
同时，需要保证数据路由的正确性，避免数据操作时出现错误路由导致数据丢失或读写延迟。
数据同步是GoldenDB的核心功能之一，需要合理配置同步策略和同步频率，以达到最佳的数据同步效果。
四、优化GoldenDB的性能优化主要包括读写负载均衡、数据压缩、索引优化等方面。
读写负载均衡是提高系统性能的关键，需要合理配置读写权重和路由策略，避免热点数据造成负载不均衡。
数据压缩可以减少数据传输和存储的大小，提高系统的响应速度和数据处理能力。
索引优化可以提高数据检索和查询的速度，避免全表扫描等低效操作。
五、维护GoldenDB的维护主要包括数据备份、数据恢复、系统监控等方面。
数据备份需要根据业务需求制定相应的备份策略和周期，保证数据的可靠性和完整性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实时数据服务（Golden Snapshot）
历史数据服务（Golden Historian）
网络服务（Golden Server） 测点信息服务（Golden Base）
庚顿开发模块SDK
标准通信接口
DCS SCADA
PLC SQL OPC Client GDXP Client UDP/TCP
Golden Server ——网络服务
• Golden Server 单元主要负责将客户端发送的各种请求提交给各个逻辑单元，并将 响应结果返回客户端。该单元同时提供客户端用户身份验证以及并发控制等服务。
庚顿实时数据库——高级应用模块
Golden 新一代计算平台 ——Golden C2
Golden 分布式实时数据交 换平台
其他数据源
Golden C2——Golden新一代计算平台
友好的可视化建 模工具，同时提供图 形化和文本两种开发 模式，可导出XML模 型描述，帮助用户快 速高效地创建计算模 型，图形或文本编辑 方式可无缝切换，使 用文本编辑器可以建 立文本格式的模型。
北京庚顿数据科技有限公司成立于2007年。公司位于中关村科 技园区海淀园，是中关村高新技术企业、海淀区创新企业，是“中关 村物联网产业技术创新战略联盟”缔约会员单位。
公司专注海量实时/历史数据处理技术研发，专业提供实时数据 库管理系统产品、相关应用解决方案和技术服务。
公司拥有多项发明专利和软件著作权。核心软件产品“庚顿实 时数据库管理系统”入选北京市自主创新产品名录。该产品是支撑 “信息化与工业化融合”的核心基础软件，是物联网（传感网）等新 兴产业不可或缺的重要支撑软件，可应用于智能电网、生产管理、节 能环保、先进控制、现代物流等行业或领域。
庚顿实时数据库服务器端
服务器操作系统 （Windows 2003/2008等）
庚顿开发模块（Golden SDK）
庚顿客户端运行环境
桌面操作系统 （Windows XP/Vista/ Windows 7等）
组态及监视（Golden Graph） 报警（Golden Alarm）
手工录入（Golden Typer） 标准通信接口（Golden Interface） 测点管理、查询（Golden xMT）
Golden Snapshot——实时数据库
• Golden Snapshot 单元主要负责存储测点的实时值和状态，对数据进行压缩过滤， 同时提供对实时数据访问的服务。
Golden Historian ——历史数据库
• Golden Historian单元主要负责存储测点的历史值和历史状态，提供高效可靠的历 史数据访问和存储服务。
产品支持多种接口，可在广域范围内采集各类传感数据并与各 类控制系统、关系型数据库和其他实时数据库以及业务系统等实现 数据交换。
环保 电力 石油 化工 冶金 军工 ……
数据中心：
庚顿实时数据库与商业关系数据库共同构建数据中心的基 础数据库，利用庚顿实时数据库可对实时数据进行收集、 压缩、存储，管理的历史数据容量达TB级。
庚顿实时数据库管理系统（简称庚顿实时数据库）是北京庚顿 数据科技有限公司推出的具有自主知识产权的实时数据库管理系统 及套件产品。
庚顿实时数据库管理系统作为一种新型数据库管理系统软件， 特别适用于海量实时/历史数据的采集、存储、分布、发布。
产品支持C/S和B/S应用模式，开放的、可扩展的结构及丰富 的支撑软件可满足用户构建各种应用的需求。
C2具有良好的可扩展性，采用开放的数据通 讯接口，支持各种数据源并能够方便的进行 管理；
C2支持在线仿真计算,不影响正常的应用运行。
Golden C2 的典型应用图示
统一数据发布（画面、报表等）
计算机模型 （文本文件等）
Golden实时数据库
Golden C2 新一代计算平台
连续数据采集 离线数据录入
镜像服务（Golden G2G） Golden OPCServer Golden C2 Golden portal GDXP Server Golden Webservice Golden ODBC
庚顿实时数据库——基础软件
Golden Base
服务器端 核心模块
Golden Historian
Golden Snapshot
Golden C2 主 要特点
C2帮助用户以最小的工作量来实现、部署和 管理自己的计算应用；
C2提供文本文件格式建模，使得应用的设计、 开发及维护变得非常简单，用户可方便地创 建应用并立即执行；
C2基于世界先进的计算引擎技术，实现统一 的计算模型调度、执行，计算负载可自动平 衡，多台计算机能同时计算和自动切换而不 引起计算中断； C2允许用户设计复杂的计算（比如存煤计算、 能源消耗、生产率分析等），且可靠运行；
实时监视系统： 与监控设备与装置、数据采集与监控系统等进行数据交换, 实时监视现场的运行状况。
（1）海量实时/历史数据中心； （2）发电厂厂级监控信息系统（SIS）； （3）流程企业制造执行系统（MES）； （4）企业能源管理系统（EMS）； （5）生产安全监控系统； （6）生产调度系统； （7）水利监控系统； （8）环境监控系统； （9）油井监控系统； （10）城市管网监控系统； （11）煤矿监控系统； （12）交通监控系统。
镜像服务 GDXP Server
Goldne C2
Golden Server
实时数据服务 历史数据服务 测点信息服务 网络服务 Windows 操作系统
实时数据库实时数据平台核心模块作用
Golden Base——测点信息数据库
• Golden Base单元主要负责存储和管理测点列表，并提供与测点列表有关的服务。
——Golden GDXP
Hale Waihona Puke 顿实时数据库——高级应用模块（——Golden C2 新一代计算平台）
Golden C2（新一代计算平台）,是一种网络化的 计算支持平台。
基于世界先进的计算引擎技术，C2实现了统一的 并行计算调度，使知识域专家无需掌握计算机编程 知识，就可通过编辑文本文件建立多个相互独立的 计算模型，快速应用知识，做跨数据源的复杂计算 与分析，拓展了专家的创新空间。