GoldenGate基本原理、安装过程和基本维护
Oracle_GoldenGate软件安装、配置、运维管理_整理版
Oracle_GoldenGate软件安装、配置、运维管理整理版目录Oracle_GoldenGate安装、配置、管理整理版 (1)a) Oracle GoldenGate主要组件 (5)GoldenGate for Oracle (8)b) 把源端数据库的数据同步到目标数据库 (13)c) 源数据库的修改实时同步到目标数据库 (34)d) 把源数据库的DDL修改同步到目标数据库中 (42)e) 术语和缩略语 (61)基于命令行的监控 (63)f) 说明 (63)g) 启动GoldenGate进程 (63)h) 停止GoldenGate进程 (64)i) 查看整体运行情况 (66)j) 查看参数设置 (67)k) 查看进程状态 (67)l) 查看延时 (70)m) 查看统计信息 (70)n) 查看运行报告 (71)基于GoldenGate Director的监控 (73)o) GoldenGate Director概述 (73)p) GoldenGate Director的安装部署 (75)部署方案及必需条件 (75)安装GoldenGate Director Server (77)安装GoldenGate Director Client (82)q) 启动GoldenGate Server (83)r) 配置被监控实例 (83)s) 登录Director Web监控界面 (86)t) 监控整体运行情况 (88)u) 监控进程状态 (89)v) 手工配置重点监控列表 (89)w) 查看事件日志 (92)x) Email告警 (93)y) 运行GGSCI命令 (94)日常维护指南 (96)z) 日常维护注意事项 (96)aa) 配置自动删除队列 (96)bb) 配置启动MGR时自动启动Extract和Replicat进程 (97)cc) 配置MGR自动重新启动Extract和Replicat进程 (97)dd) 长事务管理 (98)a) 源端和目标端数据库增减复制表 (101)b) 修改表结构 (104)c) 表的重新再同步 (105)异常处理预案 (106)d) 网络故障 (106)e) RAC环境下单节点失败 (106)f) Extract进程常见异常 (107)g) Replicat进程常见异常 (108)h) 异常处理一般步骤 (108)参考文献 (110)GoldenGate工作原理a) Oracle GoldenGate主要组件● Extract● Data pump● Replicat● Trails or extract files● Checkpoints● Manager● Collector1、Data Pump是一个次级的Extract Group,如果你的GG环境中不使用Data Pump的话，那么Primary Extract Group必须直接将trail通过网络写到Target系统上.参见后面的示例6:配置Data Pump实现一对多拓扑方案.2、默认情况下,Replicat是实时复制的,如果因为某种需要需要延迟复制的话,那么可以通过Replicat Group的如下DEFERAPPLYINTERVAL参数来控制，该参数允许delay的最大时间是7天。
goldengate原理
goldengate原理（原创实用版）目录1.GoldenGate 原理概述2.GoldenGate 的工作原理3.GoldenGate 的优缺点4.GoldenGate 的应用场景5.GoldenGate 的未来发展正文1.GoldenGate 原理概述GoldenGate（GG）原理是一种数据同步技术，主要用于实现数据库之间的数据实时同步。
GG 原理通过记录数据库的变更操作（如插入、更新和删除等），将这些操作应用于另一个数据库，从而实现源数据库与目标数据库的数据一致性。
GG 原理广泛应用于企业级应用场景，如数据备份、数据迁移和数据集成等。
2.GoldenGate 的工作原理GG 的工作原理可以概括为以下几个步骤：（1）配置数据源：首先，需要为 GG 配置源数据库和目标数据库的连接信息。
（2）捕获数据变更：GG 会监听源数据库的变更操作，如插入、更新和删除等。
（3）记录操作日志：GG 会将捕获到的数据变更操作记录在操作日志中，包括操作类型、操作时间和操作对象等。
（4）应用操作日志：GG 会将操作日志应用于目标数据库，从而实现源数据库与目标数据库的数据一致性。
（5）确认数据同步：GG 会通过比较源数据库和目标数据库的数据一致性，确保数据同步的正确性。
3.GoldenGate 的优缺点优点：（1）实时同步：GG 可以实现源数据库与目标数据库的实时同步，保证了数据的一致性。
（2）高可用性：GG 能够保证在源数据库出现故障时，目标数据库仍可用。
（3）易于扩展：GG 支持多种数据库类型，如 Oracle、MySQL 和 SQL Server 等。
缺点：（1）资源消耗：GG 需要消耗一定的系统资源，如 CPU、内存和磁盘空间等。
（2）数据一致性风险：GG 依赖操作日志实现数据同步，存在数据一致性风险，如操作日志丢失或损坏等。
4.GoldenGate 的应用场景GG 原理广泛应用于以下场景：（1）数据备份：通过 GG 原理，可以实时备份源数据库的数据，防止数据丢失。
goldengate如何安装和配置
goldengate如何安装和配置要安装goldengate，第一步当然要先下载软件，您可以到/网站上下载相关软件，注意goldengate是在oracle fusion middleware大类下面，它和操作系统版本，数据库版本都有关系，下载时注意别下错版本。
对于源端数据库，要做以下准备，这里以oracle为例，其它数据库请查找相关手册：a.在源端操作系统上，创建GoldenGate系统用户，设置该用户环境变量（如果是oracle数据库的话，ORACLE_SID,ORACLE_HOME等等），也可以采用oracle 安装用户运行GoldenGate。
建议采用oracle的安装用户安装运行GoldenGate，无需建立新用户，否则还得给新用户授一堆权限，具体请参考安装手册。
b.在数据库中创建GoldenGate数据库用户，名称无所谓，这里以goldengate 为例，用户至少应该有connect,resource,select any dictionary,select any table的权限，当然如果能给dba，一切就都覆盖了：CREATE USER goldengate IDENTIFIED BY goldengate;GRANT dba TO goldengate;c.检查源端数据库是否为归档模式，若为非归档模式，建议将其改为归档模式，其实在非归档模式下也能运行，但以防万一，还是配置归档保险：SQL> alter database archivelog;(需要在数据库mount状态下执行)；SQL>archive log list;d.检查源端数据库附加日志是否打开SQL>select supplemental_log_data_min from v$database;将数据库附加日志打开SQL>alter database add supplemental log data;切换日志以使附加日志生效：SQL〉ALTER SYSTEM ARCHIVE LOG CURRENT;在目标数据库上，也需要建立一个goldengate用户，或者利用现有用户也行，该用户应该至少有connect,resource,select any table,select any dictionary以及对应同步表的insert/update/delete权限。
golden gate原理
Golden Gate原理的基本原理Golden Gate原理是一种用于DNA合成的技术，它允许研究人员在实验室中进行基因组的修改和重组。
这种技术是通过将DNA片段连接起来来构建新的基因序列，从而实现对基因组的改造。
Golden Gate技术的核心原理Golden Gate技术的核心原理是使用限制性内切酶和连接酶来实现DNA片段之间的连接。
下面将详细介绍Golden Gate技术的步骤：1. 选择适当的限制性内切酶在Golden Gate技术中，首先需要选择适当的限制性内切酶。
这些限制性内切酶被用于在目标DNA片段上剪切出特定序列，并产生具有黏性末端（sticky ends）的DNA片段。
2. 设计引物序列接下来，需要设计引物序列。
引物是一种短链寡核苷酸序列，它能够与目标DNA片段上的特定序列进行互补配对。
引物通常包含一个与黏性末端相互补充的序列，以便在连接过程中形成稳定的双链结构。
3. 执行剪切反应在Golden Gate技术中，使用选择的限制性内切酶对目标DNA片段进行剪切。
这样可以生成具有黏性末端的DNA片段。
4. 进行连接反应接下来，将引物与目标DNA片段进行连接。
连接反应通常包括将黏性末端的DNA片段与引物进行混合，并加入连接酶。
连接酶能够催化引物与目标DNA片段之间的连接，形成新的DNA序列。
5. 转化到宿主细胞中最后，将经过连接反应的DNA转化到宿主细胞中。
转化是指将外源DNA导入到宿主细胞中，并使其在细胞内复制和表达。
转化可以通过多种方法实现，例如电穿孔、热激冲击或者利用特定菌株的自然转化能力。
Golden Gate技术的优势和应用Golden Gate技术具有以下几个优势：1.高效性：Golden Gate技术可以同时连接多个DNA片段，从而实现高效地构建复杂的基因组。
2.灵活性：由于引物序列和限制性内切酶选择灵活，Golden Gate技术可以用于合成各种不同长度和组合方式的DNA序列。
Oracle_GoldenGate安装、配置、管理
Oracle GoldenGate主要由如下一些组件组成● Extract● Data pump● Replicat● Trails or extract files● Checkpoints● Manager● Collector1、Data Pump是一个次级的Extract Group,如果你的GG环境中不使用Data Pump的话，那么Primary Extract Group必须直接将trail通过网络写到Target系统上.参见后面的示例6:配置Data Pump实现一对多拓扑方案.2、默认情况下,Replicat是实时复制的,如果因为某种需要需要延迟复制的话,那么可以通过Replicat Group的如下DEFERAPPLYINTERVAL参数来控制，该参数允许delay的最大时间是7天。
按照Oracle GoldenGate的工作原理和体系结构,在每个复制数据源和目标端都需要安装一套GoldenGate软件,同时需要分别启动一个 GoldenGate实例,一个GoldenGate实例就是一个管理进程(Manager process),这个管理进程也是整个GoldenGate实例运行时最主要的控制进程。
GoldenGate操作系统内存的使用是通过操作系统来控制的,而不是通过GoldenGate程序控制的,GoldenGate进程会根据需要从OS 那里分配相应的virtual memory.●GoldenGate GGSCI命令接口工具对于每个GoldenGate实例可以支持并发300个Extract和Replicat进程。
●每个Extract和Replicat进程需要大约25-55 MB内存,这主要取决于transaction的大小和并发的transaction数量。
所以,根据上面2个条件,GoldenGate对操作系统内存的需求主要取决于Extract和Replicat进程数。
工作目录每个GoldenGate实例的工作目录(working directories and binaries),大约需要40M的空间,如果你要同一台Server安装多个GoldenGate实例到不同的目录/文件系统下话,那么就需要多倍的空间分配,在考虑空间分配的时候,也需要考虑这个因数。
GoldenGate 10g安装配置操作手册
GoldenGate安装配置GoldenGate支持跨平台的数据实时同步操作：即源和目标可以是不同版本的ORACLE数据库。
GoldenGate需要要在源，目标库机器上都安装，并具是与数据库相匹配的版本：即根据源和目标的ORACLE版本，安装对应的goldenGate。
ogg12的版本是可以兼容11g,12c 版本的数据库，但是10g及以下版本需要找对应的版本，但是最多支持到8i。
GoldenGate是通过读取本地的数据库归档日志，投递给远程，实现同步的。
GoldenGate的日志投递方式有两种：直接投递和数据泵的方式。
原理如下图所示：两种抽取方式的结构示图两种抽取方式的区别：上面的INITIAL LOAD投递方式是直接投递，在源抽取端不缓存捕获队列数据。
而下面的DataPump数据泵方式，会在源库目录下保留抽取数据，在网络服务故障时，能保留未投递的数据不丢失，并在服务正常后能补投数据。
而两种投递方式在接收端在配置上没有区别。
要做双机互备，互为主从，配置两组反向的投递队列就好了。
注：我不推荐做双向同步，在系统故障需要恢复的时候，可能导致数据混乱。
一、操作环境环境二、数据库的准备工作下面的操作，都需要在源和目标数据库上操作。
2.1切换到归档模式SQL> archive log list; 查看归档模式Database log mode No Archive ModeAutomatic archival DisabledArchive destination /soft/u01/app/oracle/product/10.2.0/db_1/dbs/arch Oldest online log sequence 5263Current log sequence 5265如果不是归档模式，需要执行SQL> shutdown immediateSQL> startup mountSQL> alter database archivelog; #修改为归档模式SQL> alter database open;2.2禁用recycle_binSQL> show parameter recyclebin ;禁用recycle binoracle11需要重启才能生效SQL> ALTER SYSTEM SET recyclebin = OFF scope=spfile;对于10g不需要SQL> Alter system set recyclebin=off;2.3处理日志验证未使用并行日志（只针对9i,高级版本无此参数）Sql> show parameter LOG_PARALLELISM。
GoldenGate安装部署及解决方案
GoldenGate安装部署及解决方案目录GoldenGate安装部署及解决方案 (1)1、GoldenGate 简介 (3)2、文档约定和说明 (5)3、GoldenGate软件安装 (6)3.1 GoldenGate软件安装包下载 (6)3.2 Windows下安装 (7)3.3 Linux和Unix下安装 (8)4、GoldenGate同步基本配置 (9)4.1 oracle之间同步和GoldenGate基础 (9)4.2 oracle与db2同步 (17)4.3 oracle与sybase同步 (18)5、GoldenGate同步方案 (19)5.1 使用GoldenGate初始化加载 (19)5.2 一对多数据同步（广播复制） (21)5.3 多对一数据同步（集中复制） (22)5.4 数据转换和过滤 (23)5.5 关于目标端高数据安全性下的GoldenGate配置方案 (27)5.6 GoldenGate双向复制（active-active） (30)6、GoldenGate数据同步性能测试 (33)6.1 测试中主要监测数据和监测方式 (33)6.2 测试脚本和GoldenGate配置 (34)6.3 测试步骤 (38)6.4 性能测试结果 (40)7、GoldenGate推荐配置 (42)7.1 添加必要的环境参数 (42)7.2 BATCHSQL参数 (42)7.3 数据库用户密码加密 (43)7.4 trail再压缩 (44)8、GoldenGate Troubleshooting (45)8.1 一些常用的进程信息和日志的查看方式 (45)8.2 解析trail文件 (45)附：GoldenGate新版本的一个特性 (46)参考文档 (48)文档控制1、GoldenGate 简介GoldenGate软件是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增删改变化，再将这些变化应用到目标数据库，实现源数据库与目标数据库实时同步（real-time data synchronize）、双活（active-active high availability）。
goldengate原理
goldengate原理（实用版）目录1.GoldenGate 原理简介2.GoldenGate 的工作原理3.GoldenGate 的优缺点4.GoldenGate 的应用场景正文1.GoldenGate 原理简介GoldenGate（GG）是一种数据库复制技术，主要用于实现 Oracle 数据库之间的数据同步。
它通过在源数据库和目标数据库之间建立一个双向的数据通道，实时地将源数据库的数据变化同步到目标数据库，从而保证两个数据库的数据一致性。
2.GoldenGate 的工作原理GoldenGate 的工作原理可以概括为以下几个步骤：（1）配置 GoldenGate：在源数据库和目标数据库上分别安装GoldenGate 组件，并进行相关配置。
（2）数据同步：GoldenGate 通过捕获源数据库的数据变化（如INSERT、UPDATE、DELETE 等操作），并将这些变化记录在一个名为“重做日志”的文件中。
（3）数据传输：GoldenGate 将重做日志文件传输到目标数据库，并在目标数据库上按照记录的顺序执行这些操作，从而实现数据的同步。
（4）数据应用：目标数据库根据源数据库的重做日志执行相应的操作，使得目标数据库的数据与源数据库保持一致。
3.GoldenGate 的优缺点优点：（1）实时性：GoldenGate 能够实时地同步源数据库的数据变化，保证了目标数据库的数据与源数据库的数据几乎同时更新。
（2）灵活性：GoldenGate 支持多种数据同步方式，如实时同步、批量同步等，可以根据实际需求进行选择。
（3）易于维护：GoldenGate 采用分布式架构，可以独立于源数据库和目标数据库进行部署和维护。
缺点：（1）资源消耗：GoldenGate 需要在源数据库和目标数据库之间建立数据通道，进行数据同步，会消耗一定的系统资源。
（2）安全性：由于 GoldenGate 需要将源数据库的数据变化同步到目标数据库，因此存在数据泄露的风险。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
目录一、GoldenGate介绍 (3)二、GoldenGate安装实施 (5)2.1创建GoldenGate软件安装目录 (5)2.2 GoldenGate的管理用户 (5)2.3安装GoldenGate软件 (6)2.4设置数据库归档模式 (6)2.5打开数据库的附加日志 (7)2.6开启数据库强制日志模式 (7)2.7创建GoldenGate管理用户 (7)2.8编辑GLOBALS参数文件 (8)2.9管理进程MGR参数配置 (8)2.10抽取进程EXTN参数配置 (9)2.11 传输进程DPEN参数配置 (10)2.12建立OGG的DDL对象 (11)2.13 数据初始化 (12)2.14 容灾端管理进程MGR参数配置 (14)2.15编辑GLOBALS参数文件 (15)2.16 容灾端复制进程REPN参数配置 (15)2.17创建复制进程repn (17)2.18启动生产端传输进程和容灾端复制进程 (17)2.19测试场景 (17)三．GoldenGate基本运维命令 (17)四、常见故障排除 (18)一、GoldenGate介绍GoldenGate软件是一种基于日志的结构化数据复制软件。
GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。
GoldenGate能够支持多种拓扑结构，包括一对一，一对多，多对一，层叠和双向复制等等。
GoldenGate基本架构Oracle GoldenGate主要由如下组件组成●Extract●Data pump●Trails●Collector●Replicat●ManagerOracle GoldenGate 数据复制过程如下：利用抽取进程(Extract Process)在源端数据库中读取Online Redo Log或者Archive Log，然后进行解析，只提取其中数据的变化信息，比如DML操作——增、删、改操作，将抽取的信息转换为GoldenGate自定义的中间格式存放在队列文件(trail file)中。
再利用传输进程将队列文件(trail file)通过TCP/IP传送到目标系统。
目标端有一个进程叫Server Collector，这个进程接受了从源端传输过来的数据变化信息，把信息缓存到GoldenGate 队列文件(trail file)当中，等待目标端的复制进程读取数据。
GoldenGate 复制进程(replicat process)从队列文件(trail file)中读取数据变化信息，并创建对应的SQL语句，通过数据库的本地接口执行，提交到目标端数据库，提交成功后更新自己的检查点，记录已经完成复制的位置，数据的复制过程最终完成。
二、GoldenGate安装实施2.1创建GoldenGate软件安装目录在数据库服务器上创建文件系统：/u01/gg，作为GoldenGate 的安装目录。
2.2 GoldenGate的管理用户安装GoldenGate软件和维护GoldenGate软件时，可以使用系统上的oracle用户。
GoldenGate安装目录的所有者必须是GoldenGate管理用户，本次实施过程中使用oracle用户作为GoldenGate管理用户，添加oracle用户的环境变量(在生产端和容灾端均要进行以下操作)：export GG_HOME=/u01/ggexportLD_LIBRARY_PATH=$GG_HOME:$ORACLE_HOME/lib:/usr /bin:/libexport PATH=$GG_HOME:$PATH2.3安装GoldenGate软件切换到oracle用户，将GG软件的压缩包存放到GoldenGate 安装目录下，即/u01/gg，将这个压缩包进行解压到GoldenGate 安装目录下(在生产端和容灾端均要进行以下操作)：tar -zxvf *.gz进入到GoldenGate安装目录，运行GGSCI命令以进入GG界面(在生产端和容灾端均要进行以下操作)：cd /u01/gg./ggsci在GGSCI界面下创建子目录(在生产端和容灾端均要进行以下操作)：GGSCI>create subdirs至此，GoldenGate软件安装完毕。
2.4设置数据库归档模式查看数据库的归档模式：SQL>archive log list;如果是非归档模式，需要开启归档模式：shutdown immediate;startup mount;alter database archivelog;alter database open;2.5打开数据库的附加日志打开附加日志并切换日志（保证Online redo log和Archive log 一致）alter database add supplemental log data ;alter database add supplemental log data (primary key, unique,foreign key) columns;alter system switch logfile;2.6开启数据库强制日志模式alter database force logging;2.7创建GoldenGate管理用户在生产端和容灾端均要进行以下操作：--create tablespaceSQL>create tablespace ogg datafile'$ORACLE_BASE/oradata/test/ogg01.dbf' size 300M ;-- create the userSQL>create user ogg identified by ogg default tablespace ogg; -- grant role privilegesSQL>grant resource, connect, dba to ogg;2.8编辑GLOBALS参数文件切换到GoldenGate安装目录下，执行命令：cd /u01/gg./ggsciGGSCI>EDIT PARAMS ./GLOBALS在文件中添加以下内容：GGSCHEMA ogg --指定的进行DDL复制的数据库用户利用默认的密钥，生成密文：GGSCI>encrypt password ogg encryptkey default Encrypted password: AACAAAAAAAAAAADAHBLDCCIIOIRFNEPB记录这个密文，将在以下进程参数的配置中使用。
2.9管理进程MGR参数配置PORT 7839DYNAMICPORTLIST 7840-7860--AUTOSTART ER *--AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 3 PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 2userid ogg, password AACAAAAAAAAAAADAHBLDCCIIOIRFNEPB, ENCRYPTKYdefaultPURGEDDLHISTORY MINKEEPDAYS 11,MAXKEEPDAYS 14 PURGEMARKERHISTORY MINKEEPDAYS 11, MAXKEEPDAYS 142.10抽取进程EXTN参数配置EXTRACT extnsetenv (NLS_LANG=AMERICAN_AMERICA.WE8MSWIN1252) userid ogg, password AACAAAAAAAAAAADAHBLDCCIIOIRFNEPB, ENCRYPTKEY defaultREPORTCOUNT EVERY 1 MINUTES, RATE DISCARDFILE ./dirrpt/discard_extn.dsc,APPEND,MEGABY TES 1024DBOPTIONS ALLOWUNUSEDCOLUMN WARNLONGTRANS 2h,CHECKINTERVAL 3mEXTTRAIL ./dirdat/naTRANLOGOPTIONS EXCLUDEUSER OGG TRANLOGOPTIONSALTARCHIVEDLOGFORMAT %t_%s_%r.dbfFETCHOPTIONS NOUSESNAPSHOT TRANLOGOPTIONS CONVERTUCS2CLOBS TRANLOGOPTIONS altarchivelogdest primary instance test /oradata/arch--TRANLOGOPTIONS RAWDEVICEOFFSET 0 DYNAMICRESOLUTIONDDL INCLUDE ALLDDLOPTIONS addtrandata, NOCROSSRENAME, REPORTtable QQQ.*;table CUI.*;2.11 传输进程DPEN参数配置EXTRACT dpenRMTHOST 192.168.4.171 , MGRPORT 7839, compress PASSTHRUnumfiles 50000RMTTRAIL ./dirdat/naTABLE QQQ.*;TABLE CUI.*;2.12建立OGG的DDL对象$ cd /u01/gg$ sqlplus "/ as sysdba"SQL> @marker_setup.sqlEnter GoldenGate schema name:oggalter system set recyclebin=off;SQL> @ddl_setup.sqlEnter GoldenGate schema name: oggSQL> @role_setup.sqlGrant this role to each user assigned to the Extract, Replicat, GGSCI, and Manager processes, by using the following SQL command:SQL>GRANT GGS_GGSUSER_ROLE TO <loggedUser>where <loggedUser> is the user assigned to the GoldenGate processes.注意这里的提示：需要手工将这个GGS_GGSUSER_ROLE指定给extract所使用的数据库用户（即参数文件里面通过userid指定的用户），可以到sqlplus下执行类似的sql:SQL>GRANT GGS_GGSUSER_ROLE TO ogg;注：这里的ogg是extract使用的用户。