AIX 系统下GOLDENGATE 安装配置文档

AIX 系统下GOLDENGATE 安装配置文档

- 省直项目数据同步政府事业部（东北大区辽宁研发中心）周健

摘要

Oracle GoldenGate软件是一种基于log(日志)的结构化数据复制软件，它通过解析源数据库在线log或归档log获得数据的增、删、改变化，再将这些变化应用到目标数据库，实现源数据库与目标数据库同步、双活。Oracle GoldenGate 软件可以在异构的IT基础结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒级的实时复制，其复制过程简图如下：

背景

省直养老保险项目需要开办网上申报系统实现单位网上办事，提高业务经办效率，提升社保中心的整体服务水平。

数据同步接口设计

社保网上服务系统由两个数据库组成：社保系统生产库，网上申报中间库。

1、社保系统生产库：

此库是社保系统生产数据库，存放着所有社保系统核心业务数据。

2、网上申报系统中间库：

此库是网上申报业务实用的核心数据库，它存放着单位结算的查询信息、业务

办理的审批信息、以及企业的申报信息。

社保网上查询使用的数据从中间库取得，通过数据增量同步完成社保生产库和

中间库之间的数据交换。数据同步的周期根据系统的时间运转状况决定，设计中

暂定一天进行一次核对，时间定在晚间20：00点开始，涉及的同步数据用户包括

社保生产库的养老用户（lnsi_yl）和医疗用户（lnsi_yb）。

数据同步目的

网上申报系统需要提供接口能够让参保人员通过英特网进行查询参保和缴费信息以及能够申报自己的缴费基数等信息，这样就必然使外部人员可以访问数据库，从而产生数据库被攻击和篡改的风险。我们通过数据同步就可以实现外网数据和内网数据分离，让外部人员只能访问中间库，不会影响到生产库的安全。

为了能够实现中间库和生产库的实时同步，我们就需要采用goldengate软件来

帮助我们来解决。根据用户的需求，我们需要配置养老和医疗两个生产库用户

的同步脚本。具体配置方案如下：

1配置前期准备工作：

创建goldengate用户并授权

SQL> Create user goldengate identified by goldengate default tablesplce lnsz

temporary temp profile default;

SQL> GRANT CONNECT TO goldengate;

SQL>GRANT ALTER ANY TABLE TO goldengate;

SQL>GRANT ALTER SESSION TO goldengate;

SQL>GRANT CREATE SESSION TO goldengate;

SQL>GRANT FLASHBACK ANY TABLE TO goldengate;

SQL>GRANT SELECT ANY DICTIONARY TO goldengate;

SQL>GRANT SELECT ANY TABLE TO goldengate;

SQL>GRANT RESOURCE TO goldengate;

SQL>GRANT DBA TO goldengate;

2同步配置任务添加

2.1检查是否开启归档

检查语句：select log_mode from v$database;

--修改数据库为归档模式脚本：

SQL>shutdown immediate

SQL>startup mount

SQL>alter database archivelog;

2.2检查数据库属性

#检查数据库属性脚本

SELECT SUPPLEMENTAL_LOG_DATA_MIN,

SUPPLEMENTAL_LOG_DATA_PK,SUPPLEMENTAL_LOG_DATA_UI, FORCE_LOGGING

FROM V$DATABASE;

#如果SUPPLEMENTAL_LOG_DATA_MIN，

SUPPLEMENTAL_LOG_DATA_PK,SUPPLEMENTAL_LOG_DATA_UI返回的结果为"NO",则

进行如下操作

ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;

ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (PRIMARY KEY) COLUMNS;

ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (UNIQUE INDEX) COLUMNS;

ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (FOREIGN KEY) COLUMNS;

alter database force logging;

2.3添加supplemental log

add trandata lnsi_yl.*;

add trandata lnsi_yb.*;

检查是否添加上supplemental log

select * from DBA_LOG_GROUP_COLUMNS where owner='USERNAME' AND table_name='TABLE_NAME';

表字段超过32个字段且无主键的表需要特殊处理

alter table gzsimis.dsdzmx_log add supplemental log group dsdzmx_log_20(fsrq,dzrq,tbsdm,sbbm,dwmc,tzny,ssrq,xzdm,zmdm,je,hdfs,jffs,jfzt,jflx,d zbz,bz,flag,ysje,err,bae203) ALWAYS;

2.4建立goldengate工作目录

将goldengate安装程序拷贝到服务器上去进行解压缩。然后通过命令行进入安装目录后执行ggsic命令登录goldengate控制面板。

执行GGSCI>create subdirs

检查目录的版本及权限

查看版本

uname –a

查看ggs所属的用户权限

ls –ls

如果权限不是oracle权限，需要改变，可以执行

chown -R oracle:oinstall ggs 把ggs的权限变过来

建立goldengate 检查点

GGSCI> dblogin userid goldengate, password goldengate

GGSCI> add checkpointtable checkpointtable

2.5编写源端抽取配置文件

EXTRACT emp_ext

setenv (NLS_LANG = AMERICAN_AMERICA.ZHS16GBK)

setenv (ORACLE_SID=orcl)

USERID lnsi_yl ,PASSWORD 111

transmemory directory (/oracle/ggs/dirtmp,10G,2G),ram2G,transram 500M

warnlongtrans 12h, checkintervals 10m

EXTTRAIL /u01/oracle/ggs/dirdat/et

table lnsi_yl.*;

table lnsi_yb.*;

2.6编写源端投递配置文件

extract emp_pump

setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)

setenv (ORACLE_SID=orcl)

userid lnsi_yl, password 111

passthru

DISCARDROLLOVER AT 05:30

REPORTROLLOVER AT 05:30

REPORTCOUNT EVERY 1 HOURS, RATE

rmthost 10.56.50.11, mgrport 7810

rmttrail /ggs/dirrepdata/et

DISCARDFILE /ggs/dirrpt/lnsz_dp.dsc, append, megabytes 1024

table lnsi_yl.*,

--TOKENS(committime=@GETENV("GGHEADER","COMMITTIMESTAMP"));

table lnsi_yb.*;

2.7添加源端抽取进程

add ext emp_ext, tranlog, begin now,threads 2

2.8创建本地trail

add exttrail /u01/oracle/ggs/dirdat/et, ext emp_ext

2.9启动抽取进程

ggsci> start emp_ext

2.10创建传输进程

Add extract emp_pump, EXTTRAILSOURCE /u01/oracle/ggs/dirdat/et

2.11创建远端trail

add rmttrail /ggs/dirrepdata/et,extract emp_pump,MEGABYTES 200

2.12启动投递进程

Start emp_pump

2.13检查是否存在长事物(存在长事务必须停掉事务或是等待该事务执行完毕再取scn)

select username, SID||','|| SERIAL# ses, T.STATUS , START_TIME, https://www.360docs.net/doc/114881809.html,, USED_UBLK, USED_UREC

from v$transaction T, v$session S, v$rollstat RS, v$rollname RN

where T.SES_ADDR = S.SADDR and T.XIDUSN = https://www.360docs.net/doc/114881809.html,N and https://www.360docs.net/doc/114881809.html,N = https://www.360docs.net/doc/114881809.html,N

order by USED_UBLK;

2.14取系统scn供初始化用

Select to_char(dbms_flashback.get_system_change_number,

'99999999999999999999') from dual;

2.15进行初始化工作, 禁用目的库job，trigger和外键级联约束

#disable triggers by owner

select 'alter trigger '||owner||'.'||trigger_name||' disable;'

from dba_triggers

where status='ENABLED' and owner in ('LNWBDT','LNWBDT_SP');

#disable jobs

select 'exec dbms_job.broken('||job||',true);'

from dba_jobs

where broken='N' and schema_user in ('LNWBDT','LNWBDT_SP');

select owner,job_name,STATE

from dba_scheduler_jobs

where STATE<>'DISABLED' and owner in ('LNWBDT','LNWBDT_SP');

#disable foreign key by owner

SELECT 'alter table '||owner||'.'||table_name||' disable constraint

'||constraint_name||';'

from dba_constraints

where constraint_type='R' and status='ENABLED' and owner in

('LNWBDT','LNWBDT_SP');

2.16编写目的端复制配置文件

replicat emp_rep

setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)

setenv (ORACLE_SID=orcl)

userid lnwbdt, password lnwbdt

--SQLEXEC "ALTER SESSION SET COMMIT_WRITE = NOWAIT"

--assumetargetdefs

REPERROR DEFAULT,DISCARD

discardfile /ggs/repjl.dsc,append,megabytes 1024

DISCARDROLLOVER AT 05:30

REPORTROLLOVER AT 05:30

REPORTCOUNT EVERY 1 HOURS, RATE

HANDLECOLLISIONS

DYNAMICRESOLUTION

SOURCEDEFS /ggs/dirdef/lnsi_yl.def

map lnsi_yl.ab01_table, target lnwbdt.ab01, colmap ( usedefaults , xtbz=1 );

2.17创建复制进程

Add replicat emp_rep, exttrail /ggs/dirrepdata/et, CHECKPOINTTABLE

goldengate.checkpointtable,begin now

总结

至此，GOLDENGATE的配置全部结束。由此可以实现为外部网站提供实时数据。这样既满足了用户可以通过网站查询本人的社保业务参保缴费等关键数据。同时又能减少核心经办系统的压力，防止重要信息数据被恶意篡改。