Oracle GoldenGate (OGG)12c for oralce 12c/Centos 7.3 之十二——DML\DDL参数有配置说明

2019年6月23日 1305点热度 0人点赞 0条评论

MGR参数

序号	配置参数	备注
1	PORT 7839	必选参数
2	USERID ggs, PASSWORD 123456, ENCRYPTKEY default	必选参数，配置建议：要求使用密文参数,添加需要的配置参数
3	DYNAMICPORTLIST 7840-7914	必选参数，配置建议：一个传输进程(datapump)一般需要预留5个端口，其他监控端口另行考虑；
4	AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 3	可选参数，配置建议：在系统运行稳定时，打开该参数；
5	PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 3	必选参数--配置建议：根据队列空间大小适当进行调整，建议>=3天
6	PURGEDDLHISTORY MINKEEPDAYS 7, MAXKEEPDAYS 10	DDL 配置时需要的参数
7	PURGEMARKERHISTORY MINKEEPDAYS 7, MAXKEEPDAYS 10	DML 配置时需要的参数
8	LAGREPORTHOURS 1	必选参数，配置建议：统一设定为1个小时
9	LAGINFOMINUTES 30	必选参数，配置建议：统一设定为30分钟
10	LAGCRITICALMINUTES 45	必选参数，配置建议：统一设定为45分钟；

EXTRACT参数

序号	配置参数		备注
1	EXTRACT extxx		必选参数
2	setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)		必选参数，配置建议：需要根据数据库的字符集进行设置；
3	USERID ggs, PASSWORD AACAAAAAAAAAAGAIF, ENCRYPTKEY default		必选参数，配置建议：要求使用密文参数,添加需要的配置参数
4	GETTRUNCATES		可选参数，配置建议：在没有配置DDL时，该参数需要打开;如果配置DDL，就是FULL DDL SUPPORT模式，不必配置
5	DDL & INCLUDE MAPPED OBJTYPE 'table' & INCLUDE MAPPED OBJTYPE 'index' & EXCLUDE OPTYPE COMMENT DDLOPTIONS NOCROSSRENAME REPORT DDLOPTIONS ADDTRANDATA REPORT		必选参数，配置建议：为ddl开启时需要使用的参数，此处配置仅开启表和索引，过滤comment语句；
6	DISCARDFILE ./dirrpt/extxx.dsc,APPEND,MEGABYTES 1024		必选参数，配置建议：该参数的路径必须为相对路径，该参数的值设置为1024M
7	THREADOPTIONS MAXCOMMITPROPAGATIONDELAY 60000 IOLATENS 60000		特定参数，在Rac环境下需要配置，非Rac的生产环境不需要配置
8	DBOPTIONS ALLOWUNUSEDCOLUMN		必选参数，配置建议：在生产端库表中存在unused列时，需要配置该参数
9	WARNLONGTRANS 2h,CHECKINTERVAL 3m		必选参数，配置建议：要求设置为2h，3m，如有特殊需要，可以调整
10	EXTTRAIL ./dirdat/xx		必选参数，配置建议：要求使用相对路径，遵循命名规范；
11		TRANLOGOPTIONS EXCLUDEUSER USERNAME		可选参数，配置建议：可以使用来排除大事务用户
12		FETCHOPTIONS USESNAPSHOT		必选参数，要求必须设置该参数
13		TRANLOGOPTIONS CONVERTUCS2CLOBS		可选参数参数，对CLOB字段进行处理V11版本版本不需要此参数
14		TRANLOGOPTIONS altarchivelogdest primary instance rac1 /arch1 altarchivelogdest instance rac2 /arch2		特定参数，配置建议：Rac使用，解决归档路径不一致的问题；可以在一个实例上面配置；
15		TRANLOGOPTIONS RAWDEVICEOFFSET 0		特定参数，配置建议：仅限于AIX平台下使用裸设备时使用，其它平台或非裸设备均不需要
16		Table SCHEMA.* Sequence SCHEMA.*		复制用户

DATADUMP参数

序号	配置参数	备注
1	EXTRACT dpxx	必选参数
2	PASSTHRU	必选参数
3	RMTHOST ..., MGRPORT 7839, compress	必选参数，配置建议：... 目标端的ip地址,7839为目标端的管理端口，要求配置compress压缩参数，
4	RMTTRAIL ./dirdat/xx	必选参数，配置建议：要求使用相对路径，遵循命名规范；
5	Table SCHEMA.* Sequence SCHEMA.*	复制用户

REPLICAT参数

序号	配置参数	备注
1	REPLICAT repxx	必选参数
2	setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)	必选参数，配置建议：需要根据数据库源端的字符集进行设置
4	USERID ggs, PASSWORD AACAAAAAAAAAAGAIFAAAUDVHCFUGFIYF, ENCRYPTKEY default	必选参数，配置建议：要求使用密文参数,添加需要的配置参数
5	DDL include mapped	必选参数，为开启DDL复制时需要配置的参数
6	ddloptions report	必选参数，为开启DDL复制时需要配置的参数
7	REPORT AT 01:59	可选参数，配置建议：该时间也根据需要进行修改
8	REPORTCOUNT EVERY 30 MINUTES, RATE	可选参数，配置建议：可以根据需要进行调整
9	REPERROR DEFAULT, ABEND	必选参数，配置要求：必须使用abend参数，不允许使用
10	DBOPTIONS DEFERRORFCONST	必选参数，Replicate进程在commit后进行完整性约束检查
11	Assumetargetdefs	必选参数
12	DISARDFILE ./dirrpt/repya1.dsc, APPEND, MEGABYTES 1024	必选参数，配置建议：该参数的路径必须为相对路径，建议该参数的值设置为1024M
13	DISCARDROLLOVER AT 02:30	每天2:30自动重新建立一个dsc文件，可选参数
14	GETTRUNCATES	可选参数,未开启DDL打开，开启DDL不开
15	ALLOWNOOPUPDATES	必选参数
16	MAP SCHEMA., TARGET SCHEMA.	复制用户
17	DDLOPTIONS MAPSESSIONSCHEMA ogg_src target ogg_trg	目标端与源端用户不一致，但需要相同数据结构，需要session schema进行转换。

常用优化参数

序号	配置参数	备注
1	numfile xxx	可选参数，GoldenGate默认值1000，各单位根据灾备复制系统数据库表数量可酌情调整。不配置该参数亦生效满足要求。
2	GROUPTRANSOPS xxx	可选参数，GoldenGate默认值1000，调大该参数会调整OGG提交记录数。各单位可根据实际情况酌情配置。不配置该参数亦生效满足要求。
3	DBOPTION SUPPERSSTRIGGERS DEFERREFCONST	可选参数，若Oracle 10.2.0.5以上版本，OGG V11.1以上版本可以配置，灾备端数据库无需禁止Trigger。不满足Oracle和OGG版本要求禁止配置
4	DBOPTION SUPPRESSTRIGGERS	可选参数，要求数据库版本10.2.0.5或11.2.0.2以上，还需要赋予stream的管理员的权限给GoldenGate，（确认方法：SELECT *FROM dba_streams_administrator；）不满足上述所有条件不合格

禁止参数

序号	配置参数	备注
1	Reperror default DSC	Reperror default后必须配置ABEND，确保当复制运行报错后，及时告知运维人员，确保灾备数据一致
2	reperror 【报错代码】 transdiscard 或 reperror(【报错代码】,discard)	此类配置将导致复制发生错误后，忽略指定报错信息，严重影响数据一致
3	handlecolisions	打开此参数则所有数据错误不管reperror如何配置均不再写discard文件，即所有数据冲突信息被默认规则处理，没有任何日志(会忽略error mapping数据错误，而且不会报告到discard文件)
4	ddlerror default ignore	此类配置将导致DDL复制发生错误后，忽略指定报错信息，严重影响数据一致
5	REPERROR (1403, ignore)	此配置导致OGG恢复发生错误后，忽略指定的报错信息，严重影响数据一致。（注：1403为报错代码，禁止此项配置
6	MAXTRANSOPS	GoldenGate默认值100000000，修改此参数会导致数据不一致，禁止配置。
8	DDLERROR RESTARTSKIP 100000 SKIPTRIGGERERROR 100000	让extract在启动时，跳过或忽略100000个引起abend的DDL操作，跳过或忽略10000个由TRIGGER引起的造成abend 的DDL操作
9	FETCHOPTIONS FETCHPKUPDATECOLS	使用OGG进行数据初始化
9	FETCHOPTIONS FETCHPKUPDATECOLS	时，和HANDLECOLLISIONS配合使用，来解决replicat 主键更新丢失的问题
10	FETCHOPTIONS SUPPRESSDUPLICATES	仅在我们在遭遇抽取LOB字段时，遇到相关故障时，开启该参数；而一旦处理该故障后，应将其从配置中删除

EXTRACT进程参数配置说明：

SETENV：配置系统环境变量

USERID/ PASSWORD：指定OGG连接数据库的用户名和密码，这里使用3.4部分中创建的数据库用户OGG;

COMMENT：注释行，也可以用--来代替;

TABLE：定义需复制的表，后面需以；结尾

TABLEEXCLUDE：定义需要排除的表，如果在TABLE参数中使用了通配符，可以使用该参数指定排除掉得表。

GETUPDATEAFTERS|IGNOREUPDATEAFTERS：是否在队列中写入后影像，缺省复制

GETUPDATEBEFORES| IGNOREUPDATEBEFORES：是否在队列中写入前影像，缺省不复制

GETUPDATES|IGNOREUPDATES：是否复制UPDATE操作，缺省复制

GETDELETES|IGNOREDELETES：是否复制DELETE操作，缺省复制

GETINSERTS|IGNOREINSERTS：是否复制INSERT操作，缺省复制

GETTRUNCATES|IGNORETRUNDATES：是否复制TRUNCATE操作，缺省不复制；

RMTHOST：指定目标系统及其GoldengateManager进程的端口号，还用于定义是否使用压缩进行传输，本例中的compress为压缩传输；

RMTTRAIL：指定写入到目标断的哪个队列；

EXTTRAIL：指定写入到本地的哪个队列；

SQLEXEC：在extract进程运行时首先运行一个SQL语句；

PASSTHRU：禁止extract进程与数据库交互，适用于Data Pump传输进程；

REPORT：定义自动定时报告；

STATOPTIONS：定义每次使用stat时统计数字是否需要重置；

REPORTCOUNT：报告已经处理的记录条数统计数字；

TLTRACE：打开对于数据库日志的跟踪日志；

DISCARDFILE：定义discardfile文件位置，如果处理中油记录出错会写入到此文件中；

DBOPTIONS：指定对于某种特定数据库所需要的特殊参数；

TRANLOGOPTIONS：指定在解析数据库日志时所需要的特殊参数，例如：对于裸设备，可能需要加入以下参数 rawdeviceoggset 0

WARNLONGTRANS：指定对于超过一定时间的长交易可以在gsserr.log里面写入警告信息，本处配置为每隔3分钟检查一次场交易，对于超过2小时的进行警告；

REPLICAT进程参数配置说明：

ASSUMETARGETDEFS：假定两端数据结构一致使用此参数；

SOURCEDEFS：假定两端数据结构不一致，使用此参数指定源端的数据结构定义文件，该文件需要由GlodenGate工具产生。

MAP:用于指定源端与目标端表的映射关系；

MAPEXCLUDE：用于使用在MAP中使用*匹配时排除掉指定的表；

REPERROR：定义出错以后进程的响应，一般可以定义为两种：

ABEND，即一旦出现错误即停止复制，此为缺省配置；

DISCARD，出现错误后继续复制，只是把错误的数据放到discard文件中。

DISCARDFILE：定义discardfile文件位置，如果处理中油记录出错会写入到此文件中；

SQLEXEC：在进程运行时首先运行一个SQL语句；

GROUPTRANSOPS：将小交易合并成一个大的交易进行提交，减少提交次数，降低系统IO消耗。

MAXTRANSOPS：将大交易拆分，每XX条记录提交一次。

本作品采用知识共享署名 4.0 国际许可协议进行许可

Oracle GoldenGate (OGG)12c for oralce 12c/Centos 7.3 之十二——DML\DDL参数有配置说明

文章评论