拓扑园

  • O&M
    • Universal部署
    • PHP+VUE+Laravel相关
  • Oracle性能优化
  • Oracle项目案例
    • Oracle近期项目案例(目录)
    • Oracle实战问题解析(目录)
    • Oracle数据库名变更流程(2种方式)
    • Oracle数据库目录更换流程(使用Oracle的clone工具)
    • Oracle数据库迁移方案(目录)
    • 标准化文档系列
  • Oracle基础知识
    • LLL的Oracle培训(分类)
    • LLL的docker培训(分类)
    • 标准化文档系列--(分类)
    • Oracle核心经典分析(分类)
    • 图灵小队----(分类并包含以下文章)
    • --MySQL8.0/Oracle/Memcached/Redis等安装配置于RHEL/OL6/7/8.X系列-运行环境最优配置
    • --PG安装配置于RHEL/9X系列-运行环境最优配置
    • --自动维护任务详解-开启、关闭信息统计收集(统计信息)
    • --图灵小队—Oracle/PostgreSQL下创建一个用户测试表(自行定义数据行)
    • --图灵小队-Oracle存储过程导出表的明细_UTL_FILE(文章)
    • --图灵小队-Oracle数据库删除/卸载操作指南(文章)
    • --图灵小队-Oracle常用性能查询SQL语句(文章)
    • --图灵小队-Oracle数据库上线前检查(文章)
    • --图灵小队-Oracle常用SQL语句(文章)
    • --图灵小队—Linux/Oracle脚本/MySQL合集(持续更新)
    • --图灵小队-Oracle技巧记录(文章)
    • ADG
    • RAC
    • ASM
    • OGG
    • RMAN
    • EXPDP/IMPDP
    • 工厂数据导入导出系列
  • MySQL
    • MySQL数据库规范
    • MySQL项目案例
    • MySQL安装配置
    • MYSQL集群项目
    • MySQL常见处理
    • MySQL-Sysbench专题
    • MySQL-Percona Toolkit专题
  • Linux
    • Shell编程
    • kubernetes
    • docker
    • Linux
    • PHP
    • Nginx
    • haproxy
    • mail
    • 网站
    • 域名
    • 网址收藏
  • 数据中心
    • 新框架系统集合
    • 工作文档
    • EBS数据文件扩容
    • VMware虚拟化
    • EBS系列
    • 大数据
    • SVN
    • zabbix
    • SAP
    • 备份相关
    • FC交换机
    • SVN
  • K-Studing
    • D8-Python学习
    • Oracle/MySQl等面试题
    • LG-MySQL
    • LG-Docker/K8S
    • LG-PostgreSQL
    • LG-ORACLE_BBED
    • LG-ORACLE
    • LG-Elasticsearch(ES)+ELK
    • Oracle-19C-OCP
    • WERN_ORACLE培训
    • redis数据库
    • Nginx培训学习系列
  • 其他
    • 外研英语4年级下册-听力
    • 影视系列
    • 如何使用iTunes软件通过抓包下载旧版本的ios的app
天高任鸟飞
Oracle/MySQL数据库恢复/数据迁移/生产规范报告技术交流:TEL:18562510581(微信同号);加微信入群
  1. 首页
  2. Oracle
  3. OGG
  4. 正文

Oracle GoldenGate (OGG)12c for oralce 12c/Centos 7.3 之十二——DML\DDL参数有配置说明

2019年6月23日 1305点热度 0人点赞 0条评论

MGR参数

序号

配置参数

备注

1

PORT 7839

必选参数

2

USERID ggs, PASSWORD 123456,   ENCRYPTKEY default

必选参数,配置建议:要求使用密文参数,添加需要的配置参数

3

DYNAMICPORTLIST 7840-7914

必选参数,配置建议:一个传输进程(datapump)一般需要预留5个端口,其他监控端口另行考虑;

4

AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 3

可选参数,配置建议:在系统运行稳定时,打开该参数;

5

PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 3

必选参数--配置建议:根据队列空间大小适当进行调整,建议>=3天

6

PURGEDDLHISTORY MINKEEPDAYS 7,   MAXKEEPDAYS 10

DDL 配置时需要的参数

7

PURGEMARKERHISTORY MINKEEPDAYS 7,   MAXKEEPDAYS 10

DML 配置时需要的参数

8

LAGREPORTHOURS 1

必选参数,配置建议:统一设定为1个小时

9

LAGINFOMINUTES 30

必选参数,配置建议:统一设定为30分钟

10

LAGCRITICALMINUTES 45

必选参数,配置建议:统一设定为45分钟;


EXTRACT参数


序号

配置参数

备注

1

EXTRACT extxx

必选参数

2

setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)

必选参数,配置建议:需要根据数据库的字符集进行设置;

3

USERID ggs,   PASSWORD AACAAAAAAAAAAGAIF, ENCRYPTKEY default

必选参数,配置建议:要求使用密文参数,添加需要的配置参数

4

GETTRUNCATES

可选参数,配置建议:在没有配置DDL时,该参数需要打开;如果配置DDL,就是FULL   DDL SUPPORT模式,不必配置

5

DDL &
  INCLUDE MAPPED OBJTYPE 'table' &
  INCLUDE MAPPED OBJTYPE 'index' &
  EXCLUDE OPTYPE COMMENT
  DDLOPTIONS  NOCROSSRENAME  REPORT
  DDLOPTIONS  ADDTRANDATA  REPORT

必选参数,配置建议:为ddl开启时需要使用的参数,此处配置仅开启表和索引,过滤comment语句;

6

DISCARDFILE ./dirrpt/extxx.dsc,APPEND,MEGABYTES 1024

必选参数,配置建议:该参数的路径必须为相对路径,该参数的值设置为1024M

7

THREADOPTIONS MAXCOMMITPROPAGATIONDELAY 60000 IOLATENS 60000

特定参数,在Rac环境下需要配置,非Rac的生产环境不需要配置

8

DBOPTIONS  ALLOWUNUSEDCOLUMN

必选参数,配置建议:在生产端库表中存在unused列时,需要配置该参数

9

WARNLONGTRANS 2h,CHECKINTERVAL 3m

必选参数,配置建议:要求设置为2h,3m,如有特殊需要,可以调整

10

EXTTRAIL ./dirdat/xx

必选参数,配置建议:要求使用相对路径,遵循命名规范;

11

TRANLOGOPTIONS EXCLUDEUSER USERNAME

可选参数,配置建议:可以使用来排除大事务用户

12

FETCHOPTIONS USESNAPSHOT

必选参数, 要求必须设置该参数

13

TRANLOGOPTIONS  CONVERTUCS2CLOBS

可选参数参数,对CLOB字段进行处理V11版本版本不需要此参数

14

TRANLOGOPTIONS altarchivelogdest primary instance rac1  /arch1 altarchivelogdest  instance  rac2   /arch2

特定参数,配置建议:Rac使用,解决归档路径不一致的问题;可以在一个实例上面配置;

15

TRANLOGOPTIONS  RAWDEVICEOFFSET  0

特定参数, 配置建议:仅限于AIX平台下使用裸设备时使用,其它平台或非裸设备均不需要

16

Table SCHEMA.*
  Sequence SCHEMA.*

复制用户

DATADUMP参数


序号

配置参数

备注

1

EXTRACT dpxx

必选参数

2

PASSTHRU

必选参数

3

RMTHOST *.*.*.*, MGRPORT 7839,   compress

必选参数,配置建议:*.*.*.* 目标端的ip地址,7839为目标端的管理端口,要求配置compress压缩参数,

4

RMTTRAIL ./dirdat/xx

必选参数,配置建议:要求使用相对路径,遵循命名规范;

5

Table SCHEMA.*
  Sequence SCHEMA.*

复制用户

REPLICAT参数

序号

配置参数

备注

1

REPLICAT repxx

必选参数

2

setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)

必选参数,配置建议:需要根据数据库源端的字符集进行设置

4

USERID ggs,   PASSWORD AACAAAAAAAAAAGAIFAAAUDVHCFUGFIYF, ENCRYPTKEY default

必选参数,配置建议:要求使用密文参数,添加需要的配置参数

5

DDL include mapped  

必选参数,为开启DDL复制时需要配置的参数

6

ddloptions report

必选参数,为开启DDL复制时需要配置的参数

7

REPORT AT 01:59

可选参数,配置建议:该时间也根据需要进行修改

8

REPORTCOUNT EVERY 30 MINUTES, RATE

可选参数,配置建议:可以根据需要进行调整

9

REPERROR DEFAULT, ABEND

必选参数,配置要求:必须使用abend参数,不允许使用

10

DBOPTIONS DEFERRORFCONST

必选参数,Replicate进程在commit后进行完整性约束检查

11

Assumetargetdefs

必选参数

12

DISARDFILE ./dirrpt/repya1.dsc,   APPEND, MEGABYTES 1024

必选参数,配置建议:该参数的路径必须为相对路径,建议该参数的值设置为1024M

13

DISCARDROLLOVER AT 02:30

每天2:30自动重新建立一个dsc文件,可选参数

14

GETTRUNCATES

可选参数,未开启DDL打开,开启DDL不开

15

ALLOWNOOPUPDATES

必选参数

16 MAP SCHEMA.*, TARGET SCHEMA.* 复制用户

17

DDLOPTIONS MAPSESSIONSCHEMA ogg_src target ogg_trg

目标端与源端用户不一致,但需要相同数据结构,需要session schema进行转换。

常用优化参数

序号

配置参数

备注

1

numfile  xxx

可选参数,GoldenGate默认值1000,各单位根据灾备复制系统数据库表数量可酌情调整。不配置该参数亦生效满足要求。

2

GROUPTRANSOPS  xxx

可选参数,GoldenGate默认值1000,调大该参数会调整OGG提交记录数。各单位可根据实际情况酌情配置。不配置该参数亦生效满足要求。

3

DBOPTION SUPPERSSTRIGGERS   DEFERREFCONST

可选参数,若Oracle 10.2.0.5以上版本,OGG V11.1以上版本可以配置,灾备端数据库无需禁止Trigger。不满足Oracle和OGG版本要求禁止配置

4

DBOPTION SUPPRESSTRIGGERS

可选参数,要求数据库版本10.2.0.5或11.2.0.2以上,还需要赋予stream的管理员的权限给GoldenGate,(确认方法:SELECT *FROM   dba_streams_administrator;)不满足上述所有条件不合格

禁止参数

序号

配置参数

备注

1

Reperror default  DSC

Reperror default后必须配置ABEND,确保当复制运行报错后,及时告知运维人员,确保灾备数据一致

2

reperror 【报错代码】 transdiscard 或 reperror(【报错代码】,discard)

此类配置将导致复制发生错误后,忽略指定报错信息,严重影响数据一致

3

handlecolisions

打开此参数则所有数据错误不管reperror如何配置均不再写discard文件,即所有数据冲突信息被默认规则处理,没有任何日志(会忽略error mapping数据错误,而且不会报告到discard文件)

4

ddlerror default   ignore

此类配置将导致DDL复制发生错误后,忽略指定报错信息,严重影响数据一致

5

REPERROR (1403, ignore)

此配置导致OGG恢复发生错误后,忽略指定的报错信息,严重影响数据一致。(注:1403为报错代码,禁止此项配置

6

MAXTRANSOPS

GoldenGate默认值100000000,修改此参数会导致数据不一致,禁止配置。

8

DDLERROR RESTARTSKIP 100000   SKIPTRIGGERERROR 100000

让extract在启动时,跳过或忽略100000个引起abend的DDL操作,跳过或忽略10000个由TRIGGER引起的造成abend 的DDL操作

9

FETCHOPTIONS FETCHPKUPDATECOLS 

使用OGG进行数据初始化

时,和HANDLECOLLISIONS配合使用,来解决replicat 主键更新丢失的问题

10

FETCHOPTIONS SUPPRESSDUPLICATES 

仅在我们在遭遇抽取LOB字段时,遇到相关故障时,开启该参数;而一旦处理该故障后,应将其从配置中删除

EXTRACT进程参数配置说明:

SETENV:配置系统环境变量

USERID/ PASSWORD:指定OGG连接数据库的用户名和密码,这里使用3.4部分中创建的数据库用户OGG;

COMMENT:注释行,也可以用--来代替;

TABLE:定义需复制的表,后面需以;结尾

TABLEEXCLUDE:定义需要排除的表,如果在TABLE参数中使用了通配符,可以使用该参数指定排除掉得表。

GETUPDATEAFTERS|IGNOREUPDATEAFTERS:是否在队列中写入后影像,缺省复制

GETUPDATEBEFORES| IGNOREUPDATEBEFORES:是否在队列中写入前影像,缺省不复制

GETUPDATES|IGNOREUPDATES:是否复制UPDATE操作,缺省复制

GETDELETES|IGNOREDELETES:是否复制DELETE操作,缺省复制

GETINSERTS|IGNOREINSERTS:是否复制INSERT操作,缺省复制

GETTRUNCATES|IGNORETRUNDATES:是否复制TRUNCATE操作,缺省不复制;

RMTHOST:指定目标系统及其GoldengateManager进程的端口号,还用于定义是否使用压缩进行传输,本例中的compress为压缩传输;

RMTTRAIL:指定写入到目标断的哪个队列;

EXTTRAIL:指定写入到本地的哪个队列;

SQLEXEC:在extract进程运行时首先运行一个SQL语句;

PASSTHRU:禁止extract进程与数据库交互,适用于Data Pump传输进程;

REPORT:定义自动定时报告;

STATOPTIONS:定义每次使用stat时统计数字是否需要重置;

REPORTCOUNT:报告已经处理的记录条数统计数字;

TLTRACE:打开对于数据库日志的跟踪日志;

DISCARDFILE:定义discardfile文件位置,如果处理中油记录出错会写入到此文件中;

DBOPTIONS:指定对于某种特定数据库所需要的特殊参数;

TRANLOGOPTIONS:指定在解析数据库日志时所需要的特殊参数,例如:对于裸设备,可能需要加入以下参数 rawdeviceoggset 0

WARNLONGTRANS:指定对于超过一定时间的长交易可以在gsserr.log里面写入警告信息,本处配置为每隔3分钟检查一次场交易,对于超过2小时的进行警告;

REPLICAT进程参数配置说明:

ASSUMETARGETDEFS:假定两端数据结构一致使用此参数;

SOURCEDEFS:假定两端数据结构不一致,使用此参数指定源端的数据结构定义文件,该文件需要由GlodenGate工具产生。

MAP:用于指定源端与目标端表的映射关系;

MAPEXCLUDE:用于使用在MAP中使用*匹配时排除掉指定的表;

REPERROR:定义出错以后进程的响应,一般可以定义为两种:

ABEND,即一旦出现错误即停止复制,此为缺省配置;

DISCARD,出现错误后继续复制,只是把错误的数据放到discard文件中。

DISCARDFILE:定义discardfile文件位置,如果处理中油记录出错会写入到此文件中;

SQLEXEC:在进程运行时首先运行一个SQL语句;

GROUPTRANSOPS:将小交易合并成一个大的交易进行提交,减少提交次数,降低系统IO消耗。

MAXTRANSOPS:将大交易拆分,每XX条记录提交一次。

本作品采用 知识共享署名 4.0 国际许可协议 进行许可
标签: 暂无
最后更新:2019年7月26日

admin

这个人很懒,什么都没留下

打赏 点赞
< 上一篇
下一篇 >

文章评论

您需要 登录 之后才可以评论

COPYRIGHT © 2022 拓扑园. ALL RIGHTS RESERVED.

Theme Kratos Made By Seaton Jiang

鲁ICP备2021020523号

鲁ICP备2021020523号