达梦
版本说明
- 支持DM 8.1.3 版本的读取和写入
读取模式
| 读取方式 | 场景 | 权限要求 | 对应功能 | 其他要求 |
|---|---|---|---|---|
| JDBC | 批量同步场景,全量初始化 | 要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例:SequenceID),更新时间戳(例: UpdatedAt); 需要同步视图和表的 SELECT 权限 需要授予DBA_SYS_PRIVS表的select权限 | 1、选表以及视图,读取数据 2、任务运行,读取权限 | + JDBC 读取:增量模式要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例: SequenceID),更新时间戳(例: UpdatedAt) + JDBC 写入:需要授予 SELECT ON V_$SESSION 权限用于处理死锁导致的任务中断 |
| LOGMNR | 增量监听场景 | 需要安装 DBMS_LOGMNR 需要开启归档日志模式(设置 INI 参数 ARCH_INI 为 1) 需要开启在日志中记录逻辑操作的功能(设置 INI 参数 RLOG_APPEND_LOGIC 为 1、2 ) 相关视图和表的 select权限:V$ARCHIVED_LOG、V$LOGMNR_CONTENTS、v$rlog、ALL_OBJECTS、all_tab_columns、dba_objects、v$lock、v$dm_ini、V$database、DBA_SYS_PRIVS、all_tables、ALL_VIEWS | 1、增量读取 2、任务运行,读取权限 | + LOGMNR 读取: - 需要安装 DBMS_LOGMNR - 需要开启归档日志模式(设置 INI 参数 ARCH_INI 为 1) - 需要开启在日志中记录逻辑操作的功能(设置 INI 参数 RLOG_APPEND_LOGIC 为 1、2) + GRANT SELECT ON V$INSTANCE TO \<logminer_user>; + GRANT SELECT ON V$RAPPLY_PARALLEL_INFO TO \<logminer_user>; -- 仅备库部署需要 + GRANT SELECT ON V$RLOG TO \<logminer_user>; + GRANT SELECT ON V$ARCHIVED_LOG TO \<logminer_user>; |
写入方式
| 写入方式 | 场景 | 权限要求 | 对应功能说明 |
|---|---|---|---|
| JDBC | 写入 | 需要授予 SELECT ON V_$SESSIONS 权限用于处理死锁导致的任务中断; CREATE、INSERT、UPDATE、DELETE、DROP、TRUNCATE 权限; 需要授予DBA_SYS_PRIVS表的select权限 | 1、创建表 2、任务运行,读取写入权限 3、选表,写入数据 4、清空目的地表 5、删除重建表,结构变化 |
权限要求
Logminer读取权限
////开启归档日志模式,并记录逻辑操作的功能/////
select para_name, para_value
from v$dm_ini
where para_name in
('ARCH_INI','RLOG_APPEND_LOGIC)
/////相关视图和表的权限//////
GRANT SELECT ON V$ARCHIVED_LOG TO LYTEST;
GRANT SELECT ON V$LOGMNR_CONTENTS TO LYTEST;
GRANT SELECT ON v$rlog TO LYTEST;
GRANT SELECT ON ALL_OBJECTS TO LYTEST;
GRANT SELECT ON all_tab_columns TO LYTEST;
GRANT SELECT ON dba_objects TO LYTEST;
GRANT SELECT ON v$lock TO LYTEST;
GRANT SELECT ON v$dm_ini TO LYTEST;
GRANT SELECT ON v$sessions TO LYTEST;
GRANT SELECT ON all_cons_columns TO LYTEST;
GRANT SELECT ON dba_cons_columns TO LYTEST;
GRANT SELECT ON DBA_SYS_PRIVS TO LYTEST;
当使用DSC备节点做源时,需要补充以下权限配置:
最小授权变更建议如下:
GRANT SELECT ON V$INSTANCE TO <logminer_user>;
GRANT SELECT ON V$RAPPLY_PARALLEL_INFO TO <logminer_user>; -- 仅备库部署需要
GRANT SELECT ON V$RLOG TO <logminer_user>;
GRANT SELECT ON V$ARCHIVED_LOG TO <logminer_user>;
节点特性
DSC
DM 数据共享集群又称为 DM 共享存储集群,英文全称 DM Data Shared Cluster,简称 DMDSC。
DM 共享存储数据库集群,允许多个数据库实例同时访问、操作同一数据库,具有高可用、高性能、负载均衡等特性。DMDSC 支持故障自动切换和故障自动重加入,某一个数据库实例故障后,不会导致数据库服务无法提供。
DMDSC 集群是一个多实例、单数据库的系统。多个数据库实例可以同时访问、修改同一个数据库的数据。用户可以登录集群中的任意一个数据库实例,获得完整的数据库服务。数据文件、控制文件在集群系统中只有一份,不论有几个节点,这些节点都平等地使用这些文件,这些文件保存在共享存储上。每个节点有自己独立的联机日志和归档日志,联机日志和归档日志都需要保存在共享存储上。
高可用
DM 数据守护(Data Watch)是一种集成化的高可用、高性能数据库解决方案,是数据库异地容灾的首选方案。通过部署 DM 数据守护,可以在硬件故障(如磁盘损坏)、自然灾害(地震、火灾)等极端情况下,避免数据损坏、丢失,保障数据安全,并且可以快速恢复数据库服务,满足用户不间断提供数据库服务的要求。与常规的数据库备份(Backup)、还原(Restore)技术相比,数据守护可以更快地恢复数据库服务。随着数据规模不断增长,通过还原手段恢复数据,往往需要数个小时、甚至更长时间,而数据守护基本不受数据规模的影响,只需数秒时间就可以将备库切换为主库对外提供数据库服务。DM 数据守护提供多种解决方案,可以配置成实时主备、MPP 主备、DMDSC 主备或读写分离集群,满足用户关于系统可用性、数据安全性、性能等方面的综合需求,有效降低总体投入,获得超值的投资回报。
DataPileline 支持DM 数据守护(Data Watch)高可用架构,任务链接的节点放生故障,无法连接时,DataPileline会自动切换至系统中预先配置好的高可用的其他节点,同时也支持手动切换。
高可用手动切换相关操作步骤
说明:
当无任务时,切换连接配置是无效的,新建任务会根据优先级判断。如果想看新建的任务会连接哪个节点,可以通过查看优先级确认。
- 在<数据节点> <添加节点>页面,添加多个连接配置
- 也可以在<数据节点><基本配置页面>编辑数据节点,增加多个连接配置。
- 添加或编辑数据节点后会自动生成优先级和回溯时长,可以通过<数据节点> <详情><基本配置><管理优先级>功能修改优先级。
- <数据节点> <详情><基本配置><切换连接配置>配置目标节点的,执行手动切换。
- <数据节点> <详情><基本配置><管理优先级>调整优先级。
- <数据节点> <详情><策略配置><连接切换策略>开启自动切换,配置自动切换检测频率。
添加达梦数据节点操作步骤
新建弹窗界面选择了达梦节点类型之后,显示达梦的基本信息配置模板:
- 版本:DM8
- 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或datapipeline.com
- 端口:输入连接数据节点的端口值,默认值为 5236。
- 数据库名称:要求连接数据库(Database)的名称,默认值为 PROD。
- 用户名和密码:输入可访问该数据节点的用户名和密码
- 认证类型:无、Kerberos、LDAP
- 选择 Kerberos 时
- 请上传 krb5.conf 配置文件
- 请上传达梦 Keytab 配置文件
- 请输入达梦 Principal
- 选择 LDAP 时,需要填写可访问该数据节点的用户名和密码
- 选择 Kerberos 时
- 连接参数: sessEncode,此参数的作用是避免出现写入乱码。参数值应与达梦的字符集类型保持一致。
常见问题说明
达梦源节点报错 StringIndexOutOfBoundsException
原因
当源节点 达梦 执行的 DDL 操作不在 DataPipeline 处理范围内时,如 “COMMENT ON COLUMN "SCHEMA"."TABLE_NAME".COLUMN IS 'xxx' ”,则会出现上述 StringIndexOutOfBoundsException 报错
解决方案
- 用户自定义过滤(无开关)
在参数 params(节点配置中的自定义参数)中配置 dameng.ddl.filter,支持单个正则表达式或以逗号分隔的多个正则表达式。当DDL语句匹配到任意一个规则时,该DDL将被跳过。
1. 正则规则说明(简版)
1. 使用Java正则表达式引擎。
2. 建议在规则前添加(?i)以忽略大小写匹配。
3. 使用\s+匹配一个或多个空格。
4. ④ 使用\b表示单词边界。
5. 使用"?表示引号可有可无,用于适配带引号或不带引号的对象名。
2. 多条规则配置方式:dameng.ddl.filter = 规则1,规则2,规则
3. 示例
1. 示例1:过滤某表MYSCHEMA.MY_TABLE的ALTER
dameng.ddl.filter = (?i)\bALTER\s+TABLE\s+"?MYSCHEMA"?."?MY_TABLE"?
2. 示例2:过滤某表MYSCHEMA.MY_TABLE的CREATE
dameng.ddl.filter = (?i)\bCREATE\s+TABLE\s+"?MYSCHEMA"?."?MY_TABLE"?
3. 示例3:过滤某表MYSCHEMA.MY_TABLE的ALTER、CREATE、DROP(配置3条规则)
dameng.ddl.filter =
(?i)\bALTER\s+TABLE\s+"?MYSCHEMA"?."?MY_TABLE"?,
(?i)\bCREATE\s+TABLE\s+"?MYSCHEMA"?."?MY_TABLE"?,
(?i)\bDROP\s+TABLE\s+"?MYSCHEMA"?."?MY_TABLE"?
4. 示例4:一条规则过滤某表全部DDL
dameng.ddl.filter = (?i)\b(CREATE|ALTER|DROP)\s+TABLE\s+"?MYSCHEMA"?."?MY_TABLE"?
5. 示例5:过滤某schema下所有CREATE
dameng.ddl.filter = (?i)\bCREATE\s+TABLE\s+"?MYSCHEMA"?.\s*
- 系统默认过滤(可关闭)
默认启用,用于过滤系统库/系统表的DDL。
1. 过滤规则
1. seg_owner或username属于系统owner(SYS、SYSDBA、SYSSSO、SYSAUDITOR、SYSDBO、CTISYS)。
2. ② table_name以##开头。
3. ③ SQL文本包含OWNER.或"OWNER"。
2. 如何关闭默认过滤
通过设置dameng.ddl.filter.disableDefault=true可关闭默认过滤。
- 执行顺序
- 首先,打印DDL语句的原文日志。
- 然后,依次执行以下过滤检查:
- 如果未关闭,执行系统默认过滤。
- 执行用户自定义过滤。
- 如果在上述任一过滤步骤中命中匹配规则,则跳过(skip)该DDL语句,不执行后续处理。
- 如果所有过滤检查都未命中,则继续执行后续的DDL处理流程。