跳到主要内容
版本:v4.24

达梦

版本说明

  1. 支持DM 8.1.3 版本的读取和写入

读取模式​

读取方式场景权限要求对应功能其他要求
JDBC批量同步场景,全量初始化要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例:SequenceID),更新时间戳(例: UpdatedAt);
需要同步视图和表的 SELECT 权限
需要授予DBA_SYS_PRIVS表的select权限
1、选表以及视图,读取数据
2、任务运行,读取权限
+ JDBC 读取:增量模式要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例: SequenceID),更新时间戳(例: UpdatedAt)
+ JDBC 写入:需要授予 SELECT ON V_$SESSION 权限用于处理死锁导致的任务中断
LOGMNR增量监听场景需要安装 DBMS_LOGMNR
需要开启归档日志模式(设置 INI 参数 ARCH_INI 为 1)
需要开启在日志中记录逻辑操作的功能(设置 INI 参数 RLOG_APPEND_LOGIC 为 1、2 )

相关视图和表的 select权限:V$ARCHIVED_LOG、V$LOGMNR_CONTENTS、v$rlog、ALL_OBJECTS、all_tab_columns、dba_objects、v$lock、v$dm_ini、V$database、DBA_SYS_PRIVS、all_tables、ALL_VIEWS
1、binlog 增量读取
2、任务运行,读取权限
+ LOGMNR 读取:
- 需要安装 DBMS_LOGMNR
- 需要开启归档日志模式(设置 INI 参数 ARCH_INI 为 1)
- 需要开启在日志中记录逻辑操作的功能(设置 INI 参数 RLOG_APPEND_LOGIC 为 1、2)
达梦 Agent增量监听场景-- 将 BUSINESS.ORDERS 和 DP_CDC 替换为实际表及采集账号。
GRANT SELECT ON BUSINESS.ORDERS TO DP_CDC;

-- 以下查询由 DP_CDC 执行,用于定位字典/动态视图访问问题。
+ SELECT ID, PID FROM SYS.SYSOBJECTS WHERE 1 = 0;
+ SELECT FROM V$DSC_EP_INFO WHERE 1 = 0;
+ SELECT
FROM BUSINESS.ORDERS WHERE 1 = 0;
Agent 直接解析 RLOG2,Agent 进程对 Online/Archive 文件、DSC/ASM 工具及目录的访问属于操作系统权限,应按部署手册单独检查,数据库 GRANT 无法替代

写入方式

写入方式场景权限要求对应功能说明
JDBC写入需要授予 SELECT ON V_$SESSIONS 权限用于处理死锁导致的任务中断;
CREATE、INSERT、UPDATE、DELETE、DROP、TRUNCATE 权限;
需要授予DBA_SYS_PRIVS表的select权限
1、创建表
2、任务运行,读取写入权限
3、选表,写入数据
4、清空目的地表
5、删除重建表,结构变化

权限要求

Logminer读取权限

////开启归档日志模式,并记录逻辑操作的功能/////

select para_name, para_value
from v$dm_ini
where para_name in
'ARCH_INI','RLOG_APPEND_LOGIC
/////相关视图和表的权限//////

GRANT SELECT ON V$ARCHIVED_LOG TO LYTEST;
GRANT SELECT ON V$LOGMNR_CONTENTS TO LYTEST;
GRANT SELECT ON v$rlog TO LYTEST;
GRANT SELECT ON ALL_OBJECTS TO LYTEST;
GRANT SELECT ON all_tab_columns TO LYTEST;
GRANT SELECT ON dba_objects TO LYTEST;
GRANT SELECT ON v$lock TO LYTEST;
GRANT SELECT ON v$dm_ini TO LYTEST;
GRANT SELECT ON v$sessions TO LYTEST;
GRANT SELECT ON all_cons_columns TO LYTEST;
GRANT SELECT ON dba_cons_columns TO LYTEST;
GRANT SELECT ON DBA_SYS_PRIVS TO LYTEST;

当使用DSC备节点做源时,需要补充以下权限配置:

最小授权变更建议如下:

GRANT SELECT ON V$INSTANCE TO <logminer_user>;
GRANT SELECT ON V$RAPPLY_PARALLEL_INFO TO <logminer_user>; -- 仅备库部署需要

GRANT SELECT ON V$RLOG TO <logminer_user>;
GRANT SELECT ON V$ARCHIVED_LOG TO <logminer_user>;

节点特性

DSC​

DM 数据共享集群又称为 DM 共享存储集群,英文全称 DM Data Shared Cluster,简称 DMDSC。

DM 共享存储数据库集群,允许多个数据库实例同时访问、操作同一数据库,具有高可用、高性能、负载均衡等特性。DMDSC 支持故障自动切换和故障自动重加入,某一个数据库实例故障后,不会导致数据库服务无法提供。

DMDSC 集群是一个多实例、单数据库的系统。多个数据库实例可以同时访问、修改同一个数据库的数据。用户可以登录集群中的任意一个数据库实例,获得完整的数据库服务。数据文件、控制文件在集群系统中只有一份,不论有几个节点,这些节点都平等地使用这些文件,这些文件保存在共享存储上。每个节点有自己独立的联机日志和归档日志,联机日志和归档日志都需要保存在共享存储上。

高可用​

DM 数据守护(Data Watch)是一种集成化的高可用、高性能数据库解决方案,是数据库异地容灾的首选方案。通过部署 DM 数据守护,可以在硬件故障(如磁盘损坏)、自然灾害(地震、火灾)等极端情况下,避免数据损坏、丢失,保障数据安全,并且可以快速恢复数据库服务,满足用户不间断提供数据库服务的要求。与常规的数据库备份(Backup)、还原(Restore)技术相比,数据守护可以更快地恢复数据库服务。随着数据规模不断增长,通过还原手段恢复数据,往往需要数个小时、甚至更长时间,而数据守护基本不受数据规模的影响,只需数秒时间就可以将备库切换为主库对外提供数据库服务。DM 数据守护提供多种解决方案,可以配置成实时主备、MPP 主备、DMDSC 主备或读写分离集群,满足用户关于系统可用性、数据安全性、性能等方面的综合需求,有效降低总体投入,获得超值的投资回报。

DataPileline 支持DM 数据守护(Data Watch)高可用架构,任务链接的节点放生故障,无法连接时,DataPileline会自动切换至系统中预先配置好的高可用的其他节点,同时也支持手动切换。

高可用手动切换相关操作步骤​

说明:

当无任务时,切换连接配置是无效的,新建任务会根据优先级判断。如果想看新建的任务会连接哪个节点,可以通过查看优先级确认。

  • 在<数据节点> <添加节点>页面,添加多个连接配置
  • 也可以在<数据节点><基本配置页面>编辑数据节点,增加多个连接配置。
  • 添加或编辑数据节点后会自动生成优先级和回溯时长,可以通过<数据节点> <详情><基本配置><管理优先级>功能修改优先级。
  • <数据节点> <详情><基本配置><切换连接配置>配置目标节点的,执行手动切换。
  • <数据节点> <详情><基本配置><管理优先级>调整优先级。
  • <数据节点> <详情><策略配置><连接切换策略>开启自动切换,配置自动切换检测频率。

添加达梦数据节点操作步骤

新建弹窗界面选择了达梦节点类型之后,显示达梦的基本信息配置模板:

  • 版本:DM8
  • 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或datapipeline.com
  • 端口:输入连接数据节点的端口值,默认值为 5236。
  • 数据库名称:要求连接数据库(Database)的名称,默认值为 PROD。
  • 用户名和密码:输入可访问该数据节点的用户名和密码
  • 认证类型:无、Kerberos、LDAP
    • 选择 Kerberos 时
      • 请上传 krb5.conf 配置文件
      • 请上传达梦 Keytab 配置文件
      • 请输入达梦 Principal
    • 选择 LDAP 时,需要填写可访问该数据节点的用户名和密码
  • 连接参数:

3.7 升级 4.4 及以上版本后需要手动调整 charCode 参数的名称为 sessEncode,此参数的作用是避免出现写入乱码。参数值应与达梦的字符集类型保持一致。

版本连接参数名默认参数值其他参数可选项说明
3.7charCodeGBK
4.4 及以上sessEncodeGBKsessencode 参数默认为 GBK,但尽量保证与数据库实际字符集保持一致,以免出现查询乱码

添加达梦数据节点操作步骤

新建弹窗界面选择了达梦节点类型之后,显示达梦的基本信息配置模板:

  • 版本:DM8
  • 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或datapipeline.com
  • 端口:输入连接数据节点的端口值,默认值为 5236。
  • 数据库名称:要求连接数据库(Database)的名称,默认值为 PROD。
  • 用户名和密码:输入可访问该数据节点的用户名和密码
  • 认证类型:无、Kerberos、LDAP
    • 选择 Kerberos 时
      • 请上传 krb5.conf 配置文件
      • 请上传达梦 Keytab 配置文件
      • 请输入达梦 Principal
    • 选择 LDAP 时,需要填写可访问该数据节点的用户名和密码
  • 连接参数: sessEncode,此参数的作用是避免出现写入乱码。参数值应与达梦的字符集类型保持一致。

常见问题说明

达梦源节点报错 StringIndexOutOfBoundsException​

原因

当源节点 达梦 执行的 DDL 操作不在 DataPipeline 处理范围内时,如 “COMMENT ON COLUMN "SCHEMA"."TABLE_NAME".COLUMN IS 'xxx' ”,则会出现上述 StringIndexOutOfBoundsException 报错

解决方案

  1. 用户自定义过滤(无开关)

在参数 params(节点配置中的自定义参数)中配置 dameng.ddl.filter,支持单个正则表达式或以逗号分隔的多个正则表达式。当DDL语句匹配到任意一个规则时,该DDL将被跳过。

1. 正则规则说明(简版)
1. 使用Java正则表达式引擎。
2. 建议在规则前添加(?i)以忽略大小写匹配。
3. 使用\s+匹配一个或多个空格。
4. ④ 使用\b表示单词边界。
5. 使用"?表示引号可有可无,用于适配带引号或不带引号的对象名。
2. 多条规则配置方式:dameng.ddl.filter = 规则1,规则2,规则
3. 示例
1. 示例1:过滤某表MYSCHEMA.MY_TABLE的ALTER
信息

dameng.ddl.filter = (?i)\bALTER\s+TABLE\s+"?MYSCHEMA"?."?MY_TABLE"?

    2. 示例2:过滤某表MYSCHEMA.MY_TABLE的CREATE
信息

dameng.ddl.filter = (?i)\bCREATE\s+TABLE\s+"?MYSCHEMA"?."?MY_TABLE"?

    3. 示例3:过滤某表MYSCHEMA.MY_TABLE的ALTER、CREATE、DROP(配置3条规则)
信息

dameng.ddl.filter =

(?i)\bALTER\s+TABLE\s+"?MYSCHEMA"?."?MY_TABLE"?,

(?i)\bCREATE\s+TABLE\s+"?MYSCHEMA"?."?MY_TABLE"?,

(?i)\bDROP\s+TABLE\s+"?MYSCHEMA"?."?MY_TABLE"?

    4. 示例4:一条规则过滤某表全部DDL
信息

dameng.ddl.filter = (?i)\b(CREATE|ALTER|DROP)\s+TABLE\s+"?MYSCHEMA"?."?MY_TABLE"?

    5. 示例5:过滤某schema下所有CREATE
信息

dameng.ddl.filter = (?i)\bCREATE\s+TABLE\s+"?MYSCHEMA"?.\s*

  1. 系统默认过滤(可关闭)

默认启用,用于过滤系统库/系统表的DDL。

1. 过滤规则
1. seg_owner或username属于系统owner(SYS、SYSDBA、SYSSSO、SYSAUDITOR、SYSDBO、CTISYS)。
2. ② table_name以##开头。
3. ③ SQL文本包含OWNER.或"OWNER"。
2. 如何关闭默认过滤

通过设置dameng.ddl.filter.disableDefault=true可关闭默认过滤。

  1. 执行顺序
  • 首先,打印DDL语句的原文日志。
  • 然后,依次执行以下过滤检查:
    • 如果未关闭,执行系统默认过滤。
    • 执行用户自定义过滤。
  • 如果在上述任一过滤步骤中命中匹配规则,则跳过(skip)该DDL语句,不执行后续处理。
  • 如果所有过滤检查都未命中,则继续执行后续的DDL处理流程。