跳到主要内容
版本:v5.3

达梦

版本说明

  1. 支持DM 8.1.3 版本的读取和写入

读取模式​

读取方式场景权限要求对应功能其他要求
JDBC批量同步场景,全量初始化要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例:SequenceID),更新时间戳(例: UpdatedAt);
需要同步视图和表的 SELECT 权限
需要授予DBA_SYS_PRIVS表的select权限
1、选表以及视图,读取数据
2、任务运行,读取权限
+ JDBC 读取:增量模式要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例: SequenceID),更新时间戳(例: UpdatedAt)
+ JDBC 写入:需要授予 SELECT ON V_$SESSION 权限用于处理死锁导致的任务中断
LOGMNR增量监听场景需要安装 DBMS_LOGMNR
需要开启归档日志模式(设置 INI 参数 ARCH_INI 为 1)
需要开启在日志中记录逻辑操作的功能(设置 INI 参数 RLOG_APPEND_LOGIC 为 1、2 )

相关视图和表的 select权限:V$ARCHIVED_LOG、V$LOGMNR_CONTENTS、v$rlog、ALL_OBJECTS、all_tab_columns、dba_objects、v$lock、v$dm_ini、V$database、DBA_SYS_PRIVS、all_tables、ALL_VIEWS
1、binlog 增量读取
2、任务运行,读取权限
+ LOGMNR 读取:
- 需要安装 DBMS_LOGMNR
- 需要开启归档日志模式(设置 INI 参数 ARCH_INI 为 1)
- 需要开启在日志中记录逻辑操作的功能(设置 INI 参数 RLOG_APPEND_LOGIC 为 1、2)

写入方式

写入方式场景权限要求对应功能说明
JDBC写入需要授予 SELECT ON V_$SESSIONS 权限用于处理死锁导致的任务中断;
CREATE、INSERT、UPDATE、DELETE、DROP、TRUNCATE 权限;
需要授予DBA_SYS_PRIVS表的select权限
1、创建表
2、任务运行,读取写入权限
3、选表,写入数据
4、清空目的地表
5、删除重建表,结构变化

权限要求:

Logminer读取权限

////开启归档日志模式,并记录逻辑操作的功能/////

select para_name, para_value
from v$dm_ini
where para_name in
'ARCH_INI','RLOG_APPEND_LOGIC
/////相关视图和表的权限//////

GRANT SELECT ON V$ARCHIVED_LOG TO LYTEST;
GRANT SELECT ON V$LOGMNR_CONTENTS TO LYTEST;
GRANT SELECT ON v$rlog TO LYTEST;
GRANT SELECT ON ALL_OBJECTS TO LYTEST;
GRANT SELECT ON all_tab_columns TO LYTEST;
GRANT SELECT ON dba_objects TO LYTEST;
GRANT SELECT ON v$lock TO LYTEST;
GRANT SELECT ON v$dm_ini TO LYTEST;
GRANT SELECT ON v$sessions TO LYTEST;
GRANT SELECT ON all_cons_columns TO LYTEST;
GRANT SELECT ON dba_cons_columns TO LYTEST;
GRANT SELECT ON DBA_SYS_PRIVS TO LYTEST;

节点特性

DSC​

DM 数据共享集群又称为 DM 共享存储集群,英文全称 DM Data Shared Cluster,简称 DMDSC。

DM 共享存储数据库集群,允许多个数据库实例同时访问、操作同一数据库,具有高可用、高性能、负载均衡等特性。DMDSC 支持故障自动切换和故障自动重加入,某一个数据库实例故障后,不会导致数据库服务无法提供。

DMDSC 集群是一个多实例、单数据库的系统。多个数据库实例可以同时访问、修改同一个数据库的数据。用户可以登录集群中的任意一个数据库实例,获得完整的数据库服务。数据文件、控制文件在集群系统中只有一份,不论有几个节点,这些节点都平等地使用这些文件,这些文件保存在共享存储上。每个节点有自己独立的联机日志和归档日志,联机日志和归档日志都需要保存在共享存储上。

高可用​

DM 数据守护(Data Watch)是一种集成化的高可用、高性能数据库解决方案,是数据库异地容灾的首选方案。通过部署 DM 数据守护,可以在硬件故障(如磁盘损坏)、自然灾害(地震、火灾)等极端情况下,避免数据损坏、丢失,保障数据安全,并且可以快速恢复数据库服务,满足用户不间断提供数据库服务的要求。与常规的数据库备份(Backup)、还原(Restore)技术相比,数据守护可以更快地恢复数据库服务。随着数据规模不断增长,通过还原手段恢复数据,往往需要数个小时、甚至更长时间,而数据守护基本不受数据规模的影响,只需数秒时间就可以将备库切换为主库对外提供数据库服务。DM 数据守护提供多种解决方案,可以配置成实时主备、MPP 主备、DMDSC 主备或读写分离集群,满足用户关于系统可用性、数据安全性、性能等方面的综合需求,有效降低总体投入,获得超值的投资回报。

DataPileline 支持DM 数据守护(Data Watch)高可用架构,任务链接的节点放生故障,无法连接时,DataPileline会自动切换至系统中预先配置好的高可用的其他节点,同时也支持手动切换。

高可用手动切换相关操作步骤​

说明:

当无任务时,切换连接配置是无效的,新建任务会根据优先级判断。如果想看新建的任务会连接哪个节点,可以通过查看优先级确认。

  • 在<数据节点> <添加节点>页面,添加多个连接配置
  • 也可以在<数据节点><基本配置页面>编辑数据节点,增加多个连接配置。
  • 添加或编辑数据节点后会自动生成优先级和回溯时长,可以通过<数据节点> <详情><基本配置><管理优先级>功能修改优先级。
  • <数据节点> <详情><基本配置><切换连接配置>配置目标节点的,执行手动切换。
  • <数据节点> <详情><基本配置><管理优先级>调整优先级。
  • <数据节点> <详情><策略配置><连接切换策略>开启自动切换,配置自动切换检测频率。

添加达梦数据节点操作步骤

新建弹窗界面选择了达梦节点类型之后,显示达梦的基本信息配置模板:

  • 版本:DM8
  • 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或datapipeline.com
  • 端口:输入连接数据节点的端口值,默认值为 5236。
  • 数据库名称:要求连接数据库(Database)的名称,默认值为 PROD。
  • 用户名和密码:输入可访问该数据节点的用户名和密码
  • 认证类型:无、Kerberos、LDAP
    • 选择 Kerberos 时
      • 请上传 krb5.conf 配置文件
      • 请上传达梦 Keytab 配置文件
      • 请输入达梦 Principal
    • 选择 LDAP 时,需要填写可访问该数据节点的用户名和密码
  • 连接参数: sessEncode,此参数的作用是避免出现写入乱码。参数值应与达梦的字符集类型保持一致。