达梦
版本说明
- 支持DM8版本的读取和写入
读取模式
| 读取方式 | 场景 | 权限要求 | 对应功能 | 其他要求 |
|---|---|---|---|---|
| JDBC | 批量同步场景,全量初始化 | 要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例:SequenceID),更新时间戳(例: UpdatedAt); 需要同步视图和表的 SELECT 权限 需要授予DBA_SYS_PRIVS表的select权限 | 1、选表以及视图,读取数据 2、任务运行,读取权限 | + JDBC 读取:增量模式要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例: SequenceID),更新时间戳(例: UpdatedAt) + JDBC 写入:需要授予 SELECT ON V_$SESSION 权限用于处理死锁导致的任务中断 |
| LOGMNR | 增量监听场景 | 需要安装 DBMS_LOGMNR 需要开启归档日志模式(设置 INI 参数 ARCH_INI 为 1) 需要开启在日志中记录逻辑操作的功能(设置 INI 参数 RLOG_APPEND_LOGIC 为 1、2 ) 相关视图和表的 select权限:V$ARCHIVED_LOG、V$LOGMNR_CONTENTS、v$rlog、ALL_OBJECTS、all_tab_columns、dba_objects、v$lock、v$dm_ini、V$database、DBA_SYS_PRIVS、all_tables、ALL_VIEWS | 1、binlog 增量读取 2、任务运行,读取权限 | + LOGMNR 读取: - 需要安装 DBMS_LOGMNR - 需要开启归档日志模式(设置 INI 参数 ARCH_INI 为 1) - 需要开启在日志中记录逻辑操作的功能(设置 INI 参数 RLOG_APPEND_LOGIC 为 1、2) |
写入方式
| 写入方式 | 场景 | 权限要求 | 对应功能说明 |
|---|---|---|---|
| JDBC | 写入 | 需要授予 SELECT ON V_$SESSIONS 权限用于处理死锁导致的任务中断; CREATE、INSERT、UPDATE、DELETE、DROP、TRUNCATE 权限; 需要授予DBA_SYS_PRIVS表的select权限 | 1、创建表 2、任务运行,读取写入权限 3、选表,写入数据 4、清空目的地表 5、删除重建表,结构变化 |
权限要求:
Logminer读取权限
////开启归档日志模式,并记录逻辑操作的功能/////
select para_name, para_value
from v$dm_ini
where para_name in
'ARCH_INI','RLOG_APPEND_LOGIC
/////相关视图和表的权限//////
GRANT SELECT ON V$ARCHIVED_LOG TO LYTEST;
GRANT SELECT ON V$LOGMNR_CONTENTS TO LYTEST;
GRANT SELECT ON v$rlog TO LYTEST;
GRANT SELECT ON ALL_OBJECTS TO LYTEST;
GRANT SELECT ON all_tab_columns TO LYTEST;
GRANT SELECT ON dba_objects TO LYTEST;
GRANT SELECT ON v$lock TO LYTEST;
GRANT SELECT ON v$dm_ini TO LYTEST;
GRANT SELECT ON v$sessions TO LYTEST;
GRANT SELECT ON all_cons_columns TO LYTEST;
GRANT SELECT ON dba_cons_columns TO LYTEST;
GRANT SELECT ON DBA_SYS_PRIVS TO LYTEST;
节点特性
DSC
DM 数据共享集群又称为 DM 共享存储集群,英文全称 DM Data Shared Cluster,简称 DMDSC。
DM 共享存储数据库集群,允许多个数据库实例同时访问、操作同一数据库,具有高可用、高性能、负载均衡等特性。DMDSC 支持故障自动切换和故障自动重加入,某一个数据库实例故障后,不会导致数据库服务无法提供。
DMDSC 集群是一个多实例、单数据库的系统。多个数据库实例可以同时访问、修改同一个数据库的数据。用户可以登录集群中的任意一个数据库实例,获得完整的数据库服务。数据文件、控制文件在集群系统中只有一份,不论有几个节点,这些节点都平等地使用这些文件,这些文件保存在共享存储上。每个节点有自己独立的联机日志和归档日志,联机日志和归档日志都需要保存在共享存储上。
高可用
DM 数据守护(Data Watch)是一种集成化的高可用、高性能数据库解决方案,是数据库异地容灾的首选方案。通过部署 DM 数据守护,可以在硬件故障(如磁盘损坏)、自然灾害(地震、火灾)等极端情况下,避免数据损坏、丢失,保障数据安全,并且可以快速恢复数据库服务,满足用户不间断提供数据库服务的要求。与常规的数据库备份(Backup)、还原(Restore)技术相比,数据守护可以更快地恢复数据库服务。随着数据规模不断增长,通过还原手段恢复数据,往往需要数个小时、甚至更长时间,而数据守护基本不受数据规模的影响,只需数秒时间就可以将备库切换为主库对外提供数据库服务。DM 数据守护提供多种解决方案,可以配置成实时主备、MPP 主备、DMDSC 主备或读写分离集群,满足用户关于系统可用性、数据安全性、性能等方面的综合需求,有效降低总体投入,获得超值的投资回报。
DataPileline 支持DM 数据守护(Data Watch)高可用架构,任务链接的节点放生故障,无法连接时,DataPileline会自动切换至系统中预先配置好的高可用的其他节点,同时也支持手动切换。
高可用手动切换相关操作步骤
说明:
当无任务时,切换连接配置是无效的,新建任务会根据优先级判断。如果想看新建的任务会连接哪个节点,可以通过查看优先级确认。
- 在<数据节点> <添加节点>页面,添加多个连接配置
- 也可以在<数据节点><基本配置页面>编辑数据节点,增加多个连接配置。
- 添加或编辑数据节点后会自动生成优先级和回溯时长,可以通过<数据节点> <详情><基本配置><管理优先级>功能修改优先级。
- <数据节点> <详情><基本配置><切换连接配置>配置目标节点的,执行手动切换。
- <数据节点> <详情><基本配置><管理优先级>调整优先级。
- <数据节点> <详情><策略配置><连接切换策略>开启自动切换,配置自动切换检测频率。
添加达梦数据节点操作步骤
新建弹窗界面选择了达梦节点类型之后,显示达梦的基本信息配置模板:
- 版本:DM8
- 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或datapipeline.com
- 端口:输入连接数据节点的端口值,默认值为 5236。
- 数据库名称:要求连接数据库(Database)的名称,默认值为 PROD。
- 用户名和密码:输入可访问该数据节点的用户名和密码
- 认证类型:无、Kerberos、LDAP
- 选择 Kerberos 时
- 请上传 krb5.conf 配置文件
- 请上传达梦 Keytab 配置文件
- 请输入达梦 Principal
- 选择 LDAP 时,需要填写可访问该数据节点的用户名和密码
- 选择 Kerberos 时
- 连接参数: sessEncode,此参数的作用是避免出现写入乱码。参数值应与达梦的字符集类型保持一致。