版本:v4.17
达梦
版本说明
- 支持DM8版本的读取和写入
读取模式
| 读取方式 | 场景 | 权限要求 | 对应功能 |
|---|---|---|---|
| JDBC | 批量同步场景,全量初始化 | 要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例:SequenceID),更新时间戳(例: UpdatedAt); 需要相关视图和表的 SELECT 权限 | 1、选表以及视图,读取数据 2、任务运行,读取权限 |
| LOGMNR | 增量监听场景 | 需要安装 DBMS_LOGMNR 需要开启归档日志模式(设置 INI 参数 ARCH_INI 为 1) 需要开启在日志中记录逻辑操作的功能(设置 INI 参数 RLOG_APPEND_LOGIC 为 1、2 ) 相关视图和表的 V$ARCHIVED_LOG、V$LOGMNR_CONTENTS、v$rlog、ALL_OBJECTS、all_tab_columns、dba_objects、v$lock、v$dm_ini权限 | 1、binlog 增量读取 2、任务运行,读取权限 |
写入方式
| 写入方式 | 场景 | 权限要求 | 对应功能说明 |
|---|---|---|---|
| JDBC | 写入 | 需要授予 SELECT ON V_$SESSIONS 权限用于处理死锁导致的任务中断; CREATE、INSERT、UPDATE、DELETE、DROP、TRUNCATE 权限; | 1、创建表 2、任务运行,读取写入权限 3、选表,写入数据 4、清空目的地表 5、删除重建表,结构变化 |
节点特性
高可用
DM 数据守护(Data Watch)是一种集成化的高可用、高性能数据库解决方案,是数据库异地容灾的首选方案。通过部署 DM 数据守护,可以在硬件故障(如磁盘损坏)、自然灾害(地震、火灾)等极端情况下,避免数据损坏、丢失,保障数据安全,并且可以快速恢复数据库服务,满足用户不间断提供数据库服务的要求。与常规的数据库备份(Backup)、还原(Restore)技术相比,数据守护可以更快地恢复数据库服务。随着数据规模不断增长,通过还原手段恢复数据,往往需要数个小时、甚至更长时间,而数据守护基本不受数据规模的影响,只需数秒时间就可以将备库切换为主库对外提供数据库服务。DM 数据守护提供多种解决方案,可以配置成实时主备、MPP 主备、DMDSC 主备或读写分离集群,满足用户关于系统可用性、数据安全性、性能等方面的综合需求,有效降低总体投入,获得超值的投资回报。
DataPileline 支持DM 数据守护(Data Watch)高可用架构,任务链接的节点放生故障,无法连接时,DataPileline会自动切换至系统中预先配置好的高可用的其他节点,同时也支持手动切换。
高可用手动切换相关操作步骤
说明:
当无任务时,切换连接配置是无效的,新建任务会根据优先级判断。如果想看新建的任务会连接哪个节点,可以通过查看优先级确认。
- 在<数据节点> <添加节点>页面,添加多个连接配置
- 也可以在<数据节点><基本配置页面>编辑数据节点,增加多个连接配置。
- 添加或编辑数据节点后会自动生成优先级和回溯时长,可以通过<数据节点> <详情><基本配置><管理优先级>功能修改优先级。
- <数据节点> <详情><基本配置><切换连接配置>配置目标节点的,执行手动切换。
- <数据节点> <详情><基本配置><管理优先级>调整优先级。
- <数据节点> <详情><策略配置><连接切换策略>开启自动切换,配置自动切换检测频率。
添加达梦数据节点操作步骤
新建弹窗界面选择了达梦节点类型之后,显示达梦的基本信息配置模板:
- 版本:DM8
- 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或datapipeline.com
- 端口:输入连接数据节点的端口值,默认值为 5236。
- 数据库名称:要求连接数据库(Database)的名称,默认值为 PROD。
- 用户名和密码:输入可访问该数据节点的用户名和密码
- 认证类型:无、Kerberos、LDAP
- 选择 Kerberos 时
- 请上传 krb5.conf 配置文件
- 请上传达梦 Keytab 配置文件
- 请输入达梦 Principal
- 选择 LDAP 时,需要填写可访问该数据节点的用户名和密码
- 选择 Kerberos 时
- 连接参数:
3.7 升级 4.4 及以上版本后需要手动调整 charCode 参数的名称为 sessEncode,此参数的作用是避免出现写入乱码。参数值应与达梦的字符集类型保持一致。
| 版本 | 连接参数名 | 默认参数值 | 其他参数可选项 |
|---|---|---|---|
| 3.7 | charCode | GBK | |
| 4.4 及以上 | sessEncode | GBK |