跳到主要内容
版本:v4.24

版本要求

  1. JDBC 读取模式支持 5.2.01、5.2.02、5.2.03、6.1.01、6.1.02、6.1.03 集中式和分布式部署
  2. BINLOG 读取模式支持 6.1.02 集中式和分布式部署
  3. GoldenDB CDC 读取模式支持 6.1.03 集中式和分布式部署
  4. JDBC 写入模式支持 6.1.02 集中式和分布式部署

读取方式

说明:

分布式部署模式下,对应delete会读取两遍,binlog中读出即为如此,这是截止到6.1.03版本的一个现象。

  1. JDBC 读取:
    • 当您需要使用 JDBC 模式同步增量数据时,要求需要同步的表拥有增量识别字段。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新时间戳(例: UpdatedAt)
  2. GoldenDB CDC 读取:
    • 请提前安装并配置 CDC 节点,详情请参见用户操作指南
    • BINLOG_ROW_IMAGE = 'FULL'
    • BINLOG 保留时间建议 >=72 小时
  3. BINLOG 读取:
    • GOLDENDB BINLOG MODE = 'ROW'
    • BINLOG_ROW_IMAGE = 'FULL'
    • BINLOG 保留时间建议 >= 72 小时
读取方式场景权限要求对应功能
JDBC批量同步场景,全量初始化--赋值元数据库的查询权限
GRANT SELECT ON information_schema.tables,information_schema.collation_character_set_applicability,information_schema.statistics,information_schema.schemata,information_schema.columns TO 'dp_user'@'%';
--赋值需要同步的数据库的查询权限
GRANT SELECT ON your_database_name.* TO 'dp_user'@'%';
1、选表以及视图,读取数据
2、任务运行,读取权限
BINLOG增量监听场景--赋值元数据库的查询权限
GRANT SELECT ON information_schema.tables,information_schema.collation_character_set_applicability,information_schema.statistics,information_schema.schemata,information_schema.columns TO 'dp_user'@'%';
--赋值需要同步的数据库的查询权限
GRANT SELECT ON your_database_name. TO 'user_name'@'%';
-- 增量同步数据复制权限; GRANT REPLICATION SLAVE, REPLICATION CLIENT ON
.* TO 'user_name'@'%';
1、binlog 增量读取
2、任务运行,读取权限
GoldenDB CDC增量监听场景--赋值元数据库的查询权限
GRANT SELECT ON information_schema.tables,information_schema.collation_character_set_applicability,information_schema.statistics,information_schema.schemata,information_schema.columns TO 'dp_user'@'%';
--赋值需要同步的数据库的查询权限
GRANT SELECT ON your_database_name. TO 'dp_user'@'%';
-- 增量同步数据复制权限; GRANT REPLICATION SLAVE, REPLICATION CLIENT ON
.* TO 'user_name'@'%';
1、binlog 增量读取
2、任务运行,读取权限
写入方式场景权限要求对应功能
JDBC全量、增量数据写入+ SELECT ANY TABLE
+ INSERT ANY TABLE
+ UPDATE ANY TABL
+ DELETE ANY TABLE
+ ALTER ANY TABLE
+ CREATE ANY TABLE
+ CREATE ANY INDEX
+ DROP ANY TABLE
1. 创建表
2. 写入数据
3. 增量 DDL 以及 DML 执行

节点特性

数据类型​

说明

oracle模式下建表/结构变化针对varchar2类型实际数据库内建出来的是varbinary,为goldendb自身特性

序号官网支持类型DP定义的类型作为源支持情况
1INTINT(p)
INT UNSIGNED(p)
✔️
2SMALLINTSMALLINT(p)
SMALLINT UNSIGNED(p)
✔️
3BIGINTBIGINT(p)
BIGINT UNSIGNED(p)
✔️
4TINYINTTINYINT(p)
TINYINT UNSIGNED(p)
✔️
5MEDIUMINTMEDIUMINT(p)
MEDIUMINT UNSIGNED(p)
✔️
6INTEGERINTEGER(p)
INTEGER UNSIGNED(p)
✔️
7FLOAT(5)FLOAT(p, s)
FLOAT UNSIGNED(p, s)
✔️
8DOUBLEDOUBLE(p, s)
DOUBLE UNSIGNED(p, s)
✔️
9DECIMAL(n,s)DECIMAL(p, s)
DECIMAL(p, s) UNSIGNED
✔️
10NUMERIC(n,s)NUMERIC(p, s)
NUMERIC(p, s) UNSIGNED
✔️
11NUMBER(n,s)NUMBER(p, s)
NUMBER(p, s) UNSIGNED
✔️
12DEC(n,s)DEC(p, s)
DEC(p, s) UNSIGNED
✔️
13DATEDATE✔️
14DATETIMEDATETIME(p)✔️
15TIMETIME(p)✔️
16TIMESTAMPTIMESTAMP(p)✔️
17YEARYEAR(p)✔️
18VARCHAR(10)VARCHAR(p)✔️
19CHAR(10)CHAR(p)✔️
20BLOBBLOB✔️
21LONGBLOBLONGBLOB✔️
22TINYBLOBTINYBLOB✔️
23MEDIUMBLOBMEDIUMBLOB✔️
24CLOBCLOB✔️
25BINARYBINARY(p)✔️
26VARBINARYVARBINARY(p)✔️
27LONGTEXTLONGTEXT✔️
28TINYTEXTTINYTEXT✔️
29MEDIUMTEXTMEDIUMTEXT✔️
30ENUMENUM✔️
31TEXTTEXT✔️
32SETSET✔️
33VARCHAR2VARCHAR2
VARCHAR2(size CHAR)
✔️
34JSONJSON✔️

表​

源​

支持读取普通表、分区表、复制表

不支持多级分区表

不支持分库建库

不支持多级分片表

各类表不支持分区结构变化,不支持压缩属性、列加密属性

视图​

源​

不支持读取普通视图

索引​

当前支持查看索引

索引类型索引存储方式排序
普通索引Btree支持配置
唯一索引Btree支持配置
主键索引Btree不支持配置,默认为升序

字符集​

  • 字符集支持:latin1、gbk、utf8、utf8mb4和gb18030。
  • 字符序支持按照二进制值进行,即对应上述四种字符集的字符序分别为latin1_bin、gbk_bin、utf8_bin、utf8mb4_bin和gb18030_bin。

DML​

读取​

读取模式DML识别捕获信息限制
JDBCINSERT源端读取支持的所有字段类型【限制】不支持列筛选
BINLOGINSERT源端读取支持的所有字段类型【限制】不支持列筛选

UPDATEbefore:主键
after:支持的所有字段
DELETEbefore:主键
after:null
GoldenDB CDCINSERT源端读取支持的所有字段类型【限制】不支持列筛选

UPDATEbefore:主键
after:支持的所有字段
DELETEbefore:主键
after:null

DDL​

读取​

  1. 对于JDBC的方式,实际上DDL是靠结构比对捕获的,因此,需要增量数据触发diff。
  2. 对于BINLOG的解析方式,可以在日志中获取到对应的DDL,并且支持连续DDL的处理。
  3. 处理过程中包含大量协调,因此不支持同时进行多个DDL操作,需要等一个DDL操作处理完毕后,再进行下一次操作
    1. 由于未接入DDL改造后逻辑,因此异常操作均不支持(仅支持增量过程中,增量暂停后再重启识别暂停过程内的结构变化)
    2. 不论是否包含并发分区,不支持在全量读写未完成时进行结构变化操作
  4. 不支持分区结构变化
DDL类型读取方式是否支持获取上游触发场景支持处理的内容
add column
JDBC✔️1. 源端加列
2. 源端rename列–rename后的列识别为新增列
【限制】不支持移位DDL,即不支持after,first等
名称、类型、精度、标度、默认值、注释、not null
BINLOG/GoldenDB CDC✔️【限制】不支持移位DDL,即当加列的DDL中有after,first等关键字后,该关键字会被过滤掉。名称、类型、精度、标度、默认值、注释、not null
drop columnJDBC✔️1. 源端加列
2. 源端rename列–rename后的列识别为新增列
BINLOG/GoldenDB CDC✔️
modify columnJDBC✔️源端修改类型,精度,标度类型、精度、标度、默认值、注释、not null
BINLOG/GoldenDB CDC✔️源端修改类型,精度,标度类型、精度、标度、默认值、注释、not null
rename column
JDBC❌【限制】不支持,会识别为删除列+新增列(风险❗️)
BINLOG/GoldenDB CDC✔️
drop tableJDBC✔️源表被删除或者源表被rename
【说明】当JDBC读取的时候,会检测到待同步的表不存在。
BINLOG/GoldenDB CDC✔️
truncate tableJDBC❌不支持
BINLOG/GoldenDB CDC✔️
create tableJDBC❌当前不支持
BINLOG/GoldenDB CDC✔️****
rename tableJDBC❌不支持,会被识别为drop table
BINLOG/GoldenDB CDC✔️能识别,任务会暂停

添加GoldenDB 数据节点操作步骤

新建弹窗界面选择了 GoldenDB 节点类型之后,显示 GoldenDB 的基本信息配置模板:

  • 版本:GoldenDB 5.2.01、GoldenDB 5.2.02、GoldenDB 5.2.03、GoldenDB 6.1.01、GoldenDB 6.1.02、GoldenDB 6.1.03。
  • 部署模式:选择集群为分布式部署,或集中部署
  • 服务器地址:输入计算节点的域名或 IP 地址。
  • 端口:输入连接计算节点的端口值。
  • 用户名/密码:输入可访问该数据节点的用户名和密码
  • GoldenDB 6.1.02、GoldenDB 6.1.03节点支持使用GoldenDB CDC模式采集增量数据,当您输入此版本后,请在「CDC配置」中输入CDC连接信息。
    • 服务器地址:输入CDC节点的域名或 IP 地址。
    • 端口号:输入连接CDC节点的端口值。
    • 用户名/密码:输入可访问该CDC节点的用户名和密码

注意事项

警告
  • GoldenDB CDC采集模式下,不支持采集以下内容:
    • 不支持MYISAM表的DDL;
    • 不支持非ROW格式的BINLOG;
    • 不支持串行化DDL。
  • GoldenDB BinLog 采集模式下,不支持采集以下内容:
    • 不支持串行化DDL。
  • 当 GoldenDB 作为数据同步源节点,且 GoldenDB 的部署方式为分布式时,需要注意「无主键表的问题」:
    • 问题:当源表不存在主键时,GoldenDB 分布式会自动添加隐藏列作为主键列,此时表中肯定存在唯一索引(分布式节点特性),因此在不做任何处理的情况下,直接进行新建目的地表的表和字段映射后, 执行创建表操作会导致DataPipeline 目的地表创建失败。
    • 原因:DataPipeline 会识别到源表中的隐藏主键列并由此生成建表语句,而在字段映射中不存在该隐藏列,因此会出现建表失败的问题。
    • 解决方式:用户可以通过 「语义映射设置」功能,在「索引映射」中设置 唯一索引 映射为 「主键」,当字段映射中存在主键字段的映射配置后,DataPipeline 则不会将源表的隐藏主键列写入建表语句中