版本:v4.16
版本要求
- JDBC 读取模式支持 5.2.01、5.2.02、5.2.03、6.1.01、6.1.02、6.1.03 集中式和分布式部署
- BINLOG 读取模式支持 5.2.01、5.2.02、5.2.03、6.1.01、6.1.02 集中式和分布式部署
- GoldenDB CDC 读取模式支持 6.1.03 分布式部署
读取方式
说明:
分布式部署模式下,对应delete会读取两遍,binlog中读出即为如此,这是截止到6.1.03版本的一个现象。
- JDBC 读取:
- 当您需要使用 JDBC 模式同步增量数据时,要求需要同步的表拥有增量识别字段。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新时间戳(例: UpdatedAt)
- GoldenDB CDC 读取:
- 请提前安装并配置 CDC 节点,详情请参见用户操作指南
- BINLOG_ROW_IMAGE = 'FULL'
- BINLOG 保留时间建议 >=72 小时
- BINLOG 读取:
- GOLDENDB BINLOG MODE = 'ROW'
- BINLOG_ROW_IMAGE = 'FULL'
- BINLOG 保留时间建议 >= 72 小时
| 读取方式 | 场景 | 权限要求 | 对应功能 |
|---|---|---|---|
| JDBC | 批量同步场景,全量初始化 | --赋值元数据库的查询权限GRANT SELECT ON information_schema.tables,information_schema.collation_character_set_applicability,information_schema.statistics,information_schema.schemata,information_schema.columns TO 'dp_user'@'%'; -- 赋值需要同步的数据库的查询权限GRANT SELECT ON your_database_name.* TO 'dp_user'@'%'; | 1、选表以及视图,读取数据 2、任务运行,读取权限 |
| BINLOG | 增量监听场景 | --赋值元数据库的查询权限GRANT SELECT ON information_schema.tables,information_schema.collation_character_set_applicability,information_schema.statistics,information_schema.schemata,information_schema.columns TO 'dp_user'@'%'; -- 赋值需要同步的数据库的查询权限GRANT SELECT ON your_database_name. TO 'user_name'@'%'; -- 增量同步数据复制权限; GRANT REPLICATION SLAVE, REPLICATION CLIENT ON .* TO 'user_name'@'%'; | 1、binlog 增量读取 2、任务运行,读取权限 |
| GoldenDB CDC | 增量监听场景 | --赋值元数据库的查询权限GRANT SELECT ON information_schema.tables,information_schema.collation_character_set_applicability,information_schema.statistics,information_schema.schemata,information_schema.columns TO 'dp_user'@'%'; -- 赋值需要同步的数据库的查询权限GRANT SELECT ON your_database_name. TO 'dp_user'@'%'; -- 增量同步数据复制权限; GRANT REPLICATION SLAVE, REPLICATION CLIENT ON .* TO 'user_name'@'%'; | 1、binlog 增量读取 2、任务运行,读取权限 |
节点特性
数据类型
说明
oracle模式下建表/结构变化针对varchar2类型实际数据库内建出来的是varbinary,为goldendb自身特性
| 序号 | 官网支持类型 | DP定义的类型 | 作为源支持情况 |
|---|---|---|---|
| 1 | INT | INT(p) INT UNSIGNED(p) | ✔️ |
| 2 | SMALLINT | SMALLINT(p) SMALLINT UNSIGNED(p) | ✔️ |
| 3 | BIGINT | BIGINT(p) BIGINT UNSIGNED(p) | ✔️ |
| 4 | TINYINT | TINYINT(p) TINYINT UNSIGNED(p) | ✔️ |
| 5 | MEDIUMINT | MEDIUMINT(p) MEDIUMINT UNSIGNED(p) | ✔️ |
| 6 | INTEGER | INTEGER(p) INTEGER UNSIGNED(p) | ✔️ |
| 7 | FLOAT(5) | FLOAT(p, s) FLOAT UNSIGNED(p, s) | ✔️ |
| 8 | DOUBLE | DOUBLE(p, s) DOUBLE UNSIGNED(p, s) | ✔️ |
| 9 | DECIMAL(n,s) | DECIMAL(p, s) DECIMAL(p, s) UNSIGNED | ✔️ |
| 10 | NUMERIC(n,s) | NUMERIC(p, s) NUMERIC(p, s) UNSIGNED | ✔️ |
| 11 | NUMBER(n,s) | NUMBER(p, s) NUMBER(p, s) UNSIGNED | ✔️ |
| 12 | DEC(n,s) | DEC(p, s) DEC(p, s) UNSIGNED | ✔️ |
| 13 | DATE | DATE | ✔️ |
| 14 | DATETIME | DATETIME(p) | ✔️ |
| 15 | TIME | TIME(p) | ✔️ |
| 16 | TIMESTAMP | TIMESTAMP(p) | ✔️ |
| 17 | YEAR | YEAR(p) | ✔️ |
| 18 | VARCHAR(10) | VARCHAR(p) | ✔️ |
| 19 | CHAR(10) | CHAR(p) | ✔️ |
| 20 | BLOB | BLOB | ✔️ |
| 21 | LONGBLOB | LONGBLOB | ✔️ |
| 22 | TINYBLOB | TINYBLOB | ✔️ |
| 23 | MEDIUMBLOB | MEDIUMBLOB | ✔️ |
| 24 | CLOB | CLOB | ✔️ |
| 25 | BINARY | BINARY(p) | ✔️ |
| 26 | VARBINARY | VARBINARY(p) | ✔️ |
| 27 | LONGTEXT | LONGTEXT | ✔️ |
| 28 | TINYTEXT | TINYTEXT | ✔️ |
| 29 | MEDIUMTEXT | MEDIUMTEXT | ✔️ |
| 30 | ENUM | ENUM | ✔️ |
| 31 | TEXT | TEXT | ✔️ |
| 32 | SET | SET | ✔️ |
| 33 | VARCHAR2 | VARCHAR2 VARCHAR2(size CHAR) | ✔️ |
| 34 | JSON | JSON | ✔️ |
表
源
支持读取普通表、分区表、复制表
不支持多级分区表
不支持分库建库
不支持多级分片表
各类表不支持分区结构变化,不支持压缩属性、列加密属性
视图
源
不支持读取普通视图
索引
当前支持查看索引
| 索引类型 | 索引存储方式 | 排序 |
|---|---|---|
| 普通索引 | Btree | 支持配置 |
| 唯一索引 | Btree | 支持配置 |
| 主键索引 | Btree | 不支持配置,默认为升序 |
字符集
- 字符集支持:latin1、gbk、utf8、utf8mb4和gb18030。
- 字符序支持按照二进制值进行,即对应上述四种字符集的字符序分别为latin1_bin、gbk_bin、utf8_bin、utf8mb4_bin和gb18030_bin。
DML
读取
| 读取模式 | DML识别 | 捕获信息 | 限制 |
|---|---|---|---|
| JDBC | INSERT | 源端读取支持的所有字段类型 | 【限制】不支持列筛选 |
| BINLOG | INSERT | 源端读取支持的所有字段类型 | 【限制】不支持列筛选 |
| UPDATE | before:主键 after:支持的所有字段 | ||
| DELETE | before:主键 after:null | ||
| GoldenDB CDC | INSERT | 源端读取支持的所有字段类型 | 【限制】不支持列筛选 |
| UPDATE | before:主键 after:支持的所有字段 | ||
| DELETE | before:主键 after:null |
DDL
读取
- 对于JDBC的方式,实际上DDL是靠结构比对捕获的,因此,需要增量数据触发diff。
- 对于BINLOG的解析方式,可以在日志中获取到对应的DDL,并且支持连续DDL的处理。
- 处理过程中包含大量协调,因此不支持同时进行多个DDL操作,需要等一个DDL操作处理完毕后,再进行下一次操作
- 由于未接入DDL改造后逻辑,因此异常操作均不支持(仅支持增量过程中,增量暂停后再重启识别暂停过程内的结构变化)
- 不论是否包含并发分区,不支持在全量读写未完成时进行结构变化操作
- 不支持分区结构变化
| DDL类型 | 读取方式 | 是否支持获取 | 上游触发场景 | 支持处理的内容 |
|---|---|---|---|---|
| add column | JDBC | ✔️ | 1. 源端加列 2. 源端rename列–rename后的列识别为新增列 【限制】不支持移位DDL,即不支持after,first等 | 名称、类型、精度、标度、默认值、注释、not null |
| BINLOG/GoldenDB CDC | ✔️ | 【限制】不支持移位DDL,即当加列的DDL中有after,first等关键字后,该关键字会被过滤掉。 | 名称、类型、精度、标度、默认值、注释、not null | |
| drop column | JDBC | ✔️ | 1. 源端加列 2. 源端rename列–rename后的列识别为新增列 | |
| BINLOG/GoldenDB CDC | ✔️ | |||
| modify column | JDBC | ✔️ | 源端修改类型,精度,标度 | 类型、精度、标度、默认值、注释、not null |
| BINLOG/GoldenDB CDC | ✔️ | 源端修改类型,精度,标度 | 类型、精度、标度、默认值、注释、not null | |
| rename column | JDBC | ❌ | 【限制】不支持,会识别为删除列+新增列(风险❗️) | |
| BINLOG/GoldenDB CDC | ✔️ | |||
| drop table | JDBC | ✔️ | 源表被删除或者源表被rename 【说明】当JDBC读取的时候,会检测到待同步的表不存在。 | |
| BINLOG/GoldenDB CDC | ✔️ | |||
| truncate table | JDBC | ❌ | 不支持 | |
| BINLOG/GoldenDB CDC | ✔️ | |||
| create table | JDBC | ❌ | 当前不支持 | |
| BINLOG/GoldenDB CDC | ✔️ | **** | ||
| rename table | JDBC | ❌ | 不支持,会被识别为drop table | |
| BINLOG/GoldenDB CDC | ✔️ | 能识别,任务会暂停 |
添加GoldenDB 数据节点操作步骤
新建弹窗界面选择了 GoldenDB 节点类型之后,显示 GoldenDB 的基本信息配置模板:
- 版本:GoldenDB 5.2.01、GoldenDB 5.2.02、GoldenDB 5.2.03、GoldenDB 6.1.01、GoldenDB 6.1.02、GoldenDB 6.1.03。
- 部署模式:选择集群为分布式部署,或集中部署
- 服务器地址:输入计算节点的域名或 IP 地址。
- 端口:输入连接计算节点的端口值。
- 用户名/密码:输入可访问该数据节点的用户名和密码
- GoldenDB 6.1.02、GoldenDB 6.1.03节点支持使用GoldenDB CDC模式采集增量数据,当您输入此版本后,请在「CDC配置」中输入CDC连接信息。
- 服务器地址:输入CDC节点的域名或 IP 地址。
- 端口号:输入连接CDC节点的端口值。
- 用户名/密码:输入可访问该CDC节点的用户名和密码
注意事项
警告
- GoldenDB CDC采集模式下,不支持采集以下内容:
- 不支持MYISAM表的DDL。
- 不支持非ROW格式的BINLOG。
- 不支持串行化DDL。