版本:v4.19
版本说明
- 支持 TDSQL MYSQL 产品版本 10.3.19.x、10.3.20.x、10.3.21.x、10.3.22.x 内核版本 MYSQL 5.7 和 MYSQL 8.0
- 支持集中式部署和分布式部署
约束及限制
- DDL约束 :由于该节点是分布式节点,因此处理过程中包含DDL的分布式协调工作,因此不支持同时进行多个DDL操作,需要等一个DDL操作处理完毕后,再进行下一次操作。
- TDSQL MYSQL V10.3.19.x版本,当为二级分区表,且一级为hash分区情况下,不支持数字开始的表名。此为该数据库版本的使用限制,
- 当节点对应表内注释包含中文且proxy版本过时会产生中文乱码问题,此时可以通过添加连接参数characterEncoding= utf-8进行避免
- 不支持对表的索引操作,不支持添加列在原有列中间,即不可改变表中原有列的索引值
- 已知问题,MySQL系不支持添加列且列的字段类似是char或者varchar时,增加默认值。策略设置页面建议修改例如:ALTER TABLE
dp_test2.819jq_single_tbl_1_pk ADD COLUMN idcard1 varchar(30) default 'def'; - 重命名表结构变化,只会打印日志,不会包含统计信息,mysql也是如此
- unsinged类型无法判断,因此源端和目标端精度一致,若为默认映射会进入错误队列,可通过人工修改进行避免
读取方式
| 读取方式 | 场景 | 权限要求 | 对应功能 |
|---|---|---|---|
| JDBC | 批量同步、全量初始化 | --赋值元数据库的查询权限GRANT SELECT ON information_schema. TO 'user'@'%'; -- 赋值需要同步的数据库的查询权限GRANT SELECT ON your_database_name. TO 'user_name'@'%'; | 1、选表,读取数据 2、任务运行,读取权限 |
| BINLOG | 增量读取 | --赋值元数据库的查询权限GRANT SELECT ON information_schema. TO 'user'@'%'; -- 赋值需要同步的数据库的查询权限GRANT SELECT ON your_database_name. TO 'user_name'@'%'; -- 增量同步数据复制权限; GRANT REPLICATION SLAVE, REPLICATION CLIENT ON . TO 'user_name'@'%'; | 1、读取日志 2、读取对象结构 |
写入方式
| 写入方式 | 场景 | 权限要求 | 对应功能说明 |
|---|---|---|---|
| JDBC | 写入 | -- 授予SELECT、INSERT、UPDATE、DELETE权限 GRANT SELECT, INSERT, UPDATE, DELETE ON your_database_name. TO 'user_name'@'%'; -- 授予DROP、INDEX、ALTER、CREATE权限(这些权限通常需要在数据库级别授予) GRANT DROP, INDEX, ALTER, CREATE ON your_database_name. TO 'user_name'@'%'; | 1、创建表 2、任务运行,读取写入权限 3、选表,写入数据 4、清空目的地表 5、删除重建表,结构变化 |
节点特性
表
源
支持读取普通表、分区表、复制表
目的地
支持写入普通表、分区表、复制表
支持创建普通表、分区表、复制表
视图
源
支持读取普通视图
目的地
目的地不支持写入视图
数据类型
| 官网支持类型 | DP定义的类型 | 读取 | 写入 | 创建 |
|---|---|---|---|---|
| BIGINT | BIGINT(p) | ✔️ | ✔️ | ✔️ |
| BIGINT | BIGINT UNSIGNED(p) | ✔️ | ✔️ | ✔️ |
| INT | INT(p) | ✔️ | ✔️ | ✔️ |
| INT | INT UNSIGNED(p) | ✔️ | ✔️ | ✔️ |
| TINYINT | TINYINT(p) | ✔️ | ✔️ | ✔️ |
| TINYINT | TINYINT UNSIGNED(p) | ✔️ | ✔️ | ✔️ |
| SMALLINT | SMALLINT(p) | ✔️ | ✔️ | ✔️ |
| SMALLINT | SMALLINT UNSIGNED(p) | ✔️ | ✔️ | ✔️ |
| BIT(p) | ✔️ | ✔️ | ✔️ | |
| BLOB | ✔️ | ✔️ | ✔️ | |
| BOOLEAN | ✔️ | ✔️ | ✔️ | |
| DATE | DATE | ✔️ | ✔️ | ✔️ |
| DATETIME | DATETIME(p) | ✔️ | ✔️ | ✔️ |
| DECIMAL(M,D) | DECIMAL(p, s) | ✔️ | ✔️ | ✔️ |
| DECIMAL(M,D) | DECIMAL(p, s) UNSIGNED | ✔️ | ✔️ | ✔️ |
| DOUBLE | DOUBLE(p, s) | ✔️ | ✔️ | ✔️ |
| DOUBLE | DOUBLE UNSIGNED(p, s) | ✔️ | ✔️ | ✔️ |
| FLOAT(M,D) | FLOAT(p, s) | ✔️ | ✔️ | ✔️ |
| FLOAT(M,D) | FLOAT UNSIGNED(p, s) | ✔️ | ✔️ | ✔️ |
| TIME | TIME(p) | ✔️ | ✔️ | ✔️ |
| TIMESTAMP | TIMESTAMP(p) | ✔️ | ✔️ | ✔️ |
| TEXT | ✔️ | ✔️ | ✔️ | |
| VARCHAR | VARCHAR(p) | ✔️ | ✔️ | ✔️ |
| YEAR | YEAR(p) | ✔️ | ✔️ | ✔️ |
| TINYTEXT | TINYTEXT | ✔️ | ✔️ | ✔️ |
| MEDIUMTEXT | MEDIUMTEXT | ✔️ | ✔️ | ✔️ |
| LONGTEXT | LONGTEXT | ✔️ | ✔️ | ✔️ |
| TINYBLOB | TINYBLOB | ✔️ | ✔️ | ✔️ |
| MEDIUMBLOB | MEDIUMBLOB | ✔️ | ✔️ | ✔️ |
| LONGBLOB | LONGBLOB | ✔️ | ✔️ | ✔️ |
| MEDIUMINT | MEDIUMINT(p) | ✔️ | ✔️ | ✔️ |
| MEDIUMINT | MEDIUMINT UNSIGNED(p) | ✔️ | ✔️ | ✔️ |
| CHAR | CHAR(p) | ✔️ | ✔️ | ✔️ |
| BINARY | BINARY(p) | ✔️ | ✔️ | ✔️ |
| VARBINARY | VARBINARY(p) | ✔️ | ✔️ | ✔️ |
| JSON | JSON | ✔️ | ✔️ | ✔️ |
| ENUM | ENUM | ✔️ | ✔️ | ✔️ |
| SET | SET | ✔️ | ✔️ | ✔️ |
| GEOMETRY | GEOMETRY | ✔️ | ✔️ | ❌ |
| POINT | POINT | ✔️ | ✔️ | ❌ |
| LINESTRING | LINESTRING | ✔️ | ✔️ | ❌ |
| POLYGON | POLYGON | ✔️ | ✔️ | ❌ |
| MULTIPOINT | MULTIPOINT | ✔️ | ✔️ | ❌ |
| MULTILINESTRING | MULTILINESTRING | ✔️ | ✔️ | ❌ |
| MULTIPOLYGON | MULTIPOLYGON | ✔️ | ✔️ | ❌ |
| GEOMETRYCOLLECTION | GEOMETRYCOLLECTION | ✔️ | ✔️ | ❌ |
| REAL | ❌ | ❌ | ❌ | |
| NUMERIC | ❌ | ❌ | ❌ |
DDL
读取
| 对比 | JDBC | Binlog解析 |
|---|---|---|
| DDL发现原理 | 靠不同数据之间的结构比对。 注意第一条数据是和页面的配置进行比对。 | 靠日志解析DDL事件,并且支持连续DDL处理 |
| 支持的范围 | 通过比对,可以发现加列,删列,以及字段属性变化,仅包括字段类型,精度,标度变化 | 加列,删列,重命名列以及字段其他属性变化,包括字段类型,字段精度,字段标度,字符集(charset),字段值是否允许为null,默认值,字段注释(comment) |
| 移位DDL,first,after等 | 仅能知道加列,不会对比位置 | 由于下游可能是异构数据库,因此会将first和after进行过滤 |
| DDL类型 | 读取方式 | 是否支持获取 | 上游触发场景 | 支持处理的内容 | 注意内容 |
|---|---|---|---|---|---|
| add column | JDBC | ✔️ | 1. 源端加列 2. 源端rename列–rename后的列识别为新增列 【限制】不支持移位DDL,即不支持after,first等 | 名称、类型、精度、标度 | 1)名称的开始和结束有多个边界符则会统一去掉,并且必须对称<br/>比如alter table A add column ```col_1``` varchar(128) defualt '默认值';可以解析<br/>比如alter table A add column ```col_1 varchar(128) defualt '默认值';由于```col_1`左右的边界符不对称,可能无法解析成功;2)名字不建议有汉字,否则可能解析异常; 3)名字不建议有特殊字符,包含但不限于@,#,¥,$,%,^, …,*,( , ),~, ·,?, /, <, 《,》,>, [ , { , } , ] , 、,, |
| binlog | ✔️ | 【限制】不支持移位DDL,即当加列的DDL中有after,first等关键字后,执行的时候,仅会将增加的字段,根据策略执行。 | 名称、类型、精度、标度、默认值、注释、not null | ||
| drop column | JDBC | ✔️ | 1. 源端加列 2. 源端rename列–rename前的列diff后识别为删除列 | ||
| binlog | ✔️ | 日志解析 | |||
| modify column | JDBC | ✔️ | 源端修改类型,精度,标度 | 类型、精度、标度 | 同add column 注意事项 |
| binlog | ✔️ | 源端修改类型,精度,标度 | 类型、精度、标度、默认值、注释、not null | ||
| change column | JDBC | ✔️ | 如果列名被修改。 【限制】不支持,会识别为删除列+新增列(风险❗️) 会按照加列和删列的ddl策略处理。如果结构变化策略不同,比如一个暂停,一个执行,先后顺序并不保障。但是会保障最终一致性,即最终两个策略都会被应用。 | 类型、精度、标度 | (风险❗️),新增列的类型,精度,标度都可以识别,但是如果有历史数据切记谨慎操作,否则将丢数据; |
| ✔️ | 如果列名未修改 等同于modify column | ||||
| binlog | ✔️ | 如果列名被修改。 识别为change column,将按照rename 的ddl执行 如果列名未修改 等同于modify column | 类型、精度、标度、默认值、注释、not null | ||
| rename column (MySQL 8.0以后支持语法) | JDBC | ❌ | 【限制】不支持,会识别为删除列+新增列(风险❗️) | (风险❗️),新增列的类型,精度,标度都可以识别,但是如果有历史数据切记谨慎操作,否则将丢数据; | |
| binlog | ✔️ | 日志解析 | |||
| drop table | JDBC | ✔️ | 源表被删除或者源表被rename 【说明】当JDBC读取的时候,会检测到待同步的表不存在。 | ||
| binlog | ✔️ | ||||
| truncate table | JDBC | ❌ | 不支持 | ||
| binlog | ✔️ | ||||
| create table | JDBC | ❌ | 当前不支持 | ||
| binlog | ✔️ | ||||
| rename table | JDBC | ❌ | 不支持,会被识别为drop table | ||
| binlog | ✔️ | 能识别,任务会暂停 |
注意
提示
如果任务进入到增加阶段(binlog),此时将任务暂停,然后对任务进行了一系列的结构变化,并且在链路的映射里更新并且应用了这些变化,此时在激活任务的时候,建议使用全量初始化,不要直接使用暂停时进度。因为使用暂停时进度,根据进度点会推进对应的结构变化,但是实际上这些结构变化有可能在映射上的源表上已经被应用过了。这样如果结构无法兼容,可能会造成数据结构错误。
写入
| DDL类型 | 是否支持 | 限制 |
|---|---|---|
| truncate table | ✔️ | |
| drop table | ✔️ | |
| create table | ✔️ | 在目标转转化为建表语句 1)表名要求相同列名要求相同; 2)每个列会识别 列名,列类型,精度,标度,是否允许为null,字符集,注释 3)可以识别表的字符集,注释 |
| rename table | ❌ | |
| add column | ✔️ | 【限制】不支持移位DDL,即不支持after,first等 |
| drop column | ✔️ | |
| modify column | ✔️ | 【限制】1、其他未支持的属性,结构变化后映射可能会有diff |
| rename column | ✔️ | 【限制】其他未支持的属性,结构变化后映射可能会有diff |
高可用
DataPipeline 可以识别两种高可用架构的节点连通性校验失败后的切换。
- 物理复制,主从复制架构,特点是从库和主库使用的是同一套【唯一事务识别号】(GTID)
切换原理:发生高可用切换时,DataPipeline 会记录原数据节点的解析断点即唯一事务识别号,由于是物理复制,从库有相同的唯一事务识别号作为新的解析起点。
- 逻辑复制,特点是备库在回放主库的日志时,重新生成了一套【唯一事务识别号】(GTID)
切换原理:由于是逻辑复制,从库没有相同的唯一事务识别号。发生高可用切换时,DataPipeline 会记录原数据节点的解析断点即唯一事务识别号,将其转换为对应时间戳,再将时间戳转为对应的从库的唯一事务识别号为作为新的解析起点。
关于【回溯时长】的说明
由于逻辑复制无法使用唯一事务识别号作为切换后的准确的断点续传依据,为避免数据丢失,开放一个入口让用户可以设置一个时长,用于基于当前记录的切换时间点,往前回溯指定时长的日志。回溯时长默认为0,用户可以通过<切换连接配置>和<管理优先级>两个功能对回溯时长重新设置。当回溯时长>0时,在数据节点发生高可用切换后,
高可用手动切换相关操作步骤
- 在<数据节点> <添加节点>页面,添加多个连接配置,目前多个连接配置的部署架构必须相同。
- 也可以在<数据节点><基本配置页面>编辑数据节点,增加多个连接配置。
- 添加或编辑数据节点后会自动生成优先级和回溯时长,可以通过<数据节点> <详情><基本配置><管理优先级>功能修改优先级和回溯时长。
- <数据节点> <详情><基本配置><切换连接配置>配置目标节点的回溯时长,执行手动切换。
- <数据节点> <详情><基本配置><管理优先级>调整优先级和回溯时长。
- <数据节点> <详情><策略配置><连接切换策略>开启自动切换,配置自动切换检测频率。
添加 TDSQL MYSQL 节点操作步骤
新建弹窗界面选择了 TDSQL MYSQL 节点类型之后,显示 TDSQL MySQL 的基本信息配置模板:
连接配置:
- 名称:必须填写,50字符限制,是该数据源在 DataPipeline 的唯一标识,不允许重复
- 描述:选填
- 项目:必选,默认为「未分组」
- 类型:必选
- 版本:必选
- 时区:必选,默认是 +8:00,即东八区
- 部署模式:必选,可选集中部署、分布式部署。
- 注意:节点创建完成并保存后,部署模式不可修改
- 服务器地址:必填
- 端口:必填
- 数据库:必选,当您选择用户权限所有库时,在链路和任务中可以使用连接用户有权限的所有数据库;当您指定数据库后,在链路和任务中仅能使用指定的数据库
- 用户名:必填
- 密码:必填
- 通信加密方式:必填,默认不加密;可选SSL/TLS协议
- 连接参数:输入 TDSQL MYSQL JDBC 连接支持的所有连接参数