版本:v4.15
版本说明
- 支持 TDSQL MYSQL 产品版本 10.3.19.x、10.3.20.x、10.3.21.x、10.3.22.x 内核版本 MYSQL 5.7 和 MYSQL 8.0
- 支持集中式部署和分布式部署
约束及限制
- DDL约束 :由于该节点是分布式节点,因此处理过程中包含DDL的分布式协调工作,因此不支持同时进行多个DDL操作,需要等一个DDL操作处理完毕后,再进行下一次操作。
- TDSQL MYSQL V10.3.19.x版本,当为二级分区表,且一级为hash分区情况下,不支持数字开始的表名。此为该数据库版本的使用限制,
- 当节点对应表内注释包含中文且proxy版本过时会产生中文乱码问题,此时可以通过添加连接参数characterEncoding= utf-8进行避免
- 不支持对表的索引操作,不支持添加列在原有列中间,即不可改变表中原有列的索引值
- 已知问题,MySQL系不支持添加列且列的字段类似是char或者varchar时,增加默认值。策略设置页面建议修改例如:ALTER TABLE
dp_test2.819jq_single_tbl_1_pk ADD COLUMN idcard1 varchar(30) default 'def'; - 重命名表结构变化,只会打印日志,不会包含统计信息,mysql也是如此
- unsinged类型无法判断,因此源端和目标端精度一致,若为默认映射会进入错误队列,可通过人工修改进行避免
读取方式
| 读取方式 | 场景 | 权限要求 | 对应功能 |
|---|---|---|---|
| JDBC | 批量同步、全量初始化 | --赋值元数据库的查询权限GRANT SELECT ON information_schema. TO 'user'@'%'; -- 赋值需要同步的数据库的查询权限GRANT SELECT ON your_database_name. TO 'user_name'@'%'; | 1、选表,读取数据 2、任务运行,读取权限 |
| BINLOG | 增量读取 | --赋值元数据库的查询权限GRANT SELECT ON information_schema. TO 'user'@'%'; -- 赋值需要同步的数据库的查询权限GRANT SELECT ON your_database_name. TO 'user_name'@'%'; -- 增量同步数据复制权限; GRANT REPLICATION SLAVE, REPLICATION CLIENT ON . TO 'user_name'@'%'; | 1、读取日志 2、读取对象结构 |
写入方式
| 写入方式 | 场景 | 权限要求 | 对应功能说明 |
|---|---|---|---|
| JDBC | 写入 | -- 授予SELECT、INSERT、UPDATE、DELETE权限 GRANT SELECT, INSERT, UPDATE, DELETE ON your_database_name. TO 'user_name'@'%'; -- 授予DROP、INDEX、ALTER、CREATE权限(这些权限通常需要在数据库级别授予) GRANT DROP, INDEX, ALTER, CREATE ON your_database_name. TO 'user_name'@'%'; | 1、创建表 2、任务运行,读取写入权限 3、选表,写入数据 4、清空目的地表 5、删除重建表,结构变化 |
节点特性
表
源
支持读取普通表、分区表、复制表
目的地
支持写入普通表、分区表、复制表
支持创建普通表、分区表、复制表
视图
源
支持读取普通视图
目的地
目的地不支持写入视图
数据类型
| 官网支持类型 | DP定义的类型 | 读取 | 写入 | 创建 |
|---|---|---|---|---|
| BIGINT | BIGINT(p) | ✔️ | ✔️ | ✔️ |
| BIGINT | BIGINT UNSIGNED(p) | ✔️ | ✔️ | ✔️ |
| INT | INT(p) | ✔️ | ✔️ | ✔️ |
| INT | INT UNSIGNED(p) | ✔️ | ✔️ | ✔️ |
| TINYINT | TINYINT(p) | ✔️ | ✔️ | ✔️ |
| TINYINT | TINYINT UNSIGNED(p) | ✔️ | ✔️ | ✔️ |
| SMALLINT | SMALLINT(p) | ✔️ | ✔️ | ✔️ |
| SMALLINT | SMALLINT UNSIGNED(p) | ✔️ | ✔️ | ✔️ |
| BIT(p) | ✔️ | ✔️ | ✔️ | |
| BLOB | ✔️ | ✔️ | ✔️ | |
| BOOLEAN | ✔️ | ✔️ | ✔️ | |
| DATE | DATE | ✔️ | ✔️ | ✔️ |
| DATETIME | DATETIME(p) | ✔️ | ✔️ | ✔️ |
| DECIMAL(M,D) | DECIMAL(p, s) | ✔️ | ✔️ | ✔️ |
| DECIMAL(M,D) | DECIMAL(p, s) UNSIGNED | ✔️ | ✔️ | ✔️ |
| DOUBLE | DOUBLE(p, s) | ✔️ | ✔️ | ✔️ |
| DOUBLE | DOUBLE UNSIGNED(p, s) | ✔️ | ✔️ | ✔️ |
| FLOAT(M,D) | FLOAT(p, s) | ✔️ | ✔️ | ✔️ |
| FLOAT(M,D) | FLOAT UNSIGNED(p, s) | ✔️ | ✔️ | ✔️ |
| TIME | TIME(p) | ✔️ | ✔️ | ✔️ |
| TIMESTAMP | TIMESTAMP(p) | ✔️ | ✔️ | ✔️ |
| TEXT | ✔️ | ✔️ | ✔️ | |
| VARCHAR | VARCHAR(p) | ✔️ | ✔️ | ✔️ |
| YEAR | YEAR(p) | ✔️ | ✔️ | ✔️ |
| TINYTEXT | TINYTEXT | ✔️ | ✔️ | ✔️ |
| MEDIUMTEXT | MEDIUMTEXT | ✔️ | ✔️ | ✔️ |
| LONGTEXT | LONGTEXT | ✔️ | ✔️ | ✔️ |
| TINYBLOB | TINYBLOB | ✔️ | ✔️ | ✔️ |
| MEDIUMBLOB | MEDIUMBLOB | ✔️ | ✔️ | ✔️ |
| LONGBLOB | LONGBLOB | ✔️ | ✔️ | ✔️ |
| MEDIUMINT | MEDIUMINT(p) | ✔️ | ✔️ | ✔️ |
| MEDIUMINT | MEDIUMINT UNSIGNED(p) | ✔️ | ✔️ | ✔️ |
| CHAR | CHAR(p) | ✔️ | ✔️ | ✔️ |
| BINARY | BINARY(p) | ✔️ | ✔️ | ✔️ |
| VARBINARY | VARBINARY(p) | ✔️ | ✔️ | ✔️ |
| JSON | JSON | ✔️ | ✔️ | ✔️ |
| ENUM | ENUM | ✔️ | ✔️ | ✔️ |
| SET | SET | ✔️ | ✔️ | ✔️ |
| GEOMETRY | GEOMETRY | ✔️ | ✔️ | ❌ |
| POINT | POINT | ✔️ | ✔️ | ❌ |
| LINESTRING | LINESTRING | ✔️ | ✔️ | ❌ |
| POLYGON | POLYGON | ✔️ | ✔️ | ❌ |
| MULTIPOINT | MULTIPOINT | ✔️ | ✔️ | ❌ |
| MULTILINESTRING | MULTILINESTRING | ✔️ | ✔️ | ❌ |
| MULTIPOLYGON | MULTIPOLYGON | ✔️ | ✔️ | ❌ |
| GEOMETRYCOLLECTION | GEOMETRYCOLLECTION | ✔️ | ✔️ | ❌ |
| REAL | ❌ | ❌ | ❌ | |
| NUMERIC | ❌ | ❌ | ❌ |
高可用
DataPipeline 可以识别两种高可用架构的节点连通性校验失败后的切换。
- 物理复制,主从复制架构,特点是从库和主库使用的是同一套【唯一事务识别号】(GTID)
切换原理:发生高可用切换时,DataPipeline 会记录原数据节点的解析断点即唯一事务识别号,由于是物理复制,从库有相同的唯一事务识别号作为新的解析起点。
- 逻辑复制,特点是备库在回放主库的日志时,重新生成了一套【唯一事务识别号】(GTID)
切换原理:由于是逻辑复制,从库没有相同的唯一事务识别号。发生高可用切换时,DataPipeline 会记录原数据节点的解析断点即唯一事务识别号,将其转换为对应时间戳,再将时间戳转为对应的从库的唯一事务识别号为作为新的解析起点。
关于【回溯时长】的说明
由于逻辑复制无法使用唯一事务识别号作为切换后的准确的断点续传依据,为避免数据丢失,开放一个入口让用户可以设置一个时长,用于基于当前记录的切换时间点,往前回溯指定时长的日志。回溯时长默认为0,用户可以通过<切换连接配置>和<管理优先级>两个功能对回溯时长重新设置。当回溯时长>0时,在数据节点发生高可用切换后,
高可用手动切换相关操作步骤
- 在<数据节点> <添加节点>页面,添加多个连接配置,目前多个连接配置的部署架构必须相同。
- 也可以在<数据节点><基本配置页面>编辑数据节点,增加多个连接配置。
- 添加或编辑数据节点后会自动生成优先级和回溯时长,可以通过<数据节点> <详情><基本配置><管理优先级>功能修改优先级和回溯时长。
- <数据节点> <详情><基本配置><切换连接配置>配置目标节点的回溯时长,执行手动切换。
- <数据节点> <详情><基本配置><管理优先级>调整优先级和回溯时长。
- <数据节点> <详情><策略配置><连接切换策略>开启自动切换,配置自动切换检测频率。
添加 TDSQL MYSQL 节点操作步骤
新建弹窗界面选择了 TDSQL MYSQL 节点类型之后,显示 TDSQL MySQL 的基本信息配置模板:
连接配置:
- 名称:必须填写,50字符限制,是该数据源在 DataPipeline 的唯一标识,不允许重复
- 描述:选填
- 项目:必选,默认为「未分组」
- 类型:必选
- 版本:必选
- 时区:必选,默认是 +8:00,即东八区
- 部署模式:必选,可选集中部署、分布式部署。
- 注意:节点创建完成并保存后,部署模式不可修改
- 服务器地址:必填
- 端口:必填
- 数据库:必选,当您选择用户权限所有库时,在链路和任务中可以使用连接用户有权限的所有数据库;当您指定数据库后,在链路和任务中仅能使用指定的数据库
- 用户名:必填
- 密码:必填
- 通信加密方式:必填,默认不加密;可选SSL/TLS协议
- 连接参数:输入 TDSQL MYSQL JDBC 连接支持的所有连接参数