版本说明
- 数据源 JDBC 模式支持 MySQL官方版 5.5、5.6、5.7、8.0;
- 数据源 Binlog 读取模式支持 MySQL 官方版 5.5、5.6、5.7、8.0;
- 目的地 JDBC 写入模式 MySQL 官方版 5.5、5.6、5.7、8.0.
读取方式
数据库要求:
- 开启binlog: SHOW VARIABLES LIKE 'log_bin' ; 输出为 ON
- binlog模式为row模式:SHOW GLOBAL VARIABLES LIKE 'binlog_format' ; 输出为 ROW
- binlog为补全模式:show variables like 'binlog_row_image'; 确认修改binlog_row_image为FULL
- 5.7以上版本建议开启:SHOW VARIABLES LIKE 'gtid_mode';
- BINLOG 保留时间建议 >= 72 小时;
- 支持只读从库,只读从库需开启 REPLICATION CLIENT 和 REPLICATION SLAVE 权限
- 要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例:SequenceID,更新时间戳(例:UpdatedAt)
| 读取方式 | 场景 | 权限要求 | 对应功能 |
|---|---|---|---|
| JDBC | 批量同步场景,全量初始化 | --赋值元数据库的查询权限GRANT SELECT ON information_schema. TO 'user'@'%'; -- 赋值需要同步的数据库的查询权限GRANT SELECT ON your_database_name. TO 'user_name'@'%'; | 1、选表以及视图,读取数据 2、任务运行,读取权限 |
| binlog | 增量监听场景 | --赋值元数据库的查询权限GRANT SELECT ON information_schema. TO 'user'@'%'; -- 赋值需要同步的数据库的查询权限GRANT SELECT ON your_database_name. TO 'user_name'@'%'; -- 增量同步数据复制权限; GRANT REPLICATION SLAVE, REPLICATION CLIENT ON . TO 'user_name'@'%'; | 1、binlog 增量读取 2、任务运行,读取权限 |
写入方式
| 写入方式 | 场景 | 权限要求 | 对应功能说明 |
|---|---|---|---|
| JDBC | 写入 | -- 授予SELECT、INSERT、UPDATE、DELETE权限 GRANT SELECT, INSERT, UPDATE, DELETE ON your_database_name. TO 'user_name'@'%'; -- 授予DROP、INDEX、ALTER、CREATE权限(这些权限通常需要在数据库级别授予) GRANT DROP, INDEX, ALTER, CREATE ON your_database_name. TO 'user_name'@'%'; | 1、创建表 2、任务运行,读取写入权限 3、选表,写入数据 4、清空目的地表 5、删除重建表,结构变化 |
节点特性
数据类型
| 序号 | 官网支持类型 | DP定义的类型 | 作为源支持情况 | 作为目的地支持情况 |
|---|---|---|---|---|
| 1 | TINYINT BOOL,BOOLEAN = tinyint(1) | TINYINT(p) TINYINT UNSIGNED(p) BOOLEAN | ✔️ | ✔️ |
| 2 | SMALLINT | SMALLINT(p) SMALLINT UNSIGNED(p) | ✔️ | ✔️ |
| 3 | MEDIUMINT | MEDIUMINT(p) MEDIUMINT UNSIGNED(p) | ✔️ | ✔️ |
| 4 | INT | INT(p) INT UNSIGNED(p) | ✔️ | ✔️ |
| 5 | BIGINT | BIGINT(p) BIGINT UNSIGNED(p) | ✔️ | ✔️ |
| 6 | numeric [ (_p_, _s_) ]decimal [ ( _p_, _s_) ] | DECIMAL(p, s) DECIMAL(p, s) UNSIGNED | ✔️ | ✔️ |
| 7 | FLOAT(p) (0\<p<=23) | FLOAT(p, s) FLOAT UNSIGNED(p, s) | ✔️ | ✔️ |
| 8 | DOUBLE(p) (24\<p<=53) | DOUBLE(p, s) DOUBLE UNSIGNED(p, s) | ✔️ | ✔️ |
| 9 | BIT | BIT(p) | ✔️ | ✔️ |
| 10 | DATE | DATE | ✔️ | ✔️ |
| 11 | DATETIME | DATETIME(p) | ✔️ | ✔️ |
| 12 | TIMESTAMP | TIMESTAMP(p) | ✔️ | ✔️ |
| 13 | TIME | TIME(p) | ✔️ | ✔️ |
| 14 | YEAR | YEAR(p) | ✔️ | ✔️ |
| 15 | CHAR | CHAR(p) | ✔️ | ✔️ |
| 16 | VARCHAR | VARCHAR(p) | ✔️ | ✔️ |
| 17 | BINARY | BINARY(p) | ✔️ | ✔️ |
| 18 | VARBINARY | VARBINARY(p) | ✔️ | ✔️ |
| 19 | BLOB | BLOB | ✔️ | ✔️ |
| 20 | TEXT | TEXT | ✔️ | ✔️ |
| 21 | ENUM | ENUM | ✔️ | ✔️ |
| 22 | SET | SET | ✔️ | ✔️ |
| 23 | JSON | JSON | ✔️ | ✔️ |
| 24 | POINT | POINT | ✔️ | ❌ |
| 25 | LINESTRING | LINESTRING | ✔️ | ❌ |
| 26 | POLYGON | POLYGON | ✔️ | ❌ |
| 27 | MULTIPOINT | MULTIPOINT | ✔️ | ❌ |
| 28 | MULTILINESTRING | MULTILINESTRING | ✔️ | ❌ |
| 29 | MULTIPOLYGON | MULTIPOLYGON | ✔️ | ❌ |
| 30 | GEOMETRYCOLLECTION | GEOMETRYCOLLECTION | ✔️ | ❌ |
注意
- MySQL 的实时处理模式下,暂时无法读取字段类型为 geometry 的数据,如果存在对应类型的数据,请选择定时模式进行同步。
- point
- linestring
- polygon
- multipoint
- multilinestring
- multipolygon
- geometrycollection
- 目前 MySQL 数据节点编码类型支持UTF8MB3,GB18030,GB232,GBK,UTF8,UTF6,UTF6LE,UTF32,UTF8MB4,ARMSCII8,BINARY,同时支持在表和字段上分别进行设置。
DML
读取
| 读取模式 | DML识别 | 捕获信息 | 限制 |
|---|---|---|---|
| JDBC | INSERT | 源端读取支持的所有字段类型 | 【限制】不支持列筛选 |
| binlog | INSERT | 源端读取支持的所有字段类型 | 【限制】不支持列筛选 |
| UPDATE | before:主键 after:支持的所有字段 | ||
| DELETE | before:主键 after:null |
写入
| 写入策略 | 写入SQL语法 | 限制 |
|---|---|---|
| INSERT | INSERT INTO 。。。 VALUES 。。。 | |
| UPDATE | UPDATE。。。 SET。。。 WHERE 。。。 | 需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。 【限制】当源端采集不完整,目的主键列 源端采集不到,会存在最终数据不一致情况,因为拿null去更新数据(不是因为真实值为null,是因为采集不完整) 当更新条件中存在值为null时,会做特殊处理。 更新条件的字段为空:update 表名 set 字段 value where 更新条件 is null; 更新条件的字段为空:update 表名 set 字段 value where 更新条件 in value; |
| DELETE | 需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。 原因同上: 当更新条件中存在值为null时,会做特殊处理。 1. 更新条件的字段为空:delete from 表名 where 更新条件 is null; 2. 更新条件的字段不为空:delete from 表名 where 更新条件的字段 in (value); | |
| MERGE | 1. 逻辑主键变更: Delete+Insert 2. 非逻辑主键变更: replace into 表名 value(字段名) values(字段值);{} | 需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。 |
| IGNORE |
DDL
读取
对于JDBC的方式,实际上DDL是靠结构比对捕获的,因此,需要增量数据触发diff。
对于binlog的解析方式,可以在日志中获取到对应的DDL,并且支持连续DDL的处理。
| DDL类型 | 读取方式 | 是否支持获取 | 上游触发场景 | 支持处理的内容 |
|---|---|---|---|---|
| add column | JDBC | ✔️ | 1. 源端加列 2. 源端rename列–rename后的列识别为新增列 【限制】不支持移位DDL,即不支持after,first等 | 名称、类型、精度、标度、默认值、注释、not null |
| binlog | ✔️ | 【限制】不支持移位DDL,即当加列的DDL中有after,first等关键字后,执行的时候,仅会将增加的字段,根据策略执行。 | 名称、类型、精度、标度、默认值、注释、not null | |
| drop column | JDBC | ✔️ | 1. 源端加列 2. 源端rename列–rename后的列识别为新增列 | |
| binlog | ✔️ | |||
| modify column | JDBC | ✔️ | 源端修改类型,精度,标度 | 类型、精度、标度、默认值、注释、not null |
| binlog | ✔️ | 源端修改类型,精度,标度 | 类型、精度、标度、默认值、注释、not null | |
| rename column | JDBC | ❌ | 【限制】不支持,会识别为删除列+新增列(风险❗️) | |
| binlog | ✔️ | |||
| drop table | JDBC | ✔️ | 源表被删除或者源表被rename 【说明】当JDBC读取的时候,会检测到待同步的表不存在。 | |
| binlog | ✔️ | |||
| truncate table | JDBC | ❌ | 不支持 | |
| binlog | ✔️ | |||
| create table | JDBC | ❌ | 当前不支持 | |
| binlog | ✔️ | |||
| rename table | JDBC | ❌ | 不支持,会被识别为drop table | |
| binlog | ✔️ | 能识别,任务会暂停 |
写入
| DDL类型 | 是否支持 | 限制 |
|---|---|---|
| truncate table | ✔️ | |
| drop table | ✔️ | |
| create table | ✔️ | |
| rename table | ❌ | |
| add column | ✔️ | 【限制】不支持移位DDL,即不支持after,first等 |
| drop column | ✔️ | |
| modify column | ✔️ | 【限制】1、其他未支持的属性,结构变化后映射可能会有diff |
| rename column | ✔️ | 【限制】其他未支持的属性,结构变化后映射可能会有diff |
索引
MySQL 当前支持在创建目的表时,可以创建索引,目前支持的索引类型及配置
| 索引类型 | 索引存储方式 | 排序 |
|---|---|---|
| 普通索引 | Btree | 支持配置 |
| 唯一索引 | Btree | 支持配置 |
| 主键索引 | Btree | 不支持配置,默认为升序 |
字符集
由于MySQL对于字符集的支持非常灵活,支持库级别,表级别和字段级别的设置。当前节点支持的字符集类型如下:
GB18030,GB2312,GBK,UTF8,UTF16,UTF16LE,UTF32,UTF8MB4,ARMSCII8,BINARY,UTF8MB3
作为源时,会从元数据中直接读取,如果是不支持的,会识别为Unknown。有可能部分字段会处理为乱码。
作为目的地时,如果是选择已有表时,机制同源,可以从元数据中直接读取。如果是新建表,则仅能使用当前产品支持的字符集类型。
注意:如果未设置,则使用Default,如果字段未设置,则继承表的字符集,如果表未设置,则继承数据库的。
添加 MySQL节点操作步骤
新建弹窗界面选择了 MySQL节点类型之后,显示 MySQL的基本信息配置模板:
- 版本:选择版本
- 服务器地址:输入连接数据节点的域名或 IP 地址。例如 192.168.2.11 或datapipeline.com
- 端口:输入连接数据节点的端口值
- 数据库 目录:要求输入数据节点读取目录地址
- 选项一:用户权限的所有库
- 选项二:用户可输入自定义选项
- 用户名和密码:输入可访问该数据节点的用户名和密码
- 连接参数
新建弹窗界面选择了 MySQL 节点类型之后,显示 MySQL 的基本信息配置模板:
- 版本:选择版本
- 连接地址名称
- 数据库服务器地址可以填写多个服务器的连接地址,作为一个“单机数据库”或“集群数据库”的连接地址
- 可以点击添加数据库服务器地址
- 可以点击删除
- 删除节点连接地址组的前置条件是没有数据任务在引用这个连接地址组;
- 当有任务引用时,不可删除,Hover删除按钮提示:“有数据任务引用,请切换连接地址后重试”
- 可以选择统一认证或不同连接地址分别认证,认证配置内容无变化
- 统一认证方式提示:打开统一认证方式,则认定使用「连接配置-1」的认证方式,\ 即在下方认证信息中代入「连接配置-1」的认证信息。
- 打开统一认证方式后,该连接地址的认证不允许修改
- 统一认证默认关闭
- 认证方式:
- 口令认证:填写数据库用户名密码
- SSL 认证
- 签发机构为“认证中心”时,需输入用户名密码
- 签发机构为“自签发”
- 证书类型为“CA 证书”时,需上传 CA 证书,填写数据库用户名密码
- 证书类型为“ CA-jks 证书”时,需上传 CA-jks 证书,填写证书密钥、数据库用户名密码
- 可以在数据节点详情页面修改连接优先级
同时该节点支持连接切换,即允许用户填写主备节点的连接地址。从而可以当节点发生故障后,可以切换到新的节点上,通过GTID继续读取,保障业务的连续性。
注意事项:
对于MySQL而言,当前DP支持5.5,5.6,5.7,8.0 四个版本,其中MySQL从5.6版本开始支持GTID的设置。在任务的起点设置中,支持通过设置Binlog Position 和 GTID两种方式指定起点。
对于5.5版本而言,仅能通过设置Binlog Position的方式指定起点。对于其他版本,两种方式二选一即可。如果都填写,会优先使用GTID作为起点恢复任务。当然如果需要使用GTID,需要首先开启GTID。