版本:v5.3
版本说明
支持的 TiDB 的版本如下:
| 节点 | 版本要求 | 权限要求 | 其他要求 |
|---|---|---|---|
| 数据源节点 | + 数据源节点 JDBC 读取模式支持 TiDB 2.x.y、3.x.y、4.x.y、5.x.y、6.x.y、7.x.y + 数据源节点 TiCDC 读取支持 TiDB 4.0.9 及之后版本 | select | |
| 目的地节点 | + 目的地节点支持 TiDB 2.x.y、3.x.y、4.x.y、5.x.y、6.x.y、7.x.y | select、insert、delete、create、update、alter、drop、index |
TiDB 数据节点可以使用 TiCDC 读取增量数据,DataPipeline 提供集成 TiCDC 程序的配置功能。
读取方式
Datapipeline 读取TiDB数据库支持三种读取方式:JDBC 和 TiCDC模式读取
JDBC 读取方式
JDBC 读取模式通过 JDBC Driver 连接到数据库并读取源端数据,该读取模式支持定时增量同步和定时全量同步。
- 要求需要同步的表拥有增量识别字段,用于同步增量数据。
- 选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段
- 如:更新序列号 (例:SequenceID),更新时间戳 (例:UpdatedAt)
权限要求
赋予用户select权限
TiCDC 读取方式
使用 TiCDC 读取方式,TiCDC将数据缓存到下游kafka,DataPipeline从kafka中获取增量数据。
权限要求
- 日志读取权限:
**SELECT**权限(访问系统表)**RELOAD**(重载配置)- 若开启 TLS,需证书认证权限
- 元数据访问权限:
- 访问
**INFORMATION_SCHEMA**获取表结构信息。
- 访问
TiCDC组件关系
- TiDB与TiCDC版本对应关系:
TiDB与TiCDC版本需保持强一致
- TiCDC 与支持的 Kafka 最低版本对应关系如下:
| TiCDC 版本 | 支持的 Kafka 最低版本 |
|---|---|
| TiCDC >= v8.1.0 | 2.1.0 |
| v7.6.0 <= TiCDC < v8.1.0 | 2.4.0 |
| v7.5.2 <= TiCDC < v8.0.0 | 2.1.0 |
| v7.5.0 <= TiCDC < v7.5.2 | 2.4.0 |
| v6.5.0 <= TiCDC < v7.5.0 | 2.1.0 |
| v6.1.0 <= TiCDC < v6.5.0 | 2.0.0 |
注意事项
:::color3
- TiCDC 同步的表需要至少存在一个有效索引的表,有效索引的定义如下:
- 主键 (
**PRIMARY KEY**) 为有效索引。 - 唯一索引 (
**UNIQUE INDEX**) 中每一列在表结构中明确定义非空 (**NOT NULL**) 且不存在虚拟生成列 (VIRTUAL GENERATED COLUMNS)。
- 主键 (
- 使用TiCDC模式解析DDL语句时,需要在 TiCDC 的配置文件中指定 SQL 模式,否则 TiCDC 可能无法正确解析 DDL
- 当您使用 TiCDC 获取 TiDB 增量数据时,推荐您使用 TiDB4.0.9 及以上版本;
- Kafka 配置可选择使用 DataPipeline 系统中的 Kafka 组件,也可以使用您自有的 Kafka 组件;当您使用 DataPipeline 的 Kafka 组件时,请填写内网地址与端口。如您使用自有的 Kafka,您需要保障 DataPipeline 集群于其的网络连通性。(注意,如果组件版本高于TICDC对于kafka的要求,请按照TiCDC的要求使用kafka。
- DP系统的KAFKA版本是3.8.1,根据TIDB官方文档中写入方式TICDC与Kafka兼容性描述,如果使用DP系统的KAFKA,需要TIDB及TICDC版本为XXX版本以上
- 当使用TiCDC 7.1或者TiCDC 7.5.6时,需获取相应版本的工具包,并修改底层docker-compose配置文件进行工具包挂载:dp-trall-webservice里volumes下添加“CDC工具包存放路径:/opt/tidb”
- 由于TICDC的限制,因此Set 和Enum 的类型无法获取元数据。当前如果用JDBC读取时,可以正常处理。但是如果是CDC读取,会被处理为evalue1,evaule2的样式。如果需要处理,请在简单列计算或者高级清洗中,进行数据清洗和预处理
参考资料:TiCDC同步数据时对于SET和ENUM类型无法获取原始数据
:::
写入方式
JDBC写入方式
权限要求
- SELECT, INSERT, UPDATE, DELETE, CREATE, DROP, ALTER, INDEX
节点特性
表
| 表类型 | JDBC读取 | TiCDC读取 |
|---|---|---|
| 基本表(普通表) | ✓ | ✓ |
| 分区表 | ✓ 支持多种分区策略: + Range 分区 + Range COLUMNS 分区 + List 分区 + List COLUMNS 分区 + Hash 分区 | ✓ 支持多种分区策略: + Range 分区 + Range COLUMNS 分区 + List 分区 + List COLUMNS 分区 + Hash 分区 |
| 临时表 | ✓ | ✓ |
| 系统表 | ✓ | ✓ |
视图
| 视图类型 | 读取 | 写入 |
|---|---|---|
| 普通视图 | ✓ | ✓ |
| 可更新视图 | ✓ | ✓ |
索引
| 索引类型 | 读取 | 写入 |
|---|---|---|
| 主键索引 | ✓ | ✓ |
| 普通索引 | ✓ | ✓ |
| 唯一索引 | ✓ | ✓ |
| 复合索引 | ✓ | ✓ |
| 表达式索引 | ✓ | ✓ |
| 前缀索引 | ✓ | ✓ |
| 覆盖索引 | ✓ | ✓ |
数据类型
| 数据类型 | 数据源节点 | 目的地节点 |
|---|---|---|
| TINYINT | ✓ | ✓ |
| SMALLINT | ✓ | ✓ |
| MEDIUMINT | ✓ | ✓ |
| INT/INTEGER | ✓ | ✓ |
| BIGINT | ✓ | ✓ |
| DECIMAL | ✓ | ✓ |
| NUMERIC | ✓ | ✓ |
| FLOAT | ✓ | ✓ |
| DOUBLE | ✓ | ✓ |
| CHAR | ✓ | ✓ |
| VARCHAR | ✓ | ✓ |
| BINARY | ✓ | ✓ |
| VARBINARY | ✓ | ✓ |
| TINYTEXT | ✓ | ✓ |
| TEXT | ✓ | ✓ |
| MEDIUMTEXT | ✓ | ✓ |
| LONGTEXT | ✓ | ✓ |
| TINYBLOB | ✓ | ✓ |
| BLOB | ✓ | ✓ |
| MEDIUMBLOB | ✓ | ✓ |
| LONGBLOB | ✓ | ✓ |
| DATE | ✓ | ✓ |
| TIME | ✓ | ✓ |
| DATETIME | ✓ | ✓ |
| TIMESTAMP | ✓ | ✓ |
| YEAR | ✓ | ✓ |
| JSON | ✓(从TiDB2.0开始支持) | ✓(从TiDB2.0开始支持) |
| BIT | ✓ | ✓ |
添加TiDB节点的操作步骤
新建弹窗界面选择了 TiDB 节点类型之后,显示 TiDB JDBC 模式的基本信息配置模板:
- 版本:TiDB 2.x.y、3.x.y、4.x.y、5.x.y、6.x.y、7.x.y
- 服务器地址:输入连接数据目的地的域名或 IP 地址。
- 端口:输入连接数据目的地的端口值。
- 数据库名称:要求连接数据库的名称。
- 用户名和密码:输入可访问该数据目的地的用户名和密码。
- 连接参数:
- key:固定为cdc_path
- value:CDC工具的绝对路径
TiDB TiCDC 数据获取模式配置模板:
- Kafka 服务器地址:即 TiCDC 程序将增量数据写入至 Kakfa 缓存的配置。
- Kafka 版本:请填写实际 Kafka 版本,kafka版本依赖于TiCDC版本
- Kafka Topic 名称:可由您自定义。
- Kafka Topic Partition 数量:默认为 1 。
- Kafka Topic Partition 副本数量 :默认为1(非必填)
- PD 服务器地址:即 TiDB PD 服务器地址。
- PD 端口:即 TiDB PD 服务器端口。