跳到主要内容
版本:v4.24

版本说明

支持的 TiDB 的版本如下:

节点版本要求权限要求其他要求
数据源节点+ 数据源节点 JDBC 读取模式支持 TiDB 2.x.y、3.x.y、4.x.y、5.x.y、6.x.y、7.x.y
+ 数据源节点 TiCDC 读取支持 TiDB 4.0.9 及之后版本
select
目的地节点+ 目的地节点支持 TiDB 2.x.y、3.x.y、4.x.y、5.x.y、6.x.y、7.x.yselect、insert、delete、create、update、alter、drop、index

TiDB 数据节点可以使用 TiCDC 读取增量数据,DataPipeline 提供集成 TiCDC 程序的配置功能。

读取方式

Datapipeline 读取TiDB数据库支持三种读取方式:JDBC 和 TiCDC模式读取

JDBC 读取方式​

JDBC 读取模式通过 JDBC Driver 连接到数据库并读取源端数据,该读取模式支持定时增量同步和定时全量同步。

  1. 要求需要同步的表拥有增量识别字段,用于同步增量数据。
  2. 选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段
  3. 如:更新序列号 (例:SequenceID),更新时间戳 (例:UpdatedAt)

权限要求​

赋予用户select权限

TiCDC 读取方式​

使用 TiCDC 读取方式,TiCDC将数据缓存到下游kafka,DataPipeline从kafka中获取增量数据。

权限要求​

  1. 日志读取权限:
    • **SELECT** 权限(访问系统表)
    • **RELOAD**(重载配置)
    • 若开启 TLS,需证书认证权限
  2. 元数据访问权限:
    • 访问 **INFORMATION_SCHEMA** 获取表结构信息。

TiCDC组件关系​

  1. TiDB与TiCDC版本对应关系:

TiDB与TiCDC版本需保持强一致

  1. TiCDC 与支持的 Kafka 最低版本对应关系如下:
TiCDC 版本支持的 Kafka 最低版本
TiCDC >= v8.1.02.1.0
v7.6.0 <= TiCDC < v8.1.02.4.0
v7.5.2 <= TiCDC < v8.0.02.1.0
v7.5.0 <= TiCDC < v7.5.22.4.0
v6.5.0 <= TiCDC < v7.5.02.1.0
v6.1.0 <= TiCDC < v6.5.02.0.0

注意事项​

:::color3

  1. TiCDC 同步的表需要至少存在一个有效索引的表,有效索引的定义如下:
    1. 主键 (**PRIMARY KEY**) 为有效索引。
    2. 唯一索引 (**UNIQUE INDEX**) 中每一列在表结构中明确定义非空 (**NOT NULL**) 且不存在虚拟生成列 (VIRTUAL GENERATED COLUMNS)。
  2. 使用TiCDC模式解析DDL语句时,需要在 TiCDC 的配置文件中指定 SQL 模式,否则 TiCDC 可能无法正确解析 DDL
  3. 当您使用 TiCDC 获取 TiDB 增量数据时,推荐您使用 TiDB4.0.9 及以上版本;
  4. Kafka 配置可选择使用 DataPipeline 系统中的 Kafka 组件,也可以使用您自有的 Kafka 组件;当您使用 DataPipeline 的 Kafka 组件时,请填写内网地址与端口。如您使用自有的 Kafka,您需要保障 DataPipeline 集群于其的网络连通性。(注意,如果组件版本高于TICDC对于kafka的要求,请按照TiCDC的要求使用kafka。
  5. DP系统的KAFKA版本是3.8.1,根据TIDB官方文档中写入方式TICDC与Kafka兼容性描述,如果使用DP系统的KAFKA,需要TIDB及TICDC版本为XXX版本以上
  6. 当使用TiCDC 7.1或者TiCDC 7.5.6时,需获取相应版本的工具包,并修改底层docker-compose配置文件进行工具包挂载:dp-trall-webservice里volumes下添加“CDC工具包存放路径:/opt/tidb”
  7. 由于TICDC的限制,因此Set 和Enum 的类型无法获取元数据。当前如果用JDBC读取时,可以正常处理。但是如果是CDC读取,会被处理为evalue1,evaule2的样式。如果需要处理,请在简单列计算或者高级清洗中,进行数据清洗和预处理

参考资料:TiCDC同步数据时对于SET和ENUM类型无法获取原始数据

:::

写入方式

JDBC写入方式​

权限要求​

  1. SELECT, INSERT, UPDATE, DELETE, CREATE, DROP, ALTER, INDEX

节点特性

表​

表类型JDBC读取TiCDC读取
基本表(普通表)✓✓
分区表✓
支持多种分区策略:
+ Range 分区
+ Range COLUMNS 分区
+ List 分区
+ List COLUMNS 分区
+ Hash 分区
✓
支持多种分区策略:
+ Range 分区
+ Range COLUMNS 分区
+ List 分区
+ List COLUMNS 分区
+ Hash 分区
临时表✓✓
系统表✓✓

视图​

视图类型读取写入
普通视图✓✓
可更新视图✓✓

索引​

索引类型读取写入
主键索引✓✓
普通索引✓✓
唯一索引✓✓
复合索引✓✓
表达式索引✓✓
前缀索引✓✓
覆盖索引✓✓

数据类型​

数据类型数据源节点目的地节点
TINYINT✓✓
SMALLINT✓✓
MEDIUMINT✓✓
INT/INTEGER✓✓
BIGINT✓✓
DECIMAL✓✓
NUMERIC✓✓
FLOAT✓✓
DOUBLE✓✓
CHAR✓✓
VARCHAR✓✓
BINARY✓✓
VARBINARY✓✓
TINYTEXT✓✓
TEXT✓✓
MEDIUMTEXT✓✓
LONGTEXT✓✓
TINYBLOB✓✓
BLOB✓✓
MEDIUMBLOB✓✓
LONGBLOB✓✓
DATE✓✓
TIME✓✓
DATETIME✓✓
TIMESTAMP✓✓
YEAR✓✓
JSON✓(从TiDB2.0开始支持)✓(从TiDB2.0开始支持)
BIT✓✓

添加TiDB节点的操作步骤

新建弹窗界面选择了 TiDB 节点类型之后,显示 TiDB JDBC 模式的基本信息配置模板:

  • 版本:TiDB 2.x.y、3.x.y、4.x.y、5.x.y、6.x.y、7.x.y
  • 服务器地址:输入连接数据目的地的域名或 IP 地址。
  • 端口:输入连接数据目的地的端口值。
  • 数据库名称:要求连接数据库的名称。
  • 用户名和密码:输入可访问该数据目的地的用户名和密码。
  • 连接参数:
    • key:固定为cdc_path
    • value:CDC工具的绝对路径

TiDB TiCDC 数据获取模式配置模板:

  • Kafka 服务器地址:即 TiCDC 程序将增量数据写入至 Kakfa 缓存的配置。
  • Kafka 版本:请填写实际 Kafka 版本,kafka版本依赖于TiCDC版本
  • Kafka Topic 名称:可由您自定义。
  • Kafka Topic Partition 数量:默认为 1 。
  • Kafka Topic Partition 副本数量 :默认为1(非必填)
  • PD 服务器地址:即 TiDB PD 服务器地址。
  • PD 端口:即 TiDB PD 服务器端口。