数据加载策略
数据加载策略是将数据写入目的地时,系统执行的写入方式与冲突解决方法的策略配置。
关于此功能
增量处理模式
在 DataPipeline 系统中,为了提升写入效率,我们将数据写入分成小的批次少量多次执行写入,为了提升写入效率,我们提供两种增量处理模式可供选择。
- 全增量模式
- 即将数据源的全部增量数据依次写入数据目的地,可以保证数据全局一致性。
- 精简增量模式
- 即在一个写入批次内,将同一主键的增量数据的最后一次变化同步至目的地,可以保证数据最终一致性。该模式需要数据源增量数据获取开启日志补全。
数据加载方式-有主键表
在将数据写入数据目的地的过程中,可以通过配置数据加载方式来变更数据目的地写入时提交的 SQL 语句类型,以变更数据加载方式。
为目的地表配置逻辑主键后,DataPiepline将以逻辑主键字段做为数据更新条件来更新目的地数据。逻辑主键支持的节点类型包括:Oracle、MySQL、DB2、SQL Server、PostgreSQL、Inceptor、GaussDB、OushuDB、ES、Maxcompute、GreenPlum。
当前版本支持的数据加载方式有:Insert、Update、Delete、Ignore(忽略)、Merge(Upsert)。
对于不同数据源的数据获取方式,DML 获取存在限制:
| 数据源类型 | 数据获取方式 | 是否能获取 DML | 备注 |
|---|---|---|---|
| MySQL | Binlog | 是 | |
| Oracle | DataPipeline 采集代理程序 | 是 | |
| Oracle | LogMiner | 是 | |
| Db2 | InfoSphere Data Replication | 是 | |
| PostgreSQL | Wal2json | 是 | |
| MS SQL Server | Change Tracking | 是 | |
| TiDB | TiCDC | 是 | |
| 关系型数据库 | JDBC | 否 | |
| 文件系统 | 文件系统客户端 | - | 不存在 DML 概念 |
| 消息队列 | 消息队列客户端 | - | 不存在 DML 概念 |
对于不同数据目的地类型,数据加载方式的处理会有不同
| 数据目的地类型 | 数据源 DML 类型 | 数据加载方式-映射 DML | 数据处理过程 | 适用场景 |
|---|---|---|---|---|
| 关系型数据库 | Insert | Insert | 数据目的地插入数据 | 保证数据 DML 操作一致性 |
| Update | - | - | ||
| Delete | - | - | ||
| Ignore | 忽略数据源 DML 变化,数据目的地不做任何写入 | 过滤插入 DML 操作 | ||
| Merge(Upsert) | 在数据目的地进行 merge 写入 | 当数据目的地存在需要被插入的数据,使用 upsert/merge 语句写入,可以保证写入成功,避免主键冲突 | ||
| Update | Insert | 数据目的地插入数据,需在数据目的地表添加 DML 标识列,并通过清洗脚本将数据源 DML 内容写入至数据目的地该列 | 通常用于在数据目的地创建拉链表,分析数据变化过程 | |
| Update | 数据目的地插入数据 | 保证数据 DML 操作一致性 | ||
| Delete | - | - | ||
| Ignore | 忽略数据源 DML 变化,数据目的地不做任何写入 | 过滤更新 DML 操作 | ||
| Merge(Upsert) | 在数据目的地进行 merge 写入 | 当数据目的地不存在需要被更新的数据,使用 upsert/merge 语句写入,可以将 update 转换为 insert 执行,提示写入效率 | ||
| Delete | Insert | 数据目的地插入数据,需在数据目的地表添加 DML 标识列,并通过清洗脚本将数据源 DML 内容写入至数据目的地该列 | 通常用于在数据目的地创建拉链表,分析数据变化过程;或在目的地同步删除标识,源端删除数据,目的地端标记删除 | |
| Update | 数据目的地更新数据,需在数据目的地表添加 DML 标识列,并通过清洗脚本将数据源 DML 内容写入至数据目的地该列 | 在目的地同步删除标识,源端删除数据,目的地端标记删除 | ||
| Delete | 数据目的地删除数据 | 保证数据 DML 操作一致性 | ||
| Ignore | 忽略数据源 DML 变化,数据目的地不做任何写入 | 过滤删除 DML 操作 | ||
| Merge(Upsert) | 数据目的地更新数据,需在数据目的地表添加 DML 标识列,并通过清洗脚本将数据源 DML 内容写入至数据目的地该列 | 在目的地同步删除标识,源端删除数据,目的地端标记删除 | ||
| 消息队列 | Insert | Insert | 数据目的地插入数据 | 常用写入方式 |
| Update | - | - | ||
| Delete | - | - | ||
| Ignore | 忽略数据源 DML 变化,数据目的地不做任何写入 | 过滤删除 DML 操作 | ||
| 文件系统 | Insert | Insert | 数据目的地插入数据 | 常用写入方式 |
| Update | - | - | ||
| Delete | - | - | ||
| Ignore | 忽略数据源 DML 变化,数据目的地不做任何写入 | 过滤删除 DML 操作 | ||
| Merge(Upsert) | - | - |
注:“-”代表对于该数据目的地类型的 DML 操作转换不支持或无适用场景。
主键冲突策略
当数据加载方式选择了 insert,在向目的地数据写入过程中,可能会出现待写入数据主键与目的地已有数据主键相同的情况,insert 语句将执行失败。遇到上述情况时,通过配置主键冲突策略,可以暂停数据任务或将数据写入错误队列后续处理来应对。
数据加载方式-无主键表
在将数据写入数据目的地的过程中,可以通过配置数据加载方式来变更数据目的地写入时提交的 SQL 语句类型,以变更数据加载方式。
当前版本支持的数据加载方式有:Insert、Ignore(忽略)。
PostgreSQL 数据节点作为数据源时,不支持无主键数据表的 UPDATE、DELETE 数据 DML 变化。
二进制数据编码方式
该功能使用场景,目前对于非JDBC写入时才生效。当前生效范围为文件写入方式,JDBC copy 写入方式。
当数据源存在二进制数据,如 BLOB 数据类型的数据时,DataPipeline 支持为数据进行编码再写入数据目的地,保证同步到目的地后数据可用。
当前版本支持的编码方式有:BASE64 编码、转十六进制、兼容模式。
- BASE64 编码:将二进制数据以 BASE64 编码方式进行编码后再写入数据目的地。
- 转十六进制:将二进制数据编码为十六进制数据后再写入数据目的地。
- 兼容模式:兼容 DataPipeline 产品 V3.4 版本及前期版本的写入模式,将二进制数据映射为数据内存地址写入数据目的地。此配置适用于数据目的地下游无需处理 BLOB 数据的场景。由于系统不对二进制数据进行编码,所以数据处理效率更高。
数据源主键变更写入策略
该策略表示当数据源主键被 UPDATE 后,DataPipeline加载变更时是否需要将 UPDATE 拆分为 DELETE 操作与 INSERT 操作加载入数据目的地。
当前仅支持以下同步场景: ORACLE 同步至 Kafka,MySQL 同步至 Kafka 。
- 将 UPDATE 数据拆分为 DELETE 数据与 INSERT 数据
- 写入 UPDATE 数据:UPDATE 操作支持写入 UPDATE BEFORE 数据、UPDATE AFTER 数据,请在数据链路映射配置中数据目的地「写入设置」或「高级清洗」进行配置。
当数据目的地为 Kafka,数据源为其他节点时,数据加载依旧遵循以往的更新逻辑:数据源主键变更后DataPipeline将UPDATE操作拆分为 DELETE操作与INSERT操作加载至数据目的地。
操作步骤
- 在数据链路详情页-策略配置 tab 中找到数据加载策略。
- 选择增量处理模式。
- 为数据源的每种数据操作标识选择数据加载方式。
- 选择主键冲突策略
- 保存配置
场景说明:数据目的地拉链表配置
在配置数据目的地过程中,可以在数据目的地添加一列,将该列标识为联合主键,通过清洗脚本赋值,其中可以存储数据源 DML 标识数据。
在数据加载方式中配置中,选择 insert,即可实现目的地拉链表数据写入。
- 当数据加载方式配置为 update 或 delete 时,执行更新或删除依赖数据目的地中存在带有和待写入数据主键相同的数据;如目的地不存在该条数据,update 或 delete 操作将被提交至数据目的地节点,根据各个节点处理特性不同,部分目的地可以正常同步,部分目的地将报错暂停。
- 对于 Greenplum 数据目的地,Update 或 Delete 语句由于数据库限制,可能会导致写入性能下降。
- 精简增量可以提升数据写入效率,但在对数据一致性要求高的场景中,请使用全增量模式。
- 根据数据任务所选数据映射不同,在数据任务执行过程中,部分数据加载方式不支持,如 Kafka 数据目的地仅支持“insert”。
场景说明:主键更新的场景
通常情况下,主键的 Value 在一张业务表中是极少更新的,但是针对一些特殊的业务场景,存在主键更新的情况,在 DataPipeline 的产品中,针对此种情况,在一些特定场景中提供了相应的支持。
| 支持的节点 | 支持的读取方式 | 支持的场景 |
|---|---|---|
| MySQL | binlog | 增量 |
| Oracle | logminer,Agent,CDC | 增量 |
| IBM db2 | CDC | 增量 |
| PostgreSQL | wal2json | 增量 |
处理逻辑:会针对主键更新的 Update,在目的地拆分成两步,delete 原主键,insert 新主键。
然后根据加载策略的执行逻辑,在目的地执行。可以支持消息队列做缓存的模式,也可以支持使用内存做缓存的模式,同时对于单一主键和联合主键也全都支持,都采用上述逻辑处理。
分节点支持情况说明
ArgoDB 目的地数据加载策略
| 源 | ArgoDB 目的地(有主键) |
|---|---|
| DELETE | INSERT/UPDATE/DELETE(默认值)/IGNORE |
| INSERT | INSERT(默认值)/UPDATE/DELETE/IGNORE |
| UPDATE | INSERT(默认值)/UPDATE/DELETE/IGNORE |
- ArgoDB 中,以下类型表均属于有主键表:
- 表类型为 Holodesk 且配置了 或逻辑主键
- 表类型为 ORC 事务表、ORC 非事务表且配置了逻辑主键
- 表类型为 Hyperbase、Hyperdrive
- 基于 ArgoDB rowkey的特性,当 INSERT 相同的 rowkey 的数据时,ArgoDB 会覆盖原数据。
| 源 | ArgoDB 目的地(无主键) |
|---|---|
| DELETE | INSERT(默认值)/IGNORE |
| INSERT | INSERT(默认值)/IGNORE |
| UPDATE | INSERT(默认值)/IGNORE |
TDSQL MYSQL 目的地数据加载策略
| 源 | TDSQL MYSQL 目的地(有主键) |
|---|---|
| DELETE | MERGE/INSERT/UPDATE/DELETE(默认值)/IGNORE |
| INSERT | MERGE(默认值)/INSERT/UPDATE/DELETE/IGNORE |
| UPDATE | MERGE(默认值)/INSERT/UPDATE/DELETE/IGNORE |
注意:TDSQL MYSQL 不支持更新 Shardkey 的值,Shardkey的更新将被忽略
| 源 | TDSQL MYSQL 目的地(无主键) |
|---|---|
| DELETE | INSERT(默认值)/IGNORE |
| INSERT | INSERT(默认值)/IGNORE |
| UPDATE | INSERT(默认值)/IGNORE |
StarRocks 目的地的数据加载策略
| 源 | StarRocks 目的地(有 Key) |
|---|---|
| DELETE | INSERT/UPDATE/DELETE(默认值)/IGNORE |
| INSERT | INSERT(默认值)/UPDATE/DELETE/IGNORE |
| UPDATE | INSERT(默认值)/UPDATE/DELETE/IGNORE |
- 对于聚合模型和明细模型的表,选择 UPDATE 策略时,按照 INSERT 处理
- 对于主键模型和更新模型的表,选择 UPDATE 策略时,按照先 DELETE 再 INSERT 处理
TiDB 目的地数据加载策略
| 源 | TiDB 目的地(存在更新条件) |
|---|---|
| INSERT | INSERT/UPDATE/DELETE/IGNORE/MERGE(默认值) |
| DELETE | INSERT/UPDATE/DELETE/IGNORE/MERGE(默认值) |
| UPDATE | INSERT/UPDATE/DELETE/IGNORE/MERGE(默认值) |
TiDB作为数据目的地时,以下键均属于更新条件
- 主键
- 唯一索引
- 逻辑主键
更新条件使用优先级:
- DataPipeline 优先使用逻辑主键作为更新条件。未配置逻辑主键时,默认使用主键更新数据。当目的地表不存在主键时,默认使用唯一索引更新数据。
| 源 | TiDB 目的地(不存在更新条件) |
|---|---|
| INSERT | INSERT(默认值)/IGNORE |
| DELETE | INSERT(默认值)/IGNORE |
| UPDATE | INSERT(默认值)/IGNORE |
Paimon 目的地数据加载策略
| 源 | Paimon 目的地(有主键) |
|---|---|
| INSERT | INSERT(默认值)/UPDATE/DELETE/IGNORE |
| DELETE | INSERT/UPDATE(默认值)/DELETE/IGNORE |
| UPDATE | INSERT/UPDATE/DELETE(默认值)/IGNORE |
| 源 | Paimon 目的地(无主键) |
|---|---|
| INSERT | INSERT(默认值)/IGNORE |
| DELETE | INSERT(默认值)/IGNORE |
| UPDATE | INSERT(默认值)/IGNORE |
Gbase 8a 目的地数据加载策略
| 源 | Gbase 8a 目的地(有主键) |
|---|---|
| INSERT | MERGE(默认值)/INSERT/UPDATE/DELETE/IGNORE |
| DELETE | MERGE/INSERT/UPDATE/DELETE(默认值)/IGNORE |
| UPDATE | MERGE(默认值)/INSERT/UPDATE/DELETE/IGNORE |
| 源 | Gbase 8a 目的地(无主键) |
|---|---|
| INSERT | INSERT(默认值)/IGNORE |
| DELETE | INSERT(默认值)/IGNORE |
| UPDATE | INSERT(默认值)/IGNORE |