版本:v4.13
配置 Datahub 数据节点字段映射
配置Datahub字段映射是在界面中建立数据源表层级结构中字段与数据目的地表层级结构中的字段或数据的映射关系,建立字段或数据的映射关系后,数据才能被准确的从数据源同步至数据目的地。
关于此功能
Datahub 数据节点支持写入BLOB、Tuple类型Topic。
- 对于BLOB类型Topic,字段映射页面配置写入Topic的字段。支持对字段配置「表达式转换」,对数据内容进行转换处理。
- 对于Tuple类型Topic,数据节点字段映射页面功能与数据源相关。
- 当数据源为ORACLE、MySQL、OceanBase时,字段映射页面支持配置写入Topic的字段,支持配置是否写入字段的更新前镜像。
- 当数据源为其他节点时,字段映射页面配置写入Topic的字段。可以参考关系型数据库目的地字段映射配置。
操作步骤
Datahub 数据目的地字段映射配置
- 点击数据映射-表映射-字段映射按钮,进入字段映射Tab。
- 数据源字段信息将会自动映射至目的地端。
- 对于BLOB类型Topic,可以在字段映射页面修改字段名称。
- 对于Tuple类型Topic:
- 配置元数据映射:通过「添加元数据」,选择需要写入 Datahub 数据目的地字段的元数据。当前支持写入如下元数据:
- DP_C_STREAM_POSITION:根据数据源不同,采取不同的值。MySQL:Positon;ORACLE:SCN;OceanBase:SCN;Postgresql:LSN;Qianbase:Qianbase_timestamp。
- DP_C_OPERATION:操作类型。
- DP_C_COMMIT_TIMESTAMP:数据源日志中记录的事务提交时间。当数据源为ORACLE与OceanBase时,时间精确到秒。当数据源为MySQL与TiDB时,时间精确到毫秒。
- DP_S_WRITE_TIMESTAMP:写入数据目的地时间。时间精确到毫秒。
- DP_S_RECORD_ID:写入数据库目的地单表范围内唯一且递增的值,仅适用于数据任务使用系统内置消息队列,且未开启全量并发分区读取的场景。
- 配置字段映射:
- 勾选数据源字段
- 选择「映射更新前镜像」将自动为数据源字段新增更新前镜像字段映射,并在数据目的地字段映射生成对应的映射。
- 选择「取消映射更新前镜像」将取消更新前镜像的字段映射。
- 勾选数据源字段
- 配置元数据映射:通过「添加元数据」,选择需要写入 Datahub 数据目的地字段的元数据。当前支持写入如下元数据:
注意事项
信息
- 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作。
- 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务。
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。
- 当前版本支持通过「更新前镜像」功能写入更新前镜像数据的数据源:ORACLE、MySQL、OceanBase。
- 当您为同步字段配置「更新前镜像」,请勿为数据目的地对应的更新前镜像字段、更新后镜像字段配置not null属性。否则当数据源出现INSERT操作和DELETE操作时,将由于非空限制无法写入数据目的地。
- 元数据映射字段不支持通过「表达式处理」功能二次处理数据。