版本:v4.1
配置 Datahub 数据节点表映射
配置 Datahub 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
- Datahub 数据节点支持写入BLOB、Tuple类型Topic
- 对于BLOB类型Topic,数据将以二进制写入,解析后的数据结构为JSON形式
- BLOB类型Topic中,可以定义消息中的Attribute Key
- 对于Tuple类型Topic,其结构在创建Topic时已经指定
- 在配置表映射时,支持选择已有Topic或新建Topic
操作步骤
- 点击表映射按钮,切换至表映射Tab。
- 点击数据目的地节点,切换至您需要配置的Datahub数据目的地。
- 添加目的地Topic。
- 创建新Topic:点击 创建新Topic。
- 输入Topic名称。Topic命名规则请参考官方指导。
- 选择Project
- 输入Shard数量(默认值1)
- 输入生命周期(默认值7,单位天)
- 选择Topic类型:Tuple/BLOB
- 选择已有Topic:点击 选择已有Topic。
- 在Topic列表中选择数据写入的Topic。
- 您可以通过点击“刷新”按钮获取当前最新Topic列表。
- 创建新Topic:点击 创建新Topic。
- 配置 写入设置
- 点击 写入设置 按钮,进入写入配置弹窗。
- 对于Tuple类型Topic
- 支持配置分区策略-写入指定分区、按HashKey写入、按Partition Key写入
- 写入指定分区:输入分区ID,写入指定分区
- 按HashKey写入:可以通过勾选字段变量、采集元数据、系统元数据作为HashKey的输入值,Datahub会将拼接值进行Hash计算后自动分配分区,分区字段可以根据数据源数据分布情况灵活配置。
- 按PartitionKey写入:在数据写入过程中,该字段值会作为 PartitionKey 传输给 DataHub,DataHub 会根据 Shard 的 BeginHashKey、EndHashKey 与该字段的 MD5 值决定写入的 Shard。
- 对于BLOB类型Topic
- 支持分区策略,分区策略内容同Tuple类型Topic
- 消息体结构配置:
- 配置Attribute Key数据写入格式
- AttributeKey无默认值,可添加多个AttributeKey
- 添加AttributeKey,需要输入AttributeKey名称(通常为英文)
- 通过勾选可以指定向AttributeKey写入的数据,勾选后,数据将会以JSON形式拼接,可在右侧预览数据格式
- table:源表名称数据格式为 schema(database).table
- op_type:DML类型
- op_ts:实时模式为数据源数据写入时间,批量模式为数据源数据读取时间
- current_ts:数据采集时间
- rowid:Oracle数据源RowID
- pos:数据源增量数据读取的进度信息,根据数据源不同可能是Binlog_postition/SCN/LSN等
- binlog_file:MySQL数据源进度信息
- gtid:MySQL数据源进度信息
- primary_keys:数据源主键的集合(在新建AttributeKey时默认选中)
- 配置 Value 数据写入格式
- 选择数据写入格式。
- Oracle GoldenGate格式:DataPieline支持将数据组织为Oracle GoldenGate标准格式写入数据目的地。
- 数据写入格式默认为Oracle GoldenGate格式。
- 默认仅写入after数据(即发生变更后的数据)。您可通过勾选配置将要写入的参数。
- 开启「value 内容分层写入 Topic」开关,DataPipeline 写入 after 数据第一层为「after」,第二层为 after value。如果同时写入 before 数据,则 before 数据第一层为「before」,第二层为 before value。
- 注:op_ts:当数据源读取方式为日志读取时,将写入数据源日志记录的数据提交时间。当数据源读取方式为JDBC时,将写入DataPipeline采集数据源数据的时间。current_ts:写入DataPipeline采集数据源数据的时间
- Debezium格式:当数据源为Oracle、Mysql、Postgresql,且日志读取模式为日志读取时,DataPieline支持将数据组织为Debezium标准格式写入数据目的地。
- 选择 Debezium格式。
- 默认写入全部数据。您可通过勾选配置将要写入的参数。
- 注:ts_ms:写入DataPipeline采集数据源数据的时间。source.ts_ms:数据源日志记录的数据提交时间
- 自定义格式:支持自定义编辑写入的数据格式。
- 您可通过勾选字段变量参数、采集元数据参数、系统元数据参数 配置参数写入。支持您在编辑器中对写入数据及数据格式进行编辑。
- 当数据写入格式为Json时,点击 JSON格式校验,将校验数据是否符合JSON格式。
- 点击 恢复默认,将恢复为数据源全部字段。
- Oracle GoldenGate格式:DataPieline支持将数据组织为Oracle GoldenGate标准格式写入数据目的地。
- 查看右侧”样例数据“展示,查看Value的数据格式。
- 选择数据写入格式。
- 配置Attribute Key数据写入格式
注意事项
信息
- 完整准确的表映射是准确进行数据同步的基础,您需要谨慎操作。
- 新增同步列表中内容不会影响已有数据映射及使用已有数据映射的数据任务。
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。 :::