版本:v4.10
配置 Kafka 数据节点表映射
配置 Kafka 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
- Kafka数据节点作为数据源或数据目的地时,数据往往是半结构化的,存储数据格式通常包含JSON、Avro等
- DataPipeline数据采集组件读取半结构化数据后,需要对数据进行解析,提取数据元素;数据加载组件写入半结构化数据时,需要指定写入数据结构
- Kafka数据节点中,存储的数据是经序列化后的数据,读取该部分数据时,需要对数据进行反序列化,反序列化过程将使用您在数据节点配置中选择的序列化/反序列化器;同样的,在写入Kafka数据节点时,需要对数据进行序列化,当选择已有Topic时,序列化过程将使用您在节点配置中选择的序列化/反序列化器;当新建Topic时,支持您为该Topic配置序列化器。
- 通常情况下,Kafka Topic 中Key与Value都可以写入数据,配置序列化器/反序列化器也是根据每个Topic的Key、Value进行区分。
- 在向Kafka数据节点写入数据过程中,当数据格式为JSON或String时,DataPipeline可以帮助您使用页面定义写入数据结构。您也可以使用清洗脚本功能,使用代码逻辑定义写入数据结构。当数据格式为Avro时,仅支持通过清洗脚本定义写入数据结构。
操作步骤-作为数据源节点
- 选择需要同步的Topic。
- 确认该Topic的序列化器配置是否正确。
- 注:Kafka数据源的序列化器设置可以在数据节点详情页面修改。
- 点击字段映射按钮,进入字段映射页面,确认Avro结构解析是否正确(如有)。
- 如Avro结构未正常解析,请检查序列化器配置、Schema Registry 连接配置是否正确,并检查Topic中是否有数据,Schema Registry中是否已注册该Topic的结构数据。
- 配置目的地映射。
操作步骤-作为数据目的地节点
点击表映射按钮,切换至表映射Tab。
点击数据目的地节点,切换至您需要配置的Kafka数据目的地。
添加目的地Topic。
- 创建新Topic:点击 创建新Topic。
- 输入Topic名称。Topic命名规则请参考官方指导:3-64个字符,仅允许包含英文,数字,"."," _","-",至少包含一个英文或数字。
- 输入分区数。请注意分区数量应小于broker数量。
- 输入副本数。请注意副本数量应小于broker数量。
- 选择Key序列化器、Value序列化器,Key与Value的序列化器仅支持选择相同的序列化器。
- 选择已有Topic:点击 选择已有Topic。
- 在Topic列表中选择数据写入的Topic。
- 您可以通过点击“刷新”按钮获取当前最新Topic列表。
- 创建新Topic:点击 创建新Topic。
配置 写入设置
点击 写入设置 按钮,为Topic配置 分区策略、Producer参数、消息体结构、Topic参数。
消息体结构配置:当Kafka序列化器为Confluent Kafka String时,支持以页面图形化方式为Topic配置消息格式。
配置Key数据写入格式
Key值默认写入数据源主键或唯一索引字段。
- 数据源不存在主键且不存在唯一索引时,为空。
- 数据源存在主键时,默认值为 {字段变量key{"pk": "[$pk]"}}。当数据源不存在主键,存在唯一索引时同理。示例: {pk_value{"pk": "[$pk]"}}。当您不需要写入字段变量key的嵌套时,请在映射设置中将 字段变量key 置为空。
您可通过勾选字段变量参数、采集元数据参数、系统元数据参数 配置参数写入。支持您在编辑器中对写入数据及数据格式进行编辑。
当数据写入格式为Json时,点击 JSON格式校验,将校验数据是否符合JSON格式。
点击 恢复默认,将恢复为Key的默认值。
查看右侧”样例数据“展示,查看Key的数据格式。
当您写入kafka目的地的数据需要以主键或表名称,或其他内容为分区依据时,需要配置key值。您可以通过写入设置-消息体结构配置中定义key值:勾选系统提供的字段,查看样例数据是否符合需求。
配置Value数据写入格式
- 选择数据写入格式。
- Oracle GoldenGate格式:DataPieline支持将数据组织为Oracle GoldenGate标准格式写入数据目的地。
- 数据写入格式默认为Oracle GoldenGate格式。
- 默认仅写入after数据(即发生变更后的数据)。您可通过勾选配置将要写入的参数。
- 参数说明:
- before:表示更新前数据。当前支持采集以下数据节点的更新前数据:ORACLE、MySQL、GoldenDB、PostgreSQL、DB2、OceanBase、Gbase8c、GaussDB(for openguass)。当用户需要使用DB2的更新前数据时,需要先开启采集before数据的参数。开启后将对新建任务采集数据生效。当历史任务需要采集DB2更新前参数时,请先暂停数据任务,通过调用接口方式修改采集before数据的参数。具体配置请查看《部署前指南》。
- op_ts:当数据源读取方式为日志读取时,将写入数据源日志记录的数据提交时间。当数据源读取方式为JDBC时,将写入DataPipeline采集数据源数据的时间。
- current_ts:写入DataPipeline采集数据源数据的时间
- 开启「value 内容分层写入 Topic」开关,DataPipeline 写入 after 数据第一层为「after」,第二层为 after value。如果同时写入 before 数据,则 before 数据第一层为「before」,第二层为 before value。
- Debezium格式:DataPieline支持将数据组织为Debezium标准格式写入数据目的地。
- 选择 Debezium格式。
- 默认写入全部数据。您可通过勾选配置将要写入的参数。
- 参数说明:
- before数据:表示更新前数据。当前支持采集以下数据节点的更新前数据:ORACLE、MySQL、GoldenDB、PostgreSQL、DB2、OceanBase、Gbase8c、GaussDB(for openguass)。当用户需要使用DB2的更新前数据时,需要先开启采集before数据的参数。开启后将对新建任务采集数据生效。当历史任务需要采集DB2更新前参数时,请先暂停数据任务,通过调用接口方式修改采集before数据的参数。具体配置请查看《部署前指南》。
- ts_ms:写入DataPipeline采集数据源数据的时间。
- source.ts_ms:数据源日志记录的数据提交时间
- 自定义格式:支持自定义编辑写入的数据格式。
- 您可通过勾选字段变量参数、采集元数据参数、系统元数据参数 配置参数写入。支持您在编辑器中对写入数据及数据格式进行编辑。
- 当数据写入格式为Json时,点击 JSON格式校验,将校验数据是否符合JSON格式。
- 点击 恢复默认,将恢复为数据源全部字段。
- Oracle GoldenGate格式:DataPieline支持将数据组织为Oracle GoldenGate标准格式写入数据目的地。
- 查看右侧”样例数据“展示,查看Value的数据格式。
- 选择数据写入格式。
分区策略配置 1. 选择数据写入分区的策略。当选择 写入指定分区时,请输入分区编号。
Producer 参数配置
- DataPipeline 支持为 Kafka 数据生产客户端 KafkaProducer 配置连接参数,如 acks、linger.ms 等,各版本 Kafka 集群支持的连接参数可以参考 Kafka 官方文档。数据链路Producer参数默认继承数据节点配置的Producer参数。
- 输入Producer参数名称及参数值。
- DataPipeline 支持为 Kafka 数据生产客户端 KafkaProducer 配置连接参数,如 acks、linger.ms 等,各版本 Kafka 集群支持的连接参数可以参考 Kafka 官方文档。数据链路Producer参数默认继承数据节点配置的Producer参数。
Topic参数配置
- 当Topic为新建Topic时,DataPipeline 支持为 Kafka 新建 Topic 配置 Topic 参数,如 compression.type 等,各版本 Kafka 集群支持的连接参数可以参考Kafka 官方文档。
- 输入Producer参数名称及参数值。
- 当Topic为新建Topic时,DataPipeline 支持为 Kafka 新建 Topic 配置 Topic 参数,如 compression.type 等,各版本 Kafka 集群支持的连接参数可以参考Kafka 官方文档。
当写入Topic为“创建新Topic”时,请点击“创建目的地表”,对目的地Topic进行创建。
注意事项
信息
- 完整准确的表映射是准确进行数据同步的基础,您需要谨慎操作。
- 新增同步列表中内容不会影响已有数据映射及使用已有数据映射的数据任务。
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。
- 写入Kafka Topic时,如您设置了消息key的值,程序将按照key值做hash,将数据写入所有目的地Topic分区;如您未设置消息的key值,程序将使用round robin方式轮询写入数据至所有分区。 :::