版本:v5.13
分区策略设置和Producer参数
关于此功能
此功能针对目的地Kafka Topic配置进行介绍。
操作步骤
配置存储配置
- 点击 存储配置 按钮,为Topic配置 分区策略、Producer参数
- 配置分区策略-写入指定分区、按HashKey写入、按Partition Key写入
- 写入指定分区:输入分区ID,写入指定分区;
- 按照 Key 值进行 Hash 计算:默认按照数据源主键作为 Key 来计算 Hash 值,无主键时将使用唯一键。您可在「消息体结构配置」中对默认值进行修改,使用数据源其他字段或系统变量作为分区键来计算 Hash 值;
- Round-Robin 策略:当您未配置指定分区且 Key 值为空时,将采用 Round-Robin 策略轮巡写入分区。
- Producer 参数配置
- 使用Key、Value进行配置;
- DataPipeline 支持为 Kafka 数据生产客户端KafkaProducer 配置连接参数,如 acks、linger.ms 等,各版本 Kafka集群支持的连接参数可以参考 Kafka官方文档。数据映射的连接参数配置默认继承数据节点配置;
- KafkaProducer 的默认 acks 参数为 all,您可以针对项目现场需求在连接参数中指定 acks 覆盖默认值。