跳到主要内容
版本:v5.6

分区策略设置和Producer参数

关于此功能​

此功能针对目的地Kafka Topic配置进行介绍。

操作步骤​

配置存储配置

  • 点击 存储配置 按钮,为Topic配置 分区策略、Producer参数
  • 配置分区策略-写入指定分区、按HashKey写入、按Partition Key写入
    • 写入指定分区:输入分区ID,写入指定分区;
    • 按照 Key 值进行 Hash 计算:默认按照数据源主键作为 Key 来计算 Hash 值,无主键时将使用唯一键。您可在「消息体结构配置」中对默认值进行修改,使用数据源其他字段或系统变量作为分区键来计算 Hash 值;
    • Round-Robin 策略:当您未配置指定分区且 Key 值为空时,将采用 Round-Robin 策略轮巡写入分区。
  • Producer 参数配置
    • 使用Key、Value进行配置;
    • DataPipeline 支持为 Kafka 数据生产客户端KafkaProducer 配置连接参数,如 acks、linger.ms 等,各版本 Kafka集群支持的连接参数可以参考 Kafka官方文档。数据映射的连接参数配置默认继承数据节点配置;
    • KafkaProducer 的默认 acks 参数为 all,您可以针对项目现场需求在连接参数中指定 acks 覆盖默认值。