版本:v4.24
Kafka
配置要求
在进行配置之前,请务必检查您的Kafka 数据节点是否符合平台要求,参考如下:
| 要求 | 详情 |
|---|---|
| 版本要求 | 数据源支持 - Apache Kafka以下版本 0.9.x、0.10.x、0.11.x、1.x.y、2.x.y、3.0.x、3.1.x、3.2.x、3.3.x、3.4.x、3.8.1、3.9.2、4.0.x - 支持 MRS(3.2.0-LTS.1 )版本 kafka(2.11-2.4.0) |
| 目的地支持 - Apache Kafka以下版本 0.8.x、0.9.x、0.10.x、0.11.x、1.x.y、2.x.y、3.0.x、3.1.x、3.2.x、3.3.x、3.4.x、3.8.1、3.9.2、4.0.x - 支持 MRS(3.2.0-LTS.1 )版本 kafka(2.11-2.4.0) | |
| 权限要求 | 具备需要进行读取topic的消费权限 具备需要进行写入topic的生产权限 当您需要创建TOPIC时,需要具备TOPIC的创建权限 当您需要为TOPIC标记删除时,需要具备TOPIC 的删除权限。 |
| 其他要求 | 暂无 |
新建弹窗界面选择了Kafka节点类型之后,显示Kafka的基本信息配置模板:
- 平台版本:请选择Kafka的平台。当前支持Apache Kafka与MRS Kafka。
- Kafka版本:选择对应平台的Kafka版本。
- 服务器地址:输入连接数据源的域名或IP地址及端口值,允许输入多个地址,使用","分隔。
- 注意:填写前需要检查kafka集群是否有别名,若有别名则需要联系DataPipeline运维人员,添加kafka别名的映射关系,并填写别名。
- Kafka认证类型:
- Apache版本Kafka:当前支持信任认证、口令认证、Scram认证、Kerberos认证
- MRS版本Kafka:信任认证、口令认证、Scram认证、Kerberos认证
- ZooKeeper 地址:输入连接Zookeeper的域名或IP地址及端口值,允许输入多个地址,使用","分隔。
- Schema Registry 地址:当数据格式为avro时,需要用户输入 Schema Register地址
- Schema Registry认证类型:信任认证、口令认证
- 连接参数:选择配置类型(Consumer或Producer),添加KEY、VALUE值
- Topic 序列化器:设置 Topic 序列化器的初始默认值、修改 Topic 的 Key 和 Value 序列化器(支持批量修改)
其他说明
当Kafka作为数据源时,DP会定时的从kafka中消费数据。V3.3版本以前,消费数据的间隔默认为1分钟,这在部分业务场景里不能满足用户的实时性需求。因此从V3.4版本开始,kafka作为数据源的数据任务,增加定时间隔设置。可以按照业务的需要及时的从kafka消费数据。
Kafka 支持zk部署架构和Kraft 两种部署架构。对于用户,无需关注部署架构。
操作步骤
- 新建Kafka数据节点
- 点击数据节点列表→新增数据节点
- 填写节点名称、描述,选择节点类型为Kafka
- 选择节点的版本,填写服务器地址、ZooKeeper地址、Schema Registry 地址、认证类型
- 您可以在完成配置之后点击左下角的连接验证检查信息的准确性
- 点击保存按钮保存该页配置,进入该节点详情界面
- 为Topic选择序列化器
- 在数据节点详情页面,点击「Topic 序列化器」tab
- 为Topic选择Key序列化器与Value序列化器默认值(目前Key与Value序列化器保持一致)
- 修改 Topic 序列化器
- 默认值设置:您可以在这里设置 Topic 序列化器的初始默认值。保存设置后,仅对未来添加的 Topic 生效。
- 批量修改 Topic 序列化器
- 点击Topic前的勾选框
- 点击「修改序列化器」
- 批量修改 Key 序列化器 和 Value 序列化器
- 序列化器支持选择Kafka String和Confluent Kafka Avro
- 当序列化器配置为Confluent Kafka Avro时,该Topic作为数据源,将会解析Avro的第一层结构,字段名为“Key或Value”+“_”+"Avro结构中解析的字段名"
- Topic Key与Value支持配置不同的序列化器,如将Key的序列化器设置为Kafka String,将Value的序列化器设置为Confluent Kafka Avro
注意事项
信息
- 当用户选择JSON、STRING数据格式时,必须在目的写入设置界面手动添加目的地字段和设置清洗脚本解析数据,写出映射关系,才能保证数据的正常同步。
- Kafka 0.9.x及之前的版本需要通过Zookeeper地址获取节点Topic列表,0.9.x后续版本通过Broker获取节点Topic列表,不需连接Zookeeper。
- 当Kafka作为数据目的地时,DataPipeline将会按照Kafka默认hash规则,向一个Topic中的所有partition写入数据。
- 当Kafka开启Kerberos认证以及权限管理时,需要在Kafka服务器端开启对用账户的权限,授权方法如下:
- 创建角色dp_rolekafka-sentry -cr -r dp_role
- 给dp_role角色对test_topic的所有权限kafka-sentry gpr -r dp_role -p "Topic=test_topic>action=ALL"
- 把dp_role加入到azkban用户组(此为对应数据节点上keytab认证的用户)kafka-sentry -arg -r dp_role -g azkaban
- 对于Kafka做数据源,支持配置Topic的Key和Value为不同的序列化器;对于Kafka做数据目的地,当前版本仅支持Key和Value的序列化器配置相同。
- 在数据节点的Topic序列化器配置作用于Kafka节点作为数据源时的字段映射结构解析与数据读取;
- 当该Topic的Key和Value的序列化器被设置成不同值时,仅支持作为数据源使用,暂不支持作为目的地使用;作为目的地的功能将会在后续版本开放。
- 当Topic被数据链路的数据映射引用,该Topic的序列化器配置在节点中不允许修改。
常见问题说明
Kafka 执行 DDL 变更报错「Schema注册失败」
在 Kafka 作为目的地节点时,用户源节点执行了字段精度或标度变化,且结构变化策略中配置相应的执行策略的情况下,数据任务在获取到该结构变化并执行时,可能会出现报错「Schema注册失败」。
- 出现该报错的前提条件:
- Kafka 序列器为:Confluent Kafka Avro
- Schema Registry 兼容模式:FULL 或者 BACKWARD
- 原因:在Avro模式下,Schema Registry 的严格兼容性设置可能阻塞某些结构变更
信息
建议结合业务需求合理设计Schema演化策略,或选择String序列器以避免兼容性问题