版本:v3.7
配置 StarRocks 数据节点表映射
配置 StarRocks 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
StarRocks 作为目的地节点时,StarRocks 支持向 OLAP 表写入数据。支持在链路上配置不同的表数据模型,不同的表模型功能支持度略有差异。
在任务执行过程中,DataPipeline 通过调用 Stream Load 接口将源端数据导入到 StarRocks 中。支持在写入过程中开启事务,对于明细模型和聚合模型的表,开启事务对保证数据的最终一致性有很大帮助,但对写入性能有一定的影响。
操作步骤
手动配置映射
- 点击表映射按钮,切换至表映射 TAB
- 点击数据目的地按钮,切换至需要配置的 StarRocks 目的地
- 点击选择同步列表,选择需要同步的数据表
- 选择已有数据表或创建 OLAP 表
- 配置“写入设置”
- 保存,完成表映射配置
写入设置
- 点击写入配置,进入写入配置弹窗,对于创建 OLAP 表和选择已有表,配置内容不同
- 创建 OLAP 表
- 表配置
- 分桶配置:
- 分桶键:分桶键可以选择多个,且必须是 Key 键的一部分。分桶键有字段类型的要求,可以参考 StarRocks 官方文档或者咨询 StarRocks 官方。
- 分桶数量:支持自动分桶,也支持手动分桶。StarRocks 2.5 版本自动分桶时,需将 FE 动态参数 enable_auto_tablet_distribution 设置为 true。当分桶数量为空时,使用自动分桶数量。
- 分区配置:仅支持 Range 分区
- 分区键:仅支持 TINYINT, SMALLINT, INT, BIGINT, LARGEINT, DATE, DATETIME 类型。
- 分区范围:分区范围支持同时配置上下限,也支持仅配置上限。
- 表属性参数:是建表时的 properties 参数配置,可设置该表数据的初始存储介质 (storage_medium)、存储 降冷时间 (storage_cooldown_time) 、副本数 (replication_num)、动态分区等。具体配置项参见 StarRocks 官方文档。
- 分桶配置:
- 写入配置
- 事务配置:默认关闭。开启事务后,在写入过程中会以事务为单位提交数据,对于明细模型和聚合模型的表,开启事务对保证数据的最终一致性有很大帮助,但对写入性能有一定的影响。
- 表配置
- 选择已有表
- 写入配置
- 事务配置:开启事务后,在写入过程中会以事务为单位提交数据,对于明细模型和聚合模型的表,开启事务对保证数据的最终一致性有很大帮助,但对写入性能有一定的影响。
- 写入配置
- 创建 OLAP 表
映射设置(批量映射)
映射设置中,支持对数据映射进行自动映射配置,可以进行匹配已有表、创建新表、匹配优先,当不执行映射设置时可以选择不匹配表。
- 表相关设置:
- 创建新表:支持批量配置表名称创建规则、表数据模型、表属性参数;也支持批量配置是否开启事务
- 匹配已有表:支持配置表名称匹配规则、匹配时是否忽略大小写、是否开启事务
- 匹配优先
- 不匹配
- 字段相关设置:支持配置字段名称新建规则、字段名称够匹配规则、新增字段创建规则、匹配过程中是否忽略大小写。
- 当表相关设置中选择创建新表时,仅字段名称新建规则生效。
- 当表相关设置中选择匹配已有表时,字段名称匹配规则、新增字段创建规则、匹配过程中是否忽略大小写生效
- 高级清洗设置:支持批量为目的地表添加高级清洗