版本:v4.12
配置 StarRocks 数据节点字段映射
配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。
关于此功能
因在配置数据映射时可以在数据目的地选择已有表或创建 OLAP 表,配置字段映射也会根据表映射中所选内容而改变。
操作步骤
- 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
- 在每一行的数据目的地字段列中选择数据目的地表的字段:
- 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
- Key列的元数据变化:刷新元数据时,支持识别 Key 顺序的 diff,在任一 Key上应用 diff 即可。
- 如数据目的地没有您需要的数据表,您可以点击「创建 OLAP 表」,跳转至字段映射 tab:
- 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
- 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
- 您可以修改数据目的地名称与字段属性;
- Key列的排序:您的点击顺序将会被用做 Key 的顺序
- Key 列的 Not Null 属性
- 主键模型下,Key 列必须非空,字段指定为 Key 列默认勾选 Not Null 属性,不支持取消。字段取消设置为 Key 列,不取消 Not Null 选择。
- 更新模型、明细模型、聚合模型下,Key 列允许为空,字段设置为 Key 列,默认不勾选 Not Null。
- 对于聚合模型的表,需要为每个字段指定聚合类型,不同聚合类型支持的字段类型如下:
- 支持的聚合类型
- SUM:求和,当字段类型为 TINYINT、SMALLINT、INT、BIGINT、LARGEINT、DECIMAL、DOUBLE、FLOAT时,此选项可选,其他字段类型下,此选项不可选。
- MAX:取最大值,当字段类型为 TINYINT、SMALLINT、INT、BIGINT、LARGEINT、DECIMAL、DOUBLE、FLOAT、CHAR、STRING、VARCHAR、DATE、DATETIME时,此选项可选
- MIN:取最小值,当字段类型为 TINYINT、SMALLINT、INT、BIGINT、LARGEINT、DECIMAL、DOUBLE、FLOAT、CHAR、STRING、VARCHAR、DATE、DATETIME时,此选项可选
- REPLACE:值替换,当字段类型非 HLL 和 BITMAP时,可选此项
- REPLACE_IF_NOT_NULL:仅对非空值替换,当字段类型非 HLL 和 BITMAP时,可选此项
- HLL 类型列:聚合类型固定显示为 HLL_UNION
- BITMAP 类型的列:固定显示为 BITMAP_UNION,注意仅支持数值类型的聚合。
- 当字段被设置为 Key 列时,不能指定聚合类型
- 支持的聚合类型
- 对于 HLL、BITMAP 两种字段类型,在写入目的地时,需指定值转换函数。
- 字段类型为 HLL,支持的值转换函数为 HLL_HASH
- 字段类型为 BITMAP,支持的值转换函数为 TO_BITMAP(默认值)、BITMAP_HASH
- 在需要新建表的场景中,修改完字段映射后,点击创建目的地表以通过系统在数据目的地建表;
- 建表需要创建表权限;
- 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
- 通常情况下,生产环境建表需要您公司 DBA 创建表。
- 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
- 预留字段的映射没有相应的数据源字段信息;
- 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
- 配置逻辑主键:逻辑主键的使用场景通常是数据源没有主键,但需要按照数据源主键进行增量同步的情况。配置逻辑主键后,系统将自动使用逻辑主键作为数据更新依据,但不会修改数据目的地的表结构,逻辑主键仅在 DataPipeline 数据同步内部使用。当您为数据目的地节点配置逻辑主键后,系统将自动将数据源对应字段映射为逻辑主键,您无需在数据源手动配置。
- 对于更新模型和聚合模型,逻辑主键只能选择 Key 的一部分
- 选择已有表和新建表都需要支持设置逻辑主键。
- 我们建议您为目的地配置逻辑主键的字段添加索引,以提高数据检索与更新的效率。
注意事项
警告
- 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
- 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务