跳到主要内容
版本:v4.9

配置 ClickHouse 数据目的地表映射

配置 ClickHouse节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。

关于此功能​

Hudi 数据节点作为目的地节点时,支持新建表、选择已有表。支持配置新建表的表引擎、排序键、分区键、TTL与表参数。

操作步骤​

  1. 点击表映射按钮,切换至表映射 Tab。
  2. 点击数据目的地按钮,切换至您需要配置的 ClickHouse 数据目的地。
  3. 点击选择同步列表按钮,选择数据源中您需要同步的表。选择完成后数据目的地将会展现对应行。
  4. ClickHouse 数据目的地支持新建表。
  5. 点击「创建新表」,系统自动将源端表名赋值到 ClickHouse 目的地表。
  6. 完成「写入设置」 1. 表引擎:当前版本支持MergeTree、Replication MergeTree 2. 排序键:选择表中字段添加为排序键 3. 分区键:可选无分区键,可添加表中字段作为分区键 4. TTL:表中数据的生命周期规则,选择字段进行配置,仅支持date、datetime类型 5. Settings:其他表参数

注意事项​

信息

当前支持创建 Mergetree、Replication Mergetree表模型的数据表,不支持直接写入分布式表。

  • DataPipeline 支持创建 ClickHouse 目的地数据表,创建表时需要指定 Sort keys(排序键),根据数据库特性,排序键不能为空。
  • 当需要指定目的地表主键,主键需要设置为排序键,且位于排序键位置的前部。
  • 建表操作需要注意上述配置的完整性,避免建表报错。 :::