跳到主要内容
版本:v4.12

配置 ClickHouse 数据目的地表映射

配置 ClickHouse节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。

关于此功能​

数据表映射显示 ClickHouse 表的相关信息,如所在的虚拟集群、数据库、表名称、表的索引等。作为数据源,可配置 ClickHouse 表映射到其他目的地时的表名称、数据库、表类型等规则。在任务执行过程中,DataPipeline 根据用户配置的读取方式来采集源端数据。

ClickHouse 数据节点作为目的地节点时,支持新建表、选择已有表。支持配置新建表的表引擎、排序键、分区键、TTL与表参数。

操作步骤​

手动配置映射​

作为数据源

  1. 点击表映射按钮,切换至表映射 TAB
  2. 点击选择同步列表,选择需要同步的数据表,此时页面显示此表的表相关信息
  3. 设置读取条件、全量并发分区规则
  4. 根据目的地的支持情况,选择已有表或创建新表
  5. 配置“写入设置”等配置
  6. 保存,完成表映射配置

作为数据目的地

  1. 点击表映射按钮,切换至表映射 Tab。
  2. 点击数据目的地按钮,切换至您需要配置的 ClickHouse 数据目的地。
  3. 点击选择同步列表按钮,选择数据源中您需要同步的表。选择完成后数据目的地将会展现对应行。
  4. ClickHouse 数据目的地支持新建表。
    1. 点击「创建新表」,系统自动将源端表名赋值到 ClickHouse 目的地表。
    2. 完成「写入设置」
      1. 表引擎:当前版本支持MergeTree、Replication MergeTree
      2. 排序键:选择表中字段添加为排序键
      3. 分区键:可选无分区键,可添加表中字段作为分区键
      4. TTL:表中数据的生命周期规则,选择字段进行配置,仅支持date、datetime类型
      5. Settings:其他表参数

映射设置(批量映射)​

作为数据源,映射设置中,可以批量设置数据映射的读取条件和并发分区规则。

  • 读取限制设置:配置当前链路上所有映射的读取条件
  • 并发分区设置:支持将主键设置为并发分区键、支持自动分区并批量设置分区数。
    • 由于无法获取 Distributed 表的主键,因此,【主键设置为并发分区间】配置对集群部署的 ClickHouse节点不生效,需在每条链路上选择对应字段。

注意事项​

信息

当前支持创建 Mergetree、Replication Mergetree表模型的数据表,不支持直接写入分布式表。

  • DataPipeline 支持创建 ClickHouse 目的地数据表,创建表时需要指定 Sort keys(排序键),根据数据库特性,排序键不能为空。
  • 当需要指定目的地表主键,主键需要设置为排序键,且位于排序键位置的前部。
  • 建表操作需要注意上述配置的完整性,避免建表报错。