跳到主要内容
版本:v4.13

配置 ClickHouse 数据节点

ClickHouse 作为数据源节点时,支持通过 JDBC 方式从 ClickHouse 中采集全量数据和增量数据。ClickHouse 为单机部署时,支持采集所有 MergeTree 类引擎的非 Distributed 表。ClickHouse 为集群部署时,仅支持采集所有 MergeTree 类引擎的 Distributed 表。

ClickHouse 数据节点支持作为数据目的地,支持通过 JDBC 写入数据。

配置要求​

在进行配置之前,请务必检查您的 ClickHouse 数据节点是否符合平台要求,参考如下:

要求详情
版本要求
- 数据源 JDBC 读取支持 ClickHouse v20、v22 版本
- 数据目的地 JDBC 写入支持 ClickHouse v20、v22 版本
权限要求JDBC 读取:
- 为用户授予采集库和表的 SELECT 权限,开启方法:GRANT SELECT ON \<database_name>.* TO \<username>;

JDBC 写入:
- 为用户授予写入库的SELECT_PERMISSION,ALTER_PERMISSION,CREATE_PERMISSION,INSERT_PERMISSION,TRUNCATE_PERMISSION 权限
开启方法:GRANT [ON CLUSTER cluster_name] privilege[(column_name [,...])] [,...] ON {db.table|db.|.|table|} TO {user | role | CURRENT_USER} [,...] [WITH GRANT OPTION] [WITH REPLACE OPTION] | | 其他要求 | 暂无 |

操作步骤​

  1. 在数据节点列表页面,点击新建数据节点
  2. 填写节点名称、描述,选择项目组,选择节点类型为 ClickHouse
  3. 选择版本
  4. 填写链接信息
    1. 时区:数据库时区,默认值为 UTC +8
    2. 部署模式
      1. 单机部署
      2. 分片集群部署:集群部署需要填写集群名称、所有 ClickHouse 节点的服务器地址及端口号
    3. 服务器地址及端口号
    4. 数据库:默认值为用户权限的所有库
    5. 认证类型
      1. 口令认证:填写用户名、密码
      2. LDAP 认证:填写用户名、密码
    6. 链接参数:支持 ClickHouse JDBC 连接的连接参数,详见文档:https://github.com/ClickHouse/clickhouse-java/tree/main/clickhouse-jdbc
  5. 点击保存,进行可用性验证

注意事项​

信息
  • ClickHouse 做数据源,支持采集 ClickHouse v20、v22 版本的所有数据类型。
  • 当前支持创建 Mergetree、Replication Mergetree表模型的数据表,不支持直接写入分布式表。
  • DataPipeline 支持创建 ClickHouse 目的地数据表,创建表时需要指定 Sort keys(排序键),根据数据库特性,排序键不能为空。
  • 当需要指定目的地表主键,主键需要设置为排序键,且位于排序键位置的前部。
  • 建表操作需要注意上述配置的完整性,避免建表报错。