版本:v4.17
ClickHouse
ClickHouse 作为数据源节点时,支持通过 JDBC 方式从 ClickHouse 中采集全量数据和增量数据。ClickHouse 为单机部署时,支持采集所有 MergeTree 类引擎的非 Distributed 表。ClickHouse 为集群部署时,仅支持采集所有 MergeTree 类引擎的 Distributed 表。
ClickHouse 数据节点支持作为数据目的地,支持通过 JDBC 写入数据。
配置要求
在进行配置之前,请务必检查您的 ClickHouse 数据节点是否符合平台要求,参考如下:
| 要求 | 详情 |
|---|---|
| 版本要求 | - 数据源 JDBC 读取支持 ClickHouse v20、v22 版本 - 数据目的地 JDBC 写入支持 ClickHouse v20、v22 版本 |
| 权限要求 | JDBC 读取: - 为用户授予采集库和表的 SELECT 权限,开启方法:GRANT SELECT ON \<database_name>.* TO \<username>; |
JDBC 写入:
- 为用户授予写入库的SELECT_PERMISSION,ALTER_PERMISSION,CREATE_PERMISSION,INSERT_PERMISSION,TRUNCATE_PERMISSION 权限
开启方法:GRANT [ON CLUSTER cluster_name] privilege[(column_name [,...])] [,...] ON {db.table|db.|.|table|} TO {user | role | CURRENT_USER} [,...] [WITH GRANT OPTION] [WITH REPLACE OPTION] |
| 其他要求 | 暂无 |
操作步骤
- 在数据节点列表页面,点击新建数据节点
- 填写节点名称、描述,选择项目组,选择节点类型为 ClickHouse
- 选择版本
- 填写链接信息
- 时区:数据库时区,默认值为 UTC +8
- 部署模式
- 单机部署
- 分片集群部署:集群部署需要填写集群名称、所有 ClickHouse 节点的服务器地址及端口号
- 服务器地址及端口号
- 数据库:默认值为用户权限的所有库
- 认证类型
- 口令认证:填写用户名、密码
- LDAP 认证:填写用户名、密码
- 链接参数:支持 ClickHouse JDBC 连接的连接参数,详见文档:https://github.com/ClickHouse/clickhouse-java/tree/main/clickhouse-jdbc
- 点击保存,进行可用性验证
注意事项
信息
- ClickHouse 做数据源,支持采集 ClickHouse v20、v22 版本的所有数据类型。
- 当前支持创建 Mergetree、Replication Mergetree表模型的数据表,不支持直接写入分布式表。
- DataPipeline 支持创建 ClickHouse 目的地数据表,创建表时需要指定 Sort keys(排序键),根据数据库特性,排序键不能为空。
- 当需要指定目的地表主键,主键需要设置为排序键,且位于排序键位置的前部。
- 建表操作需要注意上述配置的完整性,避免建表报错。