Doris/SelectDB
说明
:::color5 由于SelectDB 为Doris的商业版本,因此在配置时,选择该数据节点类型即可支持这这种数据节点。
:::
配置要求
在进行配置之前,请务必检查您的 Doris、SelectDB 数据节点是否符合平台要求,参考如下:
| 要求 | 详情 |
|---|---|
| 版本要求 | 数据源支持 JDBC 读取 数据目的地Doris/SelectDB Stream Load 写入支持 1.2 及以上版本、2.x 版本 数据目的地 Doris/SelectDB JDBC 写入支持 1.2、2.x 版本 |
| 权限要求 | JDBC 读取: + 系统表 INFORMATION_SCHEMA.TABLES、INFORMATION_SCHEMA.COLUMNS 的 SELECT_PRIV 权限 + 同步库和表的 SELECT_PRIV权限 JDBC 写入: + 系统表 INFORMATION_SCHEMA.TABLES、INFORMATION_SCHEMA.COLUMNS 的 SELECT_PRIV 权限 + 同步库和表的 SELECT_PRIV、LOAD_PRIV、DROP_PRIV、ALTER_PRIV、CREATE_PRIV 权限 Stream Load 写入: + 系统表 INFORMATION_SCHEMA.TABLES、INFORMATION_SCHEMA.COLUMNS 的 SELECT_PRIV 权限 + 同步库和表的 SELECT_PRIV、LOAD_PRIV、DROP_PRIV、ALTER_PRIV、CREATE_PRIV 权限 |
| 其他要求 | 无 |
操作步骤
新建弹窗界面选择了 Doris/SelectDB节点类型之后,显示 Doris/SelectDB 的基本信息配置模板:
连接配置:
- 名称:必须填写,50字符限制,是该数据源在 DataPipeline 的唯一标识,不允许重复
- 描述:选填
- 项目:必选,默认为「未分组」
- 类型:必选
- 版本:必选
- 时区:必选,默认是 +8:00,即东八区
- 服务器地址:如果是集群,可以填写多个集群的地址+端口,用分号隔离
- FE/BE接口地址:如果是集群,可以填写多个集群的地址+端口,用分号隔离,主要是Streamload需要使用的,如果不配置的话,不可以使用Streamload的功能写入。
- 数据库:必选,当您选择用户权限所有库时,在链路和任务中可以使用连接用户有权限的所有数据库;当您指定数据库后,在链路和任务中仅能使用指定的数据库
- 认证方式:必选,支持口令认证和 LDAP 认证
- 通信加密方式:支持 TLS/SSL 加密
- 连接参数:输入 Doris/SelectDB JDBC 连接支持的所有连接参数
- 增加参数:key为fe_be_enable_https ;value 为 false 。默认值为false,方便用户根据需要选择http或者https接口连接
节点特性
数据类型
支持的数据字段类型
| 序号 | 字段类型 | 是否支持 |
|---|---|---|
| 1 | BIGINT | 支持 |
| 2 | LARGEINT | 支持 |
| 3 | SMALLINT | 支持 |
| 4 | TINYINT | 支持 |
| 5 | BOOLEAN | 支持 |
| 6 | DECIMAL | 支持 |
| 7 | DOUBLE | 支持 |
| 8 | FLOAT | 支持 |
| 9 | INT | 支持 |
| 10 | CHAR | 支持 |
| 11 | VARCHAR | 支持 |
| 12 | STRING | 支持 |
| 13 | DATE | 支持 |
| 14 | DATETIME | 支持 |
| 15 | HLL | 支持 |
| 16 | BITMAP | 支持 |
| 17 | JSONB | 支持 |
| 18 | QUANTILE_STATE | 支持 |
| 19 | DECIMALV3 | 支持 |
| 20 | DATEV2 | 支持 |
| 21 | DATETIMEV2 | 支持 |
结构同步
作为数据源,支持识别的DDL方式及类型
作为数据源时,只有JDBC一种读取方式,因此需要靠数据的Diff进行结构比较,识别DDL。
因此作为源时,可以发现的DDL为:
- 加列
- 删列
- 字段类型的变化(包含精度,标度)
- 源端表删除
限制及说明:
注意因为是靠diff的方式,比对出的数据结构的变化,因此无法保障顺序一致性。但是可以保证最终一致性。
当源端发生了rename column的操作时,会被识别成加列和删列,从而触发两种类型的DDL变化。
当源端发生了drop table 或者rename table时,此时任务激活时查询到要同步的目标表,会发现待同步的目标表不存在会触发删表的结构变化。
作为数据目的地,支持支持的DDL方式及类型
JDBC/Streamload写入方式:
目的地端删表:当上游触发了删表的DDL后,该目的地支持在目的地删表或者删映射的处理
目的地清空表:当上游触发了清空表的DDL后,该目的地支持在目的地清空表的操作
目的地删除字段:当上游触发了删列的DDL后,该目的地支持在目的地进行删列的DDL
目的地重命名字段:当上游触发了重命名列的DDL后,该目的地支持在目的地进行重命名列的DDL
有限支持的结构变化:加列和列的字段类型变化
⚠️ 由于Doris/SelectDB支持聚合类型的表和聚合类型的字段,而聚合类型除了构建字段映射外还需要指定聚合的函数。这个很难通过规则一次性的完成,因此对于加列和字段类型变化后,需要重新构建字段类型映射的匹配是对于聚合类型的表和聚合的字段类型均不支持