版本:v5.12
Doris/SelectDB
说明
:::color5 由于SelectDB 为Doris的商业版本,因此在配置时,选择该数据节点类型即可支持这这种数据节点。
:::
版本说明
在进行配置之前,请务必检查您的 Doris、SelectDB 数据节点是否符合平台要求,参考如下:
| 节点 | 读取模式 | 版本要求 | 权限要求 |
|---|---|---|---|
| 数据源节点 | JDBC | JDBC 读取支持 1.2、2.0、2.1、3.1.4 及 4.x 版本 | + 系统表 INFORMATION_SCHEMA.TABLES、INFORMATION_SCHEMA.COLUMNS 的 SELECT_PRIV 权限 + 同步库和表的 SELECT_PRIV权限 |
| 目的地节点 | JDBC | JDBC 写入支持 1.2、2.0、2.1、3.1.4 及 4.x 版本 | + 系统表 INFORMATION_SCHEMA.TABLES、INFORMATION_SCHEMA.COLUMNS 的 SELECT_PRIV 权限 + 同步库和表的 SELECT_PRIV、LOAD_PRIV、DROP_PRIV、ALTER_PRIV、CREATE_PRIV 权限 |
| Stream Load | Stream Load 写入支持 1.2、2.0、2.1、3.1.4 及 4.x 版本 | + 系统表 INFORMATION_SCHEMA.TABLES、INFORMATION_SCHEMA.COLUMNS 的 SELECT_PRIV 权限 + 同步库和表的 SELECT_PRIV、LOAD_PRIV、DROP_PRIV、ALTER_PRIV、CREATE_PRIV 权限 |
操作步骤
新建弹窗界面选择了 Doris/SelectDB节点类型之后,显示 Doris/SelectDB 的基本信息配置模板:
连接配置:
- 名称:必须填写,50字符限制,是该数据源在 DataPipeline 的唯一标识,不允许重复
- 描述:选填
- 项目:必选,默认为「未分组」
- 类型:必选
- 版本:必选
- 时区:必选,默认是 +8:00,即东八区
- 服务器地址:如果是集群,可以填写多个集群的地址+端口,用分号隔离
- FE/BE接口地址:如果是集群,可以填写多个集群的地址+端口,用分号隔离,主要是Streamload需要使用的,如果不配置的话,不可以使用Streamload的功能写入。
- 数据库:必选,当您选择用户权限所有库时,在链路和任务中可以使用连接用户有权限的所有数据库;当您指定数据库后,在链路和任务中仅能使用指定的数据库
- 认证方式:必选,支持口令认证和 LDAP 认证
- 通信加密方式:支持 TLS/SSL 加密
- 连接参数:输入 Doris/SelectDB JDBC 连接支持的所有连接参数
- 增加参数:key为fe_be_enable_https ;value 为 false 。默认值为false,方便用户根据需要选择http或者https接口连接
节点特性
表
| 表类型 | JDBC 读取 | JDBC 写入 | 创建 |
|---|---|---|---|
| 主键表 | 支持 | 支持 | 支持 |
| 明细表 | 支持 | 支持 | 支持 |
| 聚合表 | 支持 | 支持 | 支持 |
视图
| 表类型 | JDBC 读取 | JDBC 写入 | Stream Load写入 |
|---|---|---|---|
| 普通视图 | ✔️ | ❌ | ❌ |
| 异步物化视图 | ✔️ | ❌ | ❌ |
| 同步物化视图 | ✔️ | ❌ | ❌ |
索引
| 表类型 | JDBC 读取 | JDBC 写入 | Stream Load写入 |
|---|---|---|---|
| BITMAP 索引 | ✔️ | ✔️ | ✔️ |
:::color3
- 不支持自动映射索引,仅支持手动创建索引
- 聚合模型创建bitmap索引的列必须是聚合模型的Key
- 所有模型在创建bitmap索引时不支持这些列类型:"FLOAT", "DOUBLE", "STRING", "JSONB", "HLL", "BITMAP", "ARRAY", "QUANTILE_STATE"
:::
数据类型
支持的数据字段类型
| 序号 | 字段类型 | 是否支持 |
|---|---|---|
| 1 | BIGINT | ✔️ |
| 2 | LARGEINT | ✔️ |
| 3 | SMALLINT | ✔️ |
| 4 | TINYINT | ✔️ |
| 5 | BOOLEAN | ✔️ |
| 6 | DECIMAL | ✔️ |
| 7 | DOUBLE | ✔️ |
| 8 | FLOAT | ✔️ |
| 9 | INT | ✔️ |
| 10 | CHAR | ✔️ |
| 11 | VARCHAR | ✔️ |
| 12 | STRING | ✔️ |
| 13 | DATE | ✔️ |
| 14 | DATETIME | ✔️ |
| 15 | HLL | ✔️ |
| 16 | BITMAP | ✔️ |
| 17 | JSONB | ✔️ |
| 18 | QUANTILE_STATE | ✔️ |
| 19 | DECIMALV3 | ✔️ |
| 20 | DATEV2 | ✔️ |
| 21 | DATETIMEV2 | ✔️ |
DML
读取
| 读取模式 | DML识别 | 捕获信息 | 限制 |
|---|---|---|---|
| JDBC | INSERT | 源端读取支持的所有字段类型 | 【限制】不支持列筛选 |
写入
| 写入策略 | 写入SQL语法 | 限制 |
|---|---|---|
| INSERT | INSERT INTO …… VALUES…… | |
| UPDATE | UPDATE …… SET …… WHERE…… | 需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。 |
| DELETE | DELETE FROM …… WHERE …… | 需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。 |
| MERGE | 需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。 | |
| IGNORE | 无 | 不会写入目的地 |
DDL
对于JDBC的方式,实际上DDL是靠结构比对捕获的,因此,需要增量数据触发diff。
| DDL类型 | 描述 | 读取方式 | 是否支持获取 | 是否支持写入 | 支持的结构变化策略 |
|---|---|---|---|---|---|
| drop table | 删除表 | JDBC | ✔️ | ✔️ | + 暂停 + 持续扫描并保留数据目的地表和数据 + 删除映射并保留数据目的地表和数据 |
| add column | 添加列 | JDBC | ✔️ | ✔️ | + 暂停 + 忽略新增字段 + 为新增字段建立映射并同步新增字段 |
| drop column | 删除列 | JDBC | ✔️ | ✔️ | + 暂停 + 删除映射但保留目的地表中字段和数据,并写入空值 + 删除映射并删除目的地表中字段和数据 |
| modify column | 修改列 | JDBC | ✔️ | ✔️ | + 暂停 + 忽略,按照当前字段映射继续同步 + 按照源的字段变化,重新匹配语义映射规则,继续同步 |
:::color3 注意:
因为是靠diff的方式,比对出的数据结构的变化,因此无法保障顺序一致性。但是可以保证最终一致性。
当源端发生了rename column的操作时,会被识别成加列和删列,从而触发两种类型的DDL变化。
当源端发生了drop table 或者rename table时,此时任务激活时查询到要同步的目标表,会发现待同步的目标表不存在会触发删表的结构变化。
:::
有限支持的结构变化:加列和列的字段类型变化
提示
⚠️ 由于Doris/SelectDB支持聚合类型的表和聚合类型的字段,而聚合类型除了构建字段映射外还需要指定聚合的函数。这个很难通过规则一次性的完成,因此对于加列和字段类型变化后,需要重新构建字段类型映射的匹配是对于聚合类型的表和聚合的字段类型均不支持
- 聚合模型如果修改 value列,需要指定 agg_type
- 非聚合类型如果修改 key 列,需要指定 KEY 关键字
- 只能修改列的类型,列的其他属性维持原样(即其他属性需在语句中按照原属性显式的写出)
- 分区列和分桶列不能做任何修改