跳到主要内容
版本:v5.7

Doris/SelectDB

说明

:::color5 由于SelectDB 为Doris的商业版本,因此在配置时,选择该数据节点类型即可支持这这种数据节点。

:::

配置要求

在进行配置之前,请务必检查您的 Doris、SelectDB 数据节点是否符合平台要求,参考如下:

要求详情
版本要求数据源支持 JDBC 读取
数据目的地Doris/SelectDB Stream Load 写入支持 1.2 及以上版本、2.x 版本
数据目的地 Doris/SelectDB JDBC 写入支持 1.2、2.x 版本
权限要求JDBC 读取:
+ 系统表 INFORMATION_SCHEMA.TABLES、INFORMATION_SCHEMA.COLUMNS 的 SELECT_PRIV 权限
+ 同步库和表的 SELECT_PRIV权限
JDBC 写入:
+ 系统表 INFORMATION_SCHEMA.TABLES、INFORMATION_SCHEMA.COLUMNS 的 SELECT_PRIV 权限
+ 同步库和表的 SELECT_PRIV、LOAD_PRIV、DROP_PRIV、ALTER_PRIV、CREATE_PRIV 权限
Stream Load 写入:
+ 系统表 INFORMATION_SCHEMA.TABLES、INFORMATION_SCHEMA.COLUMNS 的 SELECT_PRIV 权限
+ 同步库和表的 SELECT_PRIV、LOAD_PRIV、DROP_PRIV、ALTER_PRIV、CREATE_PRIV 权限
其他要求无

操作步骤

新建弹窗界面选择了 Doris/SelectDB节点类型之后,显示 Doris/SelectDB 的基本信息配置模板:

连接配置:

  • 名称:必须填写,50字符限制,是该数据源在 DataPipeline 的唯一标识,不允许重复
  • 描述:选填
  • 项目:必选,默认为「未分组」
  • 类型:必选
  • 版本:必选
  • 时区:必选,默认是 +8:00,即东八区
  • 服务器地址:如果是集群,可以填写多个集群的地址+端口,用分号隔离
  • FE/BE接口地址:如果是集群,可以填写多个集群的地址+端口,用分号隔离,主要是Streamload需要使用的,如果不配置的话,不可以使用Streamload的功能写入。
  • 数据库:必选,当您选择用户权限所有库时,在链路和任务中可以使用连接用户有权限的所有数据库;当您指定数据库后,在链路和任务中仅能使用指定的数据库
  • 认证方式:必选,支持口令认证和 LDAP 认证
  • 通信加密方式:支持 TLS/SSL 加密
  • 连接参数:输入 Doris/SelectDB JDBC 连接支持的所有连接参数
    • 增加参数:key为fe_be_enable_https ;value 为 false 。默认值为false,方便用户根据需要选择http或者https接口连接

节点特性

表​

表类型JDBC 读取JDBC 写入创建
主键表支持支持支持
明细表支持支持支持
聚合表支持支持支持

视图​

表类型JDBC 读取JDBC 写入Stream Load写入
普通视图✔️❌❌
异步物化视图✔️❌❌
同步物化视图✔️❌❌

索引​

表类型JDBC 读取JDBC 写入Stream Load写入
BITMAP 索引✔️✔️✔️

:::color3

  • 不支持自动映射索引,仅支持手动创建索引
  • 聚合模型创建bitmap索引的列必须是聚合模型的Key
  • 所有模型在创建bitmap索引时不支持这些列类型:"FLOAT", "DOUBLE", "STRING", "JSONB", "HLL", "BITMAP", "ARRAY", "QUANTILE_STATE"

:::

数据类型​

支持的数据字段类型

序号字段类型是否支持
1BIGINT✔️
2LARGEINT✔️
3SMALLINT✔️
4TINYINT✔️
5BOOLEAN✔️
6DECIMAL✔️
7DOUBLE✔️
8FLOAT✔️
9INT✔️
10CHAR✔️
11VARCHAR✔️
12STRING✔️
13DATE✔️
14DATETIME✔️
15HLL✔️
16BITMAP✔️
17JSONB✔️
18QUANTILE_STATE✔️
19DECIMALV3✔️
20DATEV2✔️
21DATETIMEV2✔️

DML​

读取​

读取模式DML识别捕获信息限制
JDBCINSERT源端读取支持的所有字段类型【限制】不支持列筛选

写入​

写入策略写入SQL语法限制
INSERTINSERT INTO …… VALUES……
UPDATEUPDATE …… SET …… WHERE……需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
DELETEDELETE FROM …… WHERE ……需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
MERGE需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
IGNORE无不会写入目的地

DDL​

对于JDBC的方式,实际上DDL是靠结构比对捕获的,因此,需要增量数据触发diff。

DDL类型描述读取方式是否支持获取是否支持写入支持的结构变化策略
drop table删除表JDBC✔️✔️+ 暂停
+ 持续扫描并保留数据目的地表和数据
+ 删除映射并保留数据目的地表和数据
add column添加列JDBC✔️✔️+ 暂停
+ 忽略新增字段
+ 为新增字段建立映射并同步新增字段
drop column删除列JDBC✔️✔️+ 暂停
+ 删除映射但保留目的地表中字段和数据,并写入空值
+ 删除映射并删除目的地表中字段和数据
modify column修改列JDBC✔️✔️+ 暂停
+ 忽略,按照当前字段映射继续同步
+ 按照源的字段变化,重新匹配语义映射规则,继续同步

:::color3 注意:

因为是靠diff的方式,比对出的数据结构的变化,因此无法保障顺序一致性。但是可以保证最终一致性。

当源端发生了rename column的操作时,会被识别成加列和删列,从而触发两种类型的DDL变化。

当源端发生了drop table 或者rename table时,此时任务激活时查询到要同步的目标表,会发现待同步的目标表不存在会触发删表的结构变化。

:::

有限支持的结构变化:加列和列的字段类型变化

提示

⚠️ 由于Doris/SelectDB支持聚合类型的表和聚合类型的字段,而聚合类型除了构建字段映射外还需要指定聚合的函数。这个很难通过规则一次性的完成,因此对于加列和字段类型变化后,需要重新构建字段类型映射的匹配是对于聚合类型的表和聚合的字段类型均不支持

  • 聚合模型如果修改 value列,需要指定 agg_type
  • 非聚合类型如果修改 key 列,需要指定 KEY 关键字
  • 只能修改列的类型,列的其他属性维持原样(即其他属性需在语句中按照原属性显式的写出)
  • 分区列和分桶列不能做任何修改