跳到主要内容
版本:v4.14

版本说明

  1. 数据源 JDBC 模式支持 2.5、3.1.x 版本;
  2. 目的地 StarRocks Stream Load 写入模式支持 2.5、3.1.x 版本

读取模式

读取方式场景权限要求对应功能
JDBC批量同步场景,全量初始化GRANT SELECT ON TABLE INFORMATION_SCHEMA.TABLES TO USER 'db_user'@'%'; GRANT SELECT ON TABLE INFORMATION_SCHEMA.COLUMNS TO USER 'db_user'@'%'; GRANT SELECT ON TABLE table_name TO USER 'db_user'@'%';
1、选表以及视图,读取数据
2、任务运行,读取写入权限

写入模式

读取方式场景权限要求对应功能
StarRocks Stream Load写入GRANT SELECT ON TABLE INFORMATION_SCHEMA.TABLES TO USER 'db_user'@'%'; GRANT SELECT ON TABLE INFORMATION_SCHEMA.COLUMNS TO USER 'db_user'@'%'; GRANT SELECT ON TABLE table_name TO USER 'db_user'@'%'; GRANT INSERT ON TABLE table_name TO USER 'db_user'@'%'; GRANT UPDATE ON TABLE table_name TO USER 'db_user'@'%'; GRANT ALTER ON TABLE table_name TO USER 'db_user'@'%';
GRANT DELETE ON TABLE table_name TO USER 'db_user'@'%'; GRANT DROP ON TABLE table_name TO USER 'db_user'@'%'; -- 使用“同步前删除并重建表”的功能时需要此权限 GRANT CREATE TABLE ON DATABASE database_name TO USER 'db_user'@'%';
1、创建表
2、任务运行,读取写入权限
3、选表,写入数据
4、清空目的地表
5、结构变化

节点特性

表​

表类型JDBC 读取JDBC 写入创建
主键表支持支持支持
明细表支持支持支持
聚合表支持支持支持
更新表支持支持支持

视图​

表类型JDBC 读取JDBC 写入
普通视图支持不支持
异步物化视图支持不支持
同步物化视图不支持不支持

索引​

表类型JDBC 读取创建
Bloom filter 索引不支持不支持
BITMAP 索引支持支持
N-Gram bloomfilter 索引不支持不支持
全文倒排索引不支持不支持

数据类型​

官网支持类型DP展示的类型读取写入创建
BIGINTBIGINT✔️✔️✔️
BOOLEANBOOLEAN✔️✔️✔️
DECIMALDECIMAL(p, s)✔️✔️✔️
DOUBLEDOUBLE✔️✔️✔️
FLOATFLOAT✔️✔️✔️
INTINT✔️✔️✔️
LARGEINTLARGEINT✔️✔️✔️
SMALLINTSMALLINT✔️✔️✔️
TINYINTTINYINT✔️✔️✔️
BINARY/VARBINARY❌
CHARCHAR(p)✔️✔️✔️
STRINGSTRING✔️✔️✔️
VARCHARVARCHAR(p)✔️✔️✔️
DATEDATE✔️✔️✔️
DATETIMEDATETIME✔️✔️✔️
ARRAYARRAY✔️✔️❌
JSONJSON✔️✔️✔️
MAP❌
STRUCT❌
BITMAPBITMAP✔️✔️✔️
HLL (HyperLogLog)HLL✔️✔️✔️

DML​

读取​

读取模式DML识别捕获信息限制
JDBCINSERT源端读取支持的所有字段类型【限制】不支持列筛选

写入​

写入策略写入SQL语法限制
INSERTINSERT INTO …… VALUES……
UPDATEUPDATE …… SET …… WHERE……需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
DELETEDELETE FROM …… WHERE ……需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
MERGE需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
IGNORE无不会写入目的地

DDL​

对于JDBC的方式,实际上DDL是靠结构比对捕获的,因此,需要增量数据触发diff。

DDL类型描述读取方式是否支持获取是否支持写入处理内容
drop table删除表JDBC✔️✔️
rename table重命名表JDBC❌❌
truncate table清空表JDBC❌✔️
add column添加列JDBC✔️✔️支持: 类型,精度,标度,默认值 不支持:指定位置、注释
drop column删除列JDBC✔️✔️
modify column修改列JDBC✔️✔️支持: 类型,精度,标度,默认值 不支持:调整位置、注释
rename column修改字段名称JDBC❌❌
create table新建表JDBC❌✔️

添加 StarRocks 数据节点操作步骤

新建弹窗界面选择了 StarRocks 节点类型之后,显示 StarRocks 的基本信息配置模板:

连接配置:

  • 名称:必须填写,50字符限制,是该数据源在 DataPipeline 的唯一标识,不允许重复
  • 描述:选填
  • 项目:必选,默认为「未分组」
  • 类型:必选
  • 版本:必选
  • 时区:必选,默认是 +8:00,即东八区
  • 服务器地址:必填
  • JDBC 端口:必填
  • Stream Load 端口:必填,可以填写 FE 的 HTTP 端口,也可以填写 BE 的 HTTP 端口
  • 数据库:必选,当您选择用户权限所有库时,在链路和任务中可以使用连接用户有权限的所有数据库;当您指定数据库后,在链路和任务中仅能使用指定的数据库
  • 认证方式:必选,支持口令认证和 LDAP 认证
  • 连接参数:输入 StarRocks JDBC 连接支持的所有连接参数

支持的数据类型​

序号字段类型是否支持
1TINYINT是
2SMALLINT是
3INT是
4BIGINT是
5LARGEINT是
6DECIMAL是
7DOUBLE是
8FLOAT是
9BOOLEAN是
10CHAR是
11STRING是
12VARCHAR是
13DATE是
14DATETIME是
15ARRAY否
16JSON是
17BITMAP是,明细模型不支持此类型
18HLL是,明细模型不支持此类型

注意事项​

警告
  • StarRocks 支持做数据目的地,暂不支持做数据源。