跳到主要内容
版本:v5.13

版本说明

  1. 数据源 JDBC 模式支持 StarRocks 2.5.9、StarRocks 3.1.2、StarRocks 3.3.14 版本;
  2. 目的地 StarRocks Stream Load 写入模式支持 StarRocks 2.5.9、StarRocks 3.1.2、StarRocks 3.3.14 版本

读取模式

读取方式场景权限要求对应功能
JDBC批量同步场景,全量初始化GRANT SELECT ON TABLE INFORMATION_SCHEMA.TABLES TO USER 'db_user'@'%'; GRANT SELECT ON TABLE INFORMATION_SCHEMA.COLUMNS TO USER 'db_user'@'%'; GRANT SELECT ON TABLE table_name TO USER 'db_user'@'%';
1、选表以及视图,读取数据
2、任务运行,读取写入权限

写入模式

读取方式场景权限要求对应功能
StarRocks Stream Load写入GRANT SELECT ON TABLE INFORMATION_SCHEMA.TABLES TO USER 'db_user'@'%'; GRANT SELECT ON TABLE INFORMATION_SCHEMA.COLUMNS TO USER 'db_user'@'%'; GRANT SELECT ON TABLE table_name TO USER 'db_user'@'%'; GRANT INSERT ON TABLE table_name TO USER 'db_user'@'%'; GRANT UPDATE ON TABLE table_name TO USER 'db_user'@'%'; GRANT ALTER ON TABLE table_name TO USER 'db_user'@'%';
GRANT DELETE ON TABLE table_name TO USER 'db_user'@'%'; GRANT DROP ON TABLE table_name TO USER 'db_user'@'%'; -- 使用“同步前删除并重建表”的功能时需要此权限 GRANT CREATE TABLE ON DATABASE database_name TO USER 'db_user'@'%';
1、创建表
2、任务运行,读取写入权限
3、选表,写入数据
4、清空目的地表
5、结构变化

节点特性

表​

表类型JDBC 读取JDBC 写入创建
主键表支持支持支持
明细表支持支持支持
聚合表支持支持支持
更新表支持支持支持
提示

名字不建议有汉字,否则可能读取异常;

名字不建议有特殊字符,包含但不限于@,#,¥,$,%,^, …,*,( , ),~, ·,?, /, <, 《,》,>, [ , { , } , ] , 、,, |,;,:,", '等否则可能读取异常;

视图​

表类型JDBC 读取JDBC 写入
普通视图支持不支持
异步物化视图支持不支持
同步物化视图不支持不支持

索引​

表类型JDBC 读取创建
Bloom filter 索引不支持不支持
BITMAP 索引支持支持
N-Gram bloomfilter 索引不支持不支持
全文倒排索引不支持不支持

数据类型​

官网支持类型DP展示的类型读取写入创建
BIGINTBIGINT✔️✔️✔️
BOOLEANBOOLEAN✔️✔️✔️
DECIMALDECIMAL(p, s)✔️✔️✔️
DOUBLEDOUBLE✔️✔️✔️
FLOATFLOAT✔️✔️✔️
INTINT✔️✔️✔️
LARGEINTLARGEINT✔️✔️✔️
SMALLINTSMALLINT✔️✔️✔️
TINYINTTINYINT✔️✔️✔️
BINARY/VARBINARY❌
CHARCHAR(p)✔️✔️✔️
STRINGSTRING✔️✔️✔️
VARCHARVARCHAR(p)✔️✔️✔️
DATEDATE✔️✔️✔️
DATETIMEDATETIME✔️✔️✔️
ARRAYARRAY✔️✔️❌
JSONJSON✔️✔️✔️
MAP❌
STRUCT❌
BITMAPBITMAP✔️✔️✔️
HLL (HyperLogLog)HLL✔️✔️✔️

关于float字段的说明​

信息

当StarRocks作为数据同步目的地节点,源节点新增float字段并设置默认值时,需要注意:float字段的默认值必须为二进制位能够精确表示的值。在starrocks中:浮点数二进制表示原理

为什么 1.5 可以精确表示?

1.5 = 1 + 0.5 = 1 + 1/2 = 2^0 + 2^(-1)\ 二进制表示:1.1 (binary)

1.5 可以用有限的二进制位精确表示,就像十进制中的 0.5 一样简单。

为什么 3.14 无法精确表示?

3.14 在二进制中是一个无限循环小数,类似于十进制中的 1/3 = 0.333333...

在 32 位 FLOAT 中:

3.14 ≈ 3.140000104904175 (实际存储的值)

3.14 无法用有限的二进制位精确表示,就像你无法用有限的十进制位写出 1/3 一样

信息

总结

  • ✓ 可以精确表示的数字(2的幂次和):

    • 1.0, 0.5, 0.25, 0.125(2的幂次)
    • 1.5 (1+0.5), 2.5 (2+0.5), 1.75 (1+0.5+0.25)
  • ✗ 无法精确表示的数字:

    • 0.1, 0.2, 0.3(包含非2的幂次分数)
    • 3.14, 2.7, 9.99(包含复杂的小数部分)

类比理解,这就像:

  • 十进制:1/2 = 0.5 ✓ 可以精确表示,但 1/3 = 0.333... ✗ 无限循环
  • 二进制:1/2 = 0.1 ✓ 可以精确表示,但 1/10 = 0.0001100110011... ✗ 无限循环

StarRocks本身拒绝这样的默认值

DML​

读取​

读取模式DML识别捕获信息限制
JDBCINSERT源端读取支持的所有字段类型【限制】不支持列筛选

写入​

写入策略写入SQL语法限制
INSERTINSERT INTO …… VALUES……
UPDATEUPDATE …… SET …… WHERE……需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
DELETEDELETE FROM …… WHERE ……需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
MERGE需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。
IGNORE无不会写入目的地

DDL​

对于JDBC的方式,实际上DDL是靠结构比对捕获的,因此,需要增量数据触发diff。

DDL类型描述读取方式是否支持获取是否支持写入处理内容
drop table删除表JDBC✔️✔️
rename table重命名表JDBC❌❌
truncate table清空表JDBC❌✔️
add column添加列JDBC✔️✔️支持: 类型,精度,标度,默认值 不支持:指定位置、注释
drop column删除列JDBC✔️✔️
modify column修改列JDBC✔️✔️支持: 类型,精度,标度,默认值 不支持:调整位置、注释
rename column修改字段名称JDBC❌❌
create table新建表JDBC❌✔️

添加 StarRocks 数据节点操作步骤

新建弹窗界面选择了 StarRocks 节点类型之后,显示 StarRocks 的基本信息配置模板:

连接配置:

  • 名称:必须填写,50字符限制,是该数据源在 DataPipeline 的唯一标识,不允许重复
  • 描述:选填
  • 项目:必选,默认为「未分组」
  • 类型:必选
  • 版本:必选
  • 时区:必选,默认是 +8:00,即东八区
  • 服务器地址:必填
  • JDBC 端口:必填
  • Stream Load 端口:必填,可以填写 FE 的 HTTP 端口,也可以填写 BE 的 HTTP 端口
  • 数据库:必选,当您选择用户权限所有库时,在链路和任务中可以使用连接用户有权限的所有数据库;当您指定数据库后,在链路和任务中仅能使用指定的数据库
  • 认证方式:必选,支持口令认证和 LDAP 认证
  • 连接参数:输入 StarRocks JDBC 连接支持的所有连接参数

支持的数据类型​

序号字段类型是否支持
1TINYINT是
2SMALLINT是
3INT是
4BIGINT是
5LARGEINT是
6DECIMAL是
7DOUBLE是
8FLOAT是
9BOOLEAN是
10CHAR是
11STRING是
12VARCHAR是
13DATE是
14DATETIME是
15ARRAY否
16JSON是
17BITMAP是,明细模型不支持此类型
18HLL是,明细模型不支持此类型

注意事项​

警告
  • StarRocks 当前仅支持处理intetnal catalog(default catalog)的数据,暂不支持处理external catalog的数据
  • StarRocks做为目的地时,新增float类型字段设置默认值时默认值必须为二进制位精确表示的值