版本:v5.0
版本说明
- 数据源 JDBC 模式支持 2.5、3.1.x、3.3.x 版本;
- 目的地 StarRocks Stream Load 写入模式支持 2.5、3.1.x、3.3.x 版本
读取模式
| 读取方式 | 场景 | 权限要求 | 对应功能 |
|---|---|---|---|
| JDBC | 批量同步场景,全量初始化 | GRANT SELECT ON TABLE INFORMATION_SCHEMA.TABLES TO USER 'db_user'@'%'; GRANT SELECT ON TABLE INFORMATION_SCHEMA.COLUMNS TO USER 'db_user'@'%'; GRANT SELECT ON TABLE table_name TO USER 'db_user'@'%'; | 1、选表以及视图,读取数据 2、任务运行,读取写入权限 |
写入模式
| 读取方式 | 场景 | 权限要求 | 对应功能 |
|---|---|---|---|
| StarRocks Stream Load | 写入 | GRANT SELECT ON TABLE INFORMATION_SCHEMA.TABLES TO USER 'db_user'@'%'; GRANT SELECT ON TABLE INFORMATION_SCHEMA.COLUMNS TO USER 'db_user'@'%'; GRANT SELECT ON TABLE table_name TO USER 'db_user'@'%'; GRANT INSERT ON TABLE table_name TO USER 'db_user'@'%'; GRANT UPDATE ON TABLE table_name TO USER 'db_user'@'%'; GRANT ALTER ON TABLE table_name TO USER 'db_user'@'%'; GRANT DELETE ON TABLE table_name TO USER 'db_user'@'%'; GRANT DROP ON TABLE table_name TO USER 'db_user'@'%'; -- 使用“同步前删除并重建表”的功能时需要此权限 GRANT CREATE TABLE ON DATABASE database_name TO USER 'db_user'@'%'; | 1、创建表 2、任务运行,读取写入权限 3、选表,写入数据 4、清空目的地表 5、结构变化 |
节点特性
表
| 表类型 | JDBC 读取 | JDBC 写入 | 创建 |
|---|---|---|---|
| 主键表 | 支持 | 支持 | 支持 |
| 明细表 | 支持 | 支持 | 支持 |
| 聚合表 | 支持 | 支持 | 支持 |
| 更新表 | 支持 | 支持 | 支持 |
提示
名字不建议有汉字,否则可能读取异常;
名字不建议有特殊字符,包含但不限于@,#,¥,$,%,^, …,*,( , ),~, ·,?, /, <, 《,》,>, [ , { , } , ] , 、,, |,;,:,", '等否则可能读取异常;
视图
| 表类型 | JDBC 读取 | JDBC 写入 |
|---|---|---|
| 普通视图 | 支持 | 不支持 |
| 异步物化视图 | 支持 | 不支持 |
| 同步物化视图 | 不支持 | 不支持 |
索引
| 表类型 | JDBC 读取 | 创建 |
|---|---|---|
| Bloom filter 索引 | 不支持 | 不支持 |
| BITMAP 索引 | 支持 | 支持 |
| N-Gram bloomfilter 索引 | 不支持 | 不支持 |
| 全文倒排索引 | 不支持 | 不支持 |
数据类型
| 官网支持类型 | DP展示的类型 | 读取 | 写入 | 创建 |
|---|---|---|---|---|
| BIGINT | BIGINT | ✔️ | ✔️ | ✔️ |
| BOOLEAN | BOOLEAN | ✔️ | ✔️ | ✔️ |
| DECIMAL | DECIMAL(p, s) | ✔️ | ✔️ | ✔️ |
| DOUBLE | DOUBLE | ✔️ | ✔️ | ✔️ |
| FLOAT | FLOAT | ✔️ | ✔️ | ✔️ |
| INT | INT | ✔️ | ✔️ | ✔️ |
| LARGEINT | LARGEINT | ✔️ | ✔️ | ✔️ |
| SMALLINT | SMALLINT | ✔️ | ✔️ | ✔️ |
| TINYINT | TINYINT | ✔️ | ✔️ | ✔️ |
| BINARY/VARBINARY | ❌ | |||
| CHAR | CHAR(p) | ✔️ | ✔️ | ✔️ |
| STRING | STRING | ✔️ | ✔️ | ✔️ |
| VARCHAR | VARCHAR(p) | ✔️ | ✔️ | ✔️ |
| DATE | DATE | ✔️ | ✔️ | ✔️ |
| DATETIME | DATETIME | ✔️ | ✔️ | ✔️ |
| ARRAY | ARRAY | ✔️ | ✔️ | ❌ |
| JSON | JSON | ✔️ | ✔️ | ✔️ |
| MAP | ❌ | |||
| STRUCT | ❌ | |||
| BITMAP | BITMAP | ✔️ | ✔️ | ✔️ |
| HLL (HyperLogLog) | HLL | ✔️ | ✔️ | ✔️ |
DML
读取
| 读取模式 | DML识别 | 捕获信息 | 限制 |
|---|---|---|---|
| JDBC | INSERT | 源端读取支持的所有字段类型 | 【限制】不支持列筛选 |
写入
| 写入策略 | 写入SQL语法 | 限制 |
|---|---|---|
| INSERT | INSERT INTO …… VALUES…… | |
| UPDATE | UPDATE …… SET …… WHERE…… | 需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。 |
| DELETE | DELETE FROM …… WHERE …… | 需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。 |
| MERGE | 需要在目的地指定逻辑主键,如果未指定逻辑主键,会使用映射上配置的主键作为逻辑主键。 | |
| IGNORE | 无 | 不会写入目的地 |
DDL
对于JDBC的方式,实际上DDL是靠结构比对捕获的,因此,需要增量数据触发diff。
| DDL类型 | 描述 | 读取方式 | 是否支持获取 | 是否支持写入 | 处理内容 |
|---|---|---|---|---|---|
| drop table | 删除表 | JDBC | ✔️ | ✔️ | |
| rename table | 重命名表 | JDBC | ❌ | ❌ | |
| truncate table | 清空表 | JDBC | ❌ | ✔️ | |
| add column | 添加列 | JDBC | ✔️ | ✔️ | 支持: 类型,精度,标度,默认值 不支持:指定位置、注释 |
| drop column | 删除列 | JDBC | ✔️ | ✔️ | |
| modify column | 修改列 | JDBC | ✔️ | ✔️ | 支持: 类型,精度,标度,默认值 不支持:调整位置、注释 |
| rename column | 修改字段名称 | JDBC | ❌ | ❌ | |
| create table | 新建表 | JDBC | ❌ | ✔️ |
添加 StarRocks 数据节点操作步骤
新建弹窗界面选择了 StarRocks 节点类型之后,显示 StarRocks 的基本信息配置模板:
连接配置:
- 名称:必须填写,50字符限制,是该数据源在 DataPipeline 的唯一标识,不允许重复
- 描述:选填
- 项目:必选,默认为「未分组」
- 类型:必选
- 版本:必选
- 时区:必选,默认是 +8:00,即东八区
- 服务器地址:必填
- JDBC 端口:必填
- Stream Load 端口:必填,可以填写 FE 的 HTTP 端口,也可以填写 BE 的 HTTP 端口
- 数据库:必选,当您选择用户权限所有库时,在链路和任务中可以使用连接用户有权限的所有数据库;当您指定数据库后,在链路和任务中仅能使用指定的数据库
- 认证方式:必选,支持口令认证和 LDAP 认证
- 连接参数:输入 StarRocks JDBC 连接支持的所有连接参数
支持的数据类型
| 序号 | 字段类型 | 是否支持 |
|---|---|---|
| 1 | TINYINT | 是 |
| 2 | SMALLINT | 是 |
| 3 | INT | 是 |
| 4 | BIGINT | 是 |
| 5 | LARGEINT | 是 |
| 6 | DECIMAL | 是 |
| 7 | DOUBLE | 是 |
| 8 | FLOAT | 是 |
| 9 | BOOLEAN | 是 |
| 10 | CHAR | 是 |
| 11 | STRING | 是 |
| 12 | VARCHAR | 是 |
| 13 | DATE | 是 |
| 14 | DATETIME | 是 |
| 15 | ARRAY | 否 |
| 16 | JSON | 是 |
| 17 | BITMAP | 是,明细模型不支持此类型 |
| 18 | HLL | 是,明细模型不支持此类型 |
注意事项
警告
- StarRocks 当前仅支持处理intetnal catalog(default catalog)的数据,暂不支持处理external catalog的数据