版本:v3.7
V3.7 更新日志
2023-08
新增功能
新增功能:支持 StarRocks 做数据目的地
功能背景
StarRocks 是一款高性能分析型数据仓库,使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的数据源高效导入数据,也支持直接分析数据湖上各种格式的数据。StarRocks 兼容 MySQL 协议,可使用 MySQL 客户端和常用 BI 工具对接。同时 StarRocks 具备水平扩展,高可用、高可靠、易运维等特性。广泛应用于实时数仓、OLAP 报表、数据湖分析等场景。
使用场景
- StarRocks 目前支持 2.5 版本,在DataPipeline 3.7 版本中可作为数据目的地使用。
- 作为目的地使用,可以使用 Stream Load 写入方式,将源端的增量和全量数据写入到 StarRocks 目的地。
功能说明
- DataPipeline支持 StarRocks 作为数据目的地。
- StarRocks 作为目的地节点时,对字段类型的支持情况如下:
- 支持的数据类型
| 序号 | 字段类型 | 是否支持 |
|---|---|---|
| 1 | TINYINT | 是 |
| 2 | SMALLINT | 是 |
| 3 | INT | 是 |
| 4 | BIGINT | 是 |
| 5 | LARGEINT | 是 |
| 6 | DECIMAL | 是 |
| 7 | DOUBLE | 是 |
| 8 | FLOAT | 是 |
| 9 | BOOLEAN | 是 |
| 10 | CHAR | 是 |
| 11 | STRING | 是 |
| 12 | VARCHAR | 是 |
| 13 | DATE | 是 |
| 14 | DATETIME | 是 |
| 15 | ARRAY | 否 |
| 16 | JSON | 是 |
| 17 | BITMAP | 是,明细模型不支持此类型 |
| 18 | HLL | 是,明细模型不支持此类型 |
- 支持在数据写入 StarRocks 过程中开启事务
- StarRocks 节点支持 DataPipeline 数据目的地的所有通用功能