版本:v4.9
V4.3 版本更新日志
2023-10
功能列表
新增功能
新增功能:支持 StarRocks 做数据目的地
功能背景
StarRocks 是一款高性能分析型数据仓库,使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的数据源高效导入数据,也支持直接分析数据湖上各种格式的数据。StarRocks 兼容 MySQL 协议,可使用 MySQL 客户端和常用 BI 工具对接。同时 StarRocks 具备水平扩展,高可用、高可靠、易运维等特性。广泛应用于实时数仓、OLAP 报表、数据湖分析等场景。
使用场景
- StarRocks 目前支持 2.5 版本,在DataPipeline 4.3 版本中可作为数据目的地使用。
- 作为目的地使用,可以使用 Stream Load 写入方式,将源端的增量和全量数据写入到 StarRocks 目的地。
功能说明
- DataPipeline支持 StarRocks 作为数据目的地。
- StarRocks 作为目的地节点时,对字段类型的支持情况如下:
- 支持的数据类型
| 序号 | 字段类型 | 是否支持 |
|---|---|---|
| 1 | TINYINT | 是 |
| 2 | SMALLINT | 是 |
| 3 | INT | 是 |
| 4 | BIGINT | 是 |
| 5 | LARGEINT | 是 |
| 6 | DECIMAL | 是 |
| 7 | DOUBLE | 是 |
| 8 | FLOAT | 是 |
| 9 | BOOLEAN | 是 |
| 10 | CHAR | 是 |
| 11 | STRING | 是 |
| 12 | VARCHAR | 是 |
| 13 | DATE | 是 |
| 14 | DATETIME | 是 |
| 15 | ARRAY | 否 |
| 16 | JSON | 是 |
| 17 | BITMAP | 是,明细模型不支持此类型 |
| 18 | HLL | 是,明细模型不支持此类型 |
新增功能:支持捕获并处理分区结构变化
功能背景
在数据同步过程中,保持源数据库和目标数据库之间数据的一致性是至关重要的。当源数据库分区操作引起表内数据发生变化(比如 truncate partition)时,如果这些操作没有正确在目标数据库处理,可能会导致数据不一致和错误。因此,DataPipeline 4.3 版本支持处理分区结构变化策略。
使用场景
- 源数据库移除分区或清空分区引起数据变化时,可配置此策略。
功能说明
- 当数据源表移除分区或清空分区后,可通过配置策略,在目的地执行相同的分区操作。
功能优化
功能优化:节点版本适配 - CDH 7.1.7平台 3.1.3 版本 Hive,CDH 7.1.7平台 3.1.x 版本 HDFS
- 支持数据源与目的地。
- 支持增量定时获取、指定范围获取 Hive 节点数据。
- 支持增量定时获取 HDFS 节点数据