跳到主要内容
版本:v4.3

V4.3 版本更新日志

2023-10​

功能列表​

  • 支持 StarRocks 做数据目的地
  • 支持捕获并处理分区结构变化

新增功能​

新增功能:支持 StarRocks 做数据目的地​

功能背景
StarRocks 是一款高性能分析型数据仓库,使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的数据源高效导入数据,也支持直接分析数据湖上各种格式的数据。StarRocks 兼容 MySQL 协议,可使用 MySQL 客户端和常用 BI 工具对接。同时 StarRocks 具备水平扩展,高可用、高可靠、易运维等特性。广泛应用于实时数仓、OLAP 报表、数据湖分析等场景。

使用场景

  • StarRocks 目前支持 2.5 版本,在DataPipeline 4.3 版本中可作为数据目的地使用。
  • 作为目的地使用,可以使用 Stream Load 写入方式,将源端的增量和全量数据写入到 StarRocks 目的地。

功能说明

  • DataPipeline支持 StarRocks 作为数据目的地。
  • StarRocks 作为目的地节点时,对字段类型的支持情况如下:
  • 支持的数据类型
序号字段类型是否支持
1TINYINT是
2SMALLINT是
3INT是
4BIGINT是
5LARGEINT是
6DECIMAL是
7DOUBLE是
8FLOAT是
9BOOLEAN是
10CHAR是
11STRING是
12VARCHAR是
13DATE是
14DATETIME是
15ARRAY否
16JSON是
17BITMAP是,明细模型不支持此类型
18HLL是,明细模型不支持此类型
  • 支持在数据写入 StarRocks 过程中开启事务
  • StarRocks 节点支持 DataPipeline 数据目的地的所有通用功能

新增功能:支持捕获并处理分区结构变化​

功能背景
在数据同步过程中,保持源数据库和目标数据库之间数据的一致性是至关重要的。当源数据库分区操作引起表内数据发生变化(比如 truncate partition)时,如果这些操作没有正确在目标数据库处理,可能会导致数据不一致和错误。因此,DataPipeline 4.3 版本支持处理分区结构变化策略。
使用场景

  • 源数据库移除分区或清空分区引起数据变化时,可配置此策略。

功能说明

  • 当数据源表移除分区或清空分区后,可通过配置策略,在目的地执行相同的分区操作。

功能优化​

功能优化:节点版本适配 - CDH 7.1.7平台 3.1.3 版本 Hive,CDH 7.1.7平台 3.1.x 版本 HDFS​

  • 支持数据源与目的地。
  • 支持增量定时获取、指定范围获取 Hive 节点数据。
  • 支持增量定时获取 HDFS 节点数据