跳到主要内容
版本:v3.7

V3.7 更新日志

2023-08​

新增功能​

新增功能:支持 StarRocks 做数据目的地​

功能背景

StarRocks 是一款高性能分析型数据仓库,使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的数据源高效导入数据,也支持直接分析数据湖上各种格式的数据。StarRocks 兼容 MySQL 协议,可使用 MySQL 客户端和常用 BI 工具对接。同时 StarRocks 具备水平扩展,高可用、高可靠、易运维等特性。广泛应用于实时数仓、OLAP 报表、数据湖分析等场景。

使用场景

  • StarRocks 目前支持 2.5 版本,在DataPipeline 3.7 版本中可作为数据目的地使用。
  • 作为目的地使用,可以使用 Stream Load 写入方式,将源端的增量和全量数据写入到 StarRocks 目的地。

功能说明

  • DataPipeline支持 StarRocks 作为数据目的地。
  • StarRocks 作为目的地节点时,对字段类型的支持情况如下:
  • 支持的数据类型
序号字段类型是否支持
1TINYINT是
2SMALLINT是
3INT是
4BIGINT是
5LARGEINT是
6DECIMAL是
7DOUBLE是
8FLOAT是
9BOOLEAN是
10CHAR是
11STRING是
12VARCHAR是
13DATE是
14DATETIME是
15ARRAY否
16JSON是
17BITMAP是,明细模型不支持此类型
18HLL是,明细模型不支持此类型
  • 支持在数据写入 StarRocks 过程中开启事务
  • StarRocks 节点支持 DataPipeline 数据目的地的所有通用功能