跳到主要内容
版本:v4.10

V4.6 版本更新日志

2024-03​

功能列表​

  • 新增功能:
    • 支持 Paimon 做数据目的地
  • 功能优化:
    • 适配 Gbase 8s 8.8 版本
    • AS400 数据源支持获取更新前数据

新增功能​

新增功能:支持 Paimon 做数据目的地​

功能背景
Apache Paimon (incubating) 目前属于Apache 软件基金会 (ASF) 的孵化项目,其原项目为由 Flink 官方维护的 Flink Table Store。Apache Paimon 设计为一个开源流数据湖平台,采用开放的数据格式和技术理念,不仅支持Flink SQL编写和本地查询,还可以与其他诸多业界主流计算引擎进行对接。包揽 Streaming 实时计算能力和 LakeHouse 架构优势,统一了存储,具有高速数据摄取,变更日志跟踪和高效的实时分析强大能力。
Apache Paimon 适用于需要在流数据上进行实时查询和分析的场景。它可以帮助用户更容易地构建流式数据湖,实现高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。例如在金融、电子商务、物联网等行业中,可以使用 Apache Paimon 来实现实时推荐、欺诈检测、异常检测等应用。此节点已在四川银行进行测试使用。
使用场景

  • 4.6 版本新增支持 Apache Paimon 0.5.0-incubating 版本作为数据目的地使用。
  • 支持通过 Paimon JAVA Client 将源端的增量和全量数据加载到 Paimon 目的地。

功能说明

  • DataPipeline支持 Apache Paimon 作为数据目的地。
  • Apache Paimon 作为目的地节点时,对字段类型的支持情况如下:
字段类型是否支持
1INTEGER支持
2TINYINT支持
3SMALLINT支持
4BIGINT支持
5DOUBLE支持
6ARRAY不支持
7CHAR支持
8VARCHAR支持
9BOOLEAN支持
10DATE支持
11TIME支持
12TIMESTAMP支持
13TIMESTAMP_WITH_LOCAL_TIME_ZONE支持
14DECIMAL支持
15FLOA支持
16ROW不支持
17BINARY支持
18VARBINARY支持
19MULTISET不支持
  • Apache Paimon 节点不支持导出创建目的地表语句,除此之外支持 DataPipeline 数据目的地的其他通用功能。

功能优化​

  • 适配 Gbase 8s 8.8 版本
    • 支持作为数据源使用,新增支持了 VARCHAR2 字段类型
  • AS400 数据源支持获取更新前数据

​