版本:v4.11
V4.6 版本更新日志
2024-03
功能列表
新增功能
新增功能:支持 Paimon 做数据目的地
功能背景
Apache Paimon (incubating) 目前属于Apache 软件基金会 (ASF) 的孵化项目,其原项目为由 Flink 官方维护的 Flink Table Store。Apache Paimon 设计为一个开源流数据湖平台,采用开放的数据格式和技术理念,不仅支持Flink SQL编写和本地查询,还可以与其他诸多业界主流计算引擎进行对接。包揽 Streaming 实时计算能力和 LakeHouse 架构优势,统一了存储,具有高速数据摄取,变更日志跟踪和高效的实时分析强大能力。
Apache Paimon 适用于需要在流数据上进行实时查询和分析的场景。它可以帮助用户更容易地构建流式数据湖,实现高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。例如在金融、电子商务、物联网等行业中,可以使用 Apache Paimon 来实现实时推荐、欺诈检测、异常检测等应用。此节点已在四川银行进行测试使用。
使用场景
- 4.6 版本新增支持 Apache Paimon 0.5.0-incubating 版本作为数据目的地使用。
- 支持通过 Paimon JAVA Client 将源端的增量和全量数据加载到 Paimon 目的地。
功能说明
- DataPipeline支持 Apache Paimon 作为数据目的地。
- Apache Paimon 作为目的地节点时,对字段类型的支持情况如下:
| 字段类型 | 是否支持 | |
|---|---|---|
| 1 | INTEGER | 支持 |
| 2 | TINYINT | 支持 |
| 3 | SMALLINT | 支持 |
| 4 | BIGINT | 支持 |
| 5 | DOUBLE | 支持 |
| 6 | ARRAY | 不支持 |
| 7 | CHAR | 支持 |
| 8 | VARCHAR | 支持 |
| 9 | BOOLEAN | 支持 |
| 10 | DATE | 支持 |
| 11 | TIME | 支持 |
| 12 | TIMESTAMP | 支持 |
| 13 | TIMESTAMP_WITH_LOCAL_TIME_ZONE | 支持 |
| 14 | DECIMAL | 支持 |
| 15 | FLOA | 支持 |
| 16 | ROW | 不支持 |
| 17 | BINARY | 支持 |
| 18 | VARBINARY | 支持 |
| 19 | MULTISET | 不支持 |