跳到主要内容
版本:v4.7

V3.1 新版本说明

荷风送香气,竹露滴清响。DataPipeline 在 6 月迎来了 3.1 版本更新。

在 3.1 版本中,我们新增了支持阿里云 Maxcompute 数据节点、通过 InfoSphere Data Replication 获取 Oracle 增量数据;对 Kafka 数据节点 Topic 序列化器设置、数据映射配置进行了操作优化。

功能更新:​

MaxCompute 数据节点​

3.1 版本 Datapipeline 新增加了 MaxCompute 的数据节点的支持。该节点可以作为源及目的地。当作为目的地时支持 MaxCompute 在目的地创建分区表及非分区表,或者选择已有表进行数据同步。当作为数据源时增量读取及范围读取等多种读取方式,目前支持的数据类型为 2.0。暂不支持 MaxCompute 的外表场景。

Oracle 支持通过 InfoSphere Data Replication 获取数据​

对于实时获取 Oracle 数据源的增量数据,DataPipeline 已经支持了通过自研采集代理程序与 LogMiner 的数据获取方式;这些方式可以支持 Linux、Windows 服务器的环境。在一些客户的场景中,Oracle 数据源可能在 AIX 环境中,通过 InfoSphere Data Replication,DataPipeline 也得到了采集 AIX Oracle 数据库增量数据的能力。

结构变化策略新增支持数据字段类型及精度标度 DDL 处理策略​

当前 DataPipeline 已经支持的结构变化包含了源端删除表,源端加列和源端删列。我们发现上游还会有一些常见的 DDL 操作,于是我们在 3.1 新增了上游的字段类型变化及精度标度变化的 DDL 处理策略。我们会根据不同的数据源到不同的目的地的能力范围以及常见的字段类型变化做处理。从而更好的实时同步上游的数据变化。

功能优化:​

支持 Kafka Topic 序列化器默认值设置​

在过去的版本中,DataPipeline 无法修改 Topic 序列化器的默认值,导致每一次新增的 Topic 都需要手动调整至所需要的序列化器。在此版本中,我们将此功能进行了优化,支持了在 Kafka 节点的基本设置页面中配置 Kafka Topic 序列化器的默认值,使所有新增 Topic 的 Key 及 Value 都可以根据需要载入默认值,增加了便捷性和灵活度。此外,在每一次进行批量修改序列化器后,出现追加询问弹窗,使用户可以更便捷地提前对未来要添加的 Topic 序列化器进行默认值的设置。(Key 序列化器和 Value 序列化器须保持一致)。

数据映射默认配置:支持创建映射时添加默认字段与默认开启高级清洗​

此版本中,DataPipeline 支持了包含关系型数据节点类型等数据映射默认配置,提前设置好需要添加的字段和开启高级清洗脚本的使用,显著减少了对数据链路中未来添加映射的后续操作。通过此功能,让您能够快捷地在创建映射时向数据目的地添加默认字段与默认开启高级清洗脚本,优化操作流程,减少操作难度。

其他优化​

  1. 数据任务状态-自动重启中状态优化。
  2. 数据映射同步延迟监控日志优化。
  3. 数据映射元数据刷新功能优化。
  4. Oracle 采集代理程序健康检查逻辑优化。
  5. InfoSphere Data Replication 订阅自动重启功能优化。
  6. 数据任务执行配置优化。
  7. 增加了任务执行过程中一些相关业务 metric 的展示,包括时间预估,待写入的缓存的数据量和未读取数据量的统计。

​