跳到主要内容
版本:v5.2

2025年版本更新日志

V5.2 版本​

2025-11

功能列表​

产品支持国际化​

本次DataPipeline重点推出国际化版本。DataPipeline 5.2正式实现了产品的全面国际化,目前产品已支持中文、英文和日文三种语言,这标志着DataPipeline发展历程中的一个重要里程碑。

面对不同语种客户,我们提供系统级的语言实时无缝切换能力,确保用户在不同语言环境下均能无障碍阅读产品界面、理解功能说明并流畅使用各项产品特性。同时,我们支持在安装系统时通过配置相关文件的参数,来指定系统默认的初始语言,使得用户可一键通过不同语言进行产品的使用。

核心功能突破

  • 5.2版本全面实现了产品从设计到部署的全链路国际化(i18n)与本地化支持,覆盖了节点管理、任务执行、日志记录系统以及告警监控体系等核心组件,精准适配中文、英文、日文三大语言环境
  • 动态语言切换:用户可在界面实时切换语言,所有交互元素(如表头提示、错误信息)均实现无刷新即时翻译
  • 本地化合规实践:针对日本市场优化日期格式(和历/西历转换)、数据编码(Shift-JIS支持)及隐私提示

这一功能的实现极大提升了产品的全球适应性和用户体验的一致性,标志着DataPipeline在国际化战略布局上迈出了坚实的一步。国际化不仅是语言转换,更是产品走向成熟企业级平台的标志。通过降低跨国企业使用门槛,DataPipeline将在全球数据集成赛道占据差异化优势,为进军国际市场奠定基石。

TiDB 7.x.y支持before更新前镜像​

该功能通过拉取存储在 TiKV 中的行级别数据变更日志 Raft Log 来获取 before image,精准捕获数据更新前的完整状态(before image),实现UPDATE操作的全字段变更追踪。技术层面依托TiCDC,可获取数据修改前的历史值及元数据。这一突破使数据同步过程能完整记录"数据从何而来",为实时数仓回溯、金融级审计合规及双向同步冲突检测提供关键支撑,彻底解决了更新场景下数据血缘断链的行业痛点。

用户操作指南数据节点版本号明确和细化​

用户操作指南中数据节点版本号说明进行了全面细化与明确。此优化详细列出了各类型数据节点所支持的具体版本号,并清晰界定不同版本的功能差异与兼容性。此举显著降低了用户的环境配置与版本选型难度,从源头避免了因版本模糊导致的配置错误与连接失败,有效提升了部署成功率和运维效率。

信息

部分节点因验证环境限制,未明确详细版本号。后续将会逐步进行版本明确。

其他优化及缺陷修复​

  1. 修复Oracle agent不支持rowid变更的问题
  2. 修复内存模式,结构变化策略选择暂停,源端执行ddl后日志会抛异常,报错提示应用ddl异常
  3. 修复es单任务多映射,时间序列化的时候线程不安全
  4. 修复Datahub目的地开启高级清洗后数据异常
  5. 修复es目的地无法写入DATE_NANO类型的数据
  6. 修复一个源节点对多个目的地节点,源端选择相同表,设置不同的读取条件,最终均使用相同的读取条件写入目的地
  7. 修复【数据校验】列表删除问题
  8. 修复各个领域节点到Oracle Varchar的字段类型的默认映射问题
  9. 修复juicefs 文件系统写入速率慢的问题
  10. 修复切换源对应的映射时前端不显示映
  11. 修复core中清洗逻辑不正确没有把U拆分成D+I,导致同步后任务数据不一致
  12. 修复MQ类目的地,源端update时主键发生变更拆分为D+I功能失效(Kafka已修复)
  13. 修复Oragent 配置文件写入非原子操作
  14. 修复【任务映射选择】切换源对应的映射时前端不显示映射

V5.1 版本​

2025-10

功能列表​

支持Gbase8s做目的地​

数据同步新增对Gbase 8s作为数据同步目的地的支持,可通过JDBC进行数据写入,并全面适配其Gbase与Oracle两种兼容模式。用户可在节点配置中可选择Gbase模式或者Oracle模式,从而灵活应对不同的语法和特性要求。此功能强化了产品在国产数据库及异构数据源同步方面的能力,尤其便于从Oracle等数据库进行数据迁移和同步。

升级 Dashboard 依赖 Node.js 版本至V18​

本次升级将Node.js版本提升至v18(LTS),以获取更优开发编译的效率,更新技术栈。同时废弃私有组件库dp-react-components,全面采用Ant Design作为基础UI框架,此举统一了设计语言与交互规范。为平稳过渡,重大变更已迁移至dp-customer-dashboard项目独立处理。本次升级为后续交互优化和 UI 重构奠定基础。

其他优化及缺陷修复​

  1. 修复Oracle Agent 无法正确识别不同 schema 下的相同表名 sql
  2. 修复Oracle Agent 在 Kafka Producer close 卡死的情况下,无法自动重启
  3. 修复Oracle Agent 解析字符类型乱码
  4. 修复Manager 在试运行时,仍在探活高可用节点
  5. 修复运行时KafkaConsumer丢失TopicPartition信息【偶现】
  6. 修复Hudi节点配置模块,节点有两个配置,在建节点时,只配置了基础配置保存后,没有配置spark的地方
  7. 修复心跳误判断导致connectdp起不来
  8. 修复数据mysql到doris同步,创建topic失败,manager报错提示topic分区数量必须大于0
  9. 修复链路新建映射逻辑主键配置不生效
  10. 修复GreenPlum、hashdata仅同步部分列,未同步的列会插入null
  11. 修复SelectDb更新模型下主键为空会进入错误队列
  12. 修复【doris/selectdb/starrocks】聚合模型和更新模式目的地手动创建索引,实际创建但页面无回显的问题
  13. 修复在创建链路时,源和目的选择mogdb,选择包含索引的表,在创建目的表时,并没有成功创建索引