跳到主要内容
版本:v5.6

2025年版本更新日志

V5.3 版本​

2025-12

功能列表​

线程优化管理改造(二期)​

本次线程管理优化是解决系统长期稳定性的关键架构改进。针对以往存在的线程泄露问题(即部分无用线程随运行时间持续累积,最终必须通过重启容器才能释放),本次改造提供了精细化的线程控制能力:支持通过环境变量,按需设置单条同步链路中各处理步骤(如读取、转换、写入)的线程数及线程池参数。同时,线程控制粒度可从默认的Task级别升级为Job或JVM级别,并针对性优化了Redisson、ES、Netty等高并发组件的默认配置,使其更适配数据同步的实际负载而非极端吞吐场景。此举从根本上杜绝了资源泄露,实现了线程生命周期的可预测管理,显著提升了系统在长期运行下的资源效率与稳定性。

以下是本次优化的技术要点总结:

  • 核心问题解决:根治线程泄露,避免无用线程累积,保障长期运行稳定,无需再依赖容器重启来释放资源。
  • 控制粒度细化:线程管理粒度从Task级升级至Job或JVM级,并通过环境变量动态配置各步骤线程参数,实现灵活的资源策略。
  • 组件参数调优:根据产品实际场景,合理化调整Redisson、ES、Netty等组件的高并发默认参数,在保证性能的同时提升资源利用效率。

映射配置选表交互设计​

本次映射配置选表方式升级,将传统树状结构优化为左右分栏列表:左侧为Schema/数据库列表,右侧关联展示对应表名。用户点击左侧Schema/数据库后,右侧即时精准展示对应表名或者视图名,大幅缩短寻找路径。新增的表明翻页、多字段排序及单库独立刷新功能,直面并解决了在海量表场景下,旧模式存在的加载缓慢、查找困难、操作卡顿等核心痛点,使数据表的选择与管理变得前所未有的高效、流畅与直观。

字段映射易用性优化​

本次字段映射易用性优化聚焦于提升配置效率与操作直观性。核心改进包括:配置字段映射时字段类型选项现按首字母排序,便于快速定位;在选择已有字段时,将同时清晰展示其字段名称与具体类型,避免了记忆与猜测;新增的首字母排序与搜索功能,让用户在海量字段中能瞬间锁定目标。这些优化直击配置痛点,显著减少了手工查找时间,使映射过程更加流畅、精准,大幅提升了数据开发人员的操作体验与工作效率。

【映射另存为】&【模版另存为】保存时添加分组选项​

本次优化重构了映射与模板的保存流程。核心是为【另存为】操作新增了「项目」选择功能,默认与当前资源所在项目一致,并支持用户手动切换,在创建新映射或模板时亦可直接指定目标项目。同时,映射模板也新增了【另存为模板】选项,实现了与普通映射相同的灵活复用能力。此举解决了跨项目复用配置资源的痛点,使资产管理和团队协作更为清晰便捷。

5.x 使用 PostgreSQL 作为默认配置库,提供高可用方案​

DataPipeline 5.3版本将默认配置库升级为PostgreSQL,全面满足信创环境对核心数据库自主可控的严格要求。通过集成Patroni高可用管理工具,并基于ZooKeeper进行主节点选举与状态管理,实现了配置库集群的自动故障转移与无缝切换。此架构显著提升了平台元数据管理的可靠性与连续性,确保在节点故障时业务无感,为核心调度服务提供了企业级的高可用保障,是产品迈向全栈信创化与高可靠性的关键一步。

其他优化及缺陷修复​

  1. 修复源端update到argo的update策略,出现主键变更不会拆分D+I导致数据不一致
  2. 修复【数据校验】OB-Oracle、达梦配置库创建数据校验任务随机任务显示找不到节点信息
  3. 修复【Datahub】目的地,BLOB类型topic,写入设置中切换页签时,已选的条目会丢失选择
  4. 修复【As400 Journal】增量读取,小写表名执行结构变化,任务不识别
  5. 修复【内存模式并发分区】偶现gaussdb源内存模式并发分区不进增量报错
  6. 修复ES列计算试运行报错
  7. 修复【IBM CDC】AS400获取不到before的问题
  8. 修复【IBM CDC】AS400 全量jdbc+增量IBM CDC,主键变更拆分D+I(源端不应该拆)
  9. 修复【core 主键变更拆分】PkChangeExtraProcess的扩展方法-合并错误导致没有正常使用需要重新分析处理回来
  10. 修复【Oracle Agent】遭遇批量插入/删除是可能会造成溢出报错
  11. 修复【Oracle Agent】 URP整合问题
  12. 修复数据节点,用户编辑权限控制无效
  13. 修复用户组删除报错
  14. kafka分映射指定起点没有选择检查点功能
  15. 修复5.x模版/映射另存为成功后跳转创建时间显示异常
  16. 【pg配置库】部分默认策略为空,导致任务报错

V5.2 版本​

2025-11

功能列表​

产品支持国际化​

本次DataPipeline重点推出国际化版本。DataPipeline 5.2正式实现了产品的全面国际化,目前产品已支持中文、英文和日文三种语言,这标志着DataPipeline发展历程中的一个重要里程碑。

面对不同语种客户,我们提供系统级的语言实时无缝切换能力,确保用户在不同语言环境下均能无障碍阅读产品界面、理解功能说明并流畅使用各项产品特性。同时,我们支持在安装系统时通过配置相关文件的参数,来指定系统默认的初始语言,使得用户可一键通过不同语言进行产品的使用。

核心功能突破

  • 5.2版本全面实现了产品从设计到部署的全链路国际化(i18n)与本地化支持,覆盖了节点管理、任务执行、日志记录系统以及告警监控体系等核心组件,精准适配中文、英文、日文三大语言环境
  • 动态语言切换:用户可在界面实时切换语言,所有交互元素(如表头提示、错误信息)均实现无刷新即时翻译
  • 本地化合规实践:针对日本市场优化日期格式(和历/西历转换)、数据编码(Shift-JIS支持)及隐私提示

这一功能的实现极大提升了产品的全球适应性和用户体验的一致性,标志着DataPipeline在国际化战略布局上迈出了坚实的一步。国际化不仅是语言转换,更是产品走向成熟企业级平台的标志。通过降低跨国企业使用门槛,DataPipeline将在全球数据集成赛道占据差异化优势,为进军国际市场奠定基石。

TiDB 7.x.y支持before更新前镜像​

该功能通过拉取存储在 TiKV 中的行级别数据变更日志 Raft Log 来获取 before image,精准捕获数据更新前的完整状态(before image),实现UPDATE操作的全字段变更追踪。技术层面依托TiCDC,可获取数据修改前的历史值及元数据。这一突破使数据同步过程能完整记录"数据从何而来",为实时数仓回溯、金融级审计合规及双向同步冲突检测提供关键支撑,彻底解决了更新场景下数据血缘断链的行业痛点。

用户操作指南数据节点版本号明确和细化​

用户操作指南中数据节点版本号说明进行了全面细化与明确。此优化详细列出了各类型数据节点所支持的具体版本号,并清晰界定不同版本的功能差异与兼容性。此举显著降低了用户的环境配置与版本选型难度,从源头避免了因版本模糊导致的配置错误与连接失败,有效提升了部署成功率和运维效率。

:::color3 部分节点因验证环境限制,未明确详细版本号。后续将会逐步进行版本明确。

:::

其他优化及缺陷修复​

  1. 修复Oracle agent不支持rowid变更的问题
  2. 修复内存模式,结构变化策略选择暂停,源端执行ddl后日志会抛异常,报错提示应用ddl异常
  3. 修复es单任务多映射,时间序列化的时候线程不安全
  4. 修复Datahub目的地开启高级清洗后数据异常
  5. 修复es目的地无法写入DATE_NANO类型的数据
  6. 修复一个源节点对多个目的地节点,源端选择相同表,设置不同的读取条件,最终均使用相同的读取条件写入目的地
  7. 修复【数据校验】列表删除问题
  8. 修复各个领域节点到Oracle Varchar的字段类型的默认映射问题
  9. 修复juicefs 文件系统写入速率慢的问题
  10. 修复切换源对应的映射时前端不显示映
  11. 修复core中清洗逻辑不正确没有把U拆分成D+I,导致同步后任务数据不一致
  12. 修复MQ类目的地,源端update时主键发生变更拆分为D+I功能失效(Kafka已修复)
  13. 修复Oragent 配置文件写入非原子操作
  14. 修复【任务映射选择】切换源对应的映射时前端不显示映射

V5.1 版本​

2025-10

功能列表​

支持Gbase8s做目的地​

数据同步新增对Gbase 8s作为数据同步目的地的支持,可通过JDBC进行数据写入,并全面适配其Gbase与Oracle两种兼容模式。用户可在节点配置中可选择Gbase模式或者Oracle模式,从而灵活应对不同的语法和特性要求。此功能强化了产品在国产数据库及异构数据源同步方面的能力,尤其便于从Oracle等数据库进行数据迁移和同步。

升级 Dashboard 依赖 Node.js 版本至V18​

本次升级将Node.js版本提升至v18(LTS),以获取更优开发编译的效率,更新技术栈。同时废弃私有组件库dp-react-components,全面采用Ant Design作为基础UI框架,此举统一了设计语言与交互规范。为平稳过渡,重大变更已迁移至dp-customer-dashboard项目独立处理。本次升级为后续交互优化和 UI 重构奠定基础。

其他优化及缺陷修复​

  1. 修复Oracle Agent 无法正确识别不同 schema 下的相同表名 sql
  2. 修复Oracle Agent 在 Kafka Producer close 卡死的情况下,无法自动重启
  3. 修复Oracle Agent 解析字符类型乱码
  4. 修复Manager 在试运行时,仍在探活高可用节点
  5. 修复运行时KafkaConsumer丢失TopicPartition信息【偶现】
  6. 修复Hudi节点配置模块,节点有两个配置,在建节点时,只配置了基础配置保存后,没有配置spark的地方
  7. 修复心跳误判断导致connectdp起不来
  8. 修复数据mysql到doris同步,创建topic失败,manager报错提示topic分区数量必须大于0
  9. 修复链路新建映射逻辑主键配置不生效
  10. 修复GreenPlum、hashdata仅同步部分列,未同步的列会插入null
  11. 修复SelectDb更新模型下主键为空会进入错误队列
  12. 修复【doris/selectdb/starrocks】聚合模型和更新模式目的地手动创建索引,实际创建但页面无回显的问题
  13. 修复在创建链路时,源和目的选择mogdb,选择包含索引的表,在创建目的表时,并没有成功创建索引