2025年版本更新日志
v4.24.3版本
2025-12
功能列表
线程优化管理改造(二期)
本次线程管理优化是解决系统长期稳定性的关键架构改进。针对以往存在的线程泄露问题(即部分无用线程随运行时间持续累积,最终必须通过重启容器才能释放),本次改造提供了精细化的线程控制能力:支持通过环境变量,按需设置单条同步链路中各处理步骤(如读取、转换、写入)的线程数及线程池参数。同时,线程控制粒度可从默认的Task级别升级为Job或JVM级别,并针对性优化了Redisson、ES、Netty等高并发组件的默认配置,使其更适配数据同步的实际负载而非极端吞吐场景。此举从根本上杜绝了资源泄露,实现了线程生命周期的可预测管理,显著提升了系统在长期运行下的资源效率与稳定性。
以下是本次优化的技术要点总结:
- 核心问题解决:根治线程泄露,避免无用线程累积,保障长期运行稳定,无需再依赖容器重启来释放资源。
- 控制粒度细化:线程管理粒度从Task级升级至Job或JVM级,并通过环境变量动态配置各步骤线程参数,实现灵活的资源策略。
- 组件参数调优:根据产品实际场景,合理化调整Redisson、ES、Netty等组件的高并发默认参数,在保证性能的同时提升资源利用效率。
其他优化及缺陷修复
- 修复源端update到argo的update策略,出现主键变更不会拆分D+I导致数据不一致
- 修复【数据校验】OB-Oracle、达梦配置库创建数据校验任务随机任务显示找不到节点信息
- 修复【Datahub】目的地,BLOB类型topic,写入设置中切换页签时,已选的条目会丢失选择
- 修复【As400 Journal】增量读取,小写表名执行结构变化,任务不识别
- 修复【内存模式并发分区】偶现gaussdb源内存模式并发分区不进增量报错
- 修复ES列计算试运行报错
- 修复【IBM CDC】AS400获取不到before的问题
- 修复【IBM CDC】AS400 全量jdbc+增量IBM CDC,主键变更拆分D+I(源端不应该拆)
- 修复【core 主键变更拆分】PkChangeExtraProcess的扩展方法-合并错误导致没有正常使用需要重新分析处理回来
- 修复【Oracle Agent】遭遇批量插入/删除是可能会造成溢出报错
- 修复【Oracle Agent】 URP整合问题
- 修复数据节点,用户编辑权限控制无效
- 修复用户组删除报错
- kafka分映射指定起点没有选择检查点功能
v4.24.2版本
2025-11
功能列表
TiDB 7.x.y支持before更新前镜像
该功能通过拉取存储在 TiKV 中的行级别数据变更日志 Raft Log 来获取 before image,精准捕获数据更新前的完整状态(before image),实现UPDATE操作的全字段变更追踪。技术层面依托TiCDC,可获取数据修改前的历史值及元数据。这一突破使数据同步过程能完整记录"数据从何而来",为实时数仓回溯、金融级审计合规及双向同步冲突检测提供关键支撑,彻底解决了更新场景下数据血缘断链的行业痛点。
其他优化及缺陷修复
- 修复Oracle agent不支持rowid变更的问题
- 修复内存模式,结构变化策略选择暂停,源端执行ddl后日志会抛异常,报错提示应用ddl异常
- 修复es单任务多映射,时间序列化的时候线程不安全
- 修复Datahub目的地开启高级清洗后数据异常
- 修复es目的地无法写入DATE_NANO类型的数据
- 修复一个源节点对多个目的地节点,源端选择相同表,设置不同的读取条件,最终均使用相同的读取条件写入目的地
- 修复【数据校验】列表删除问题
- 修复各个领域节点到Oracle Varchar的字段类型的默认映射问题
- 修复juicefs 文件系统写入速率慢的问题
- 修复切换源对应的映射时前端不显示映
- 修复core中清洗逻辑不正确没有把U拆分成D+I,导致同步后任务数据不一致
- 修复MQ类目的地,源端update时主键发生变更拆分为D+I功能失效(Kafka已修复)
- 修复Oragent 配置文件写入非原子操作
- 修复【任务映射选择】切换源对应的映射时前端不显示映射
v4.24.1版本
2025-10
功能列表
支持Gbase8s做目的地
数据同步新增对Gbase 8s作为数据同步目的地的支持,可通过JDBC进行数据写入,并全面适配其Gbase与Oracle两种兼容模式。用户可在节点配置中可选择Gbase模式或者Oracle模式,从而灵活应对不同的语法和特性要求。此功能强化了产品在国产数据库及异构数据源同步方面的能力,尤其便于从Oracle等数据库进行数据迁移和同步。
其他优化及缺陷修复
- 修复Oracle Agent 无法正确识别不同 schema 下的相同表名 sql
- 修复Oracle Agent 在 Kafka Producer close 卡死的情况下,无法自动重启
- 修复Oracle Agent 解析字符类型乱码
- 修复Manager 在试运行时,仍在探活高可用节点
- 修复运行时KafkaConsumer丢失TopicPartition信息【偶现】
- 修复Hudi节点配置模块,节点有两个配置,在建节点时,只配置了基础配置保存后,没有配置spark的地方
- 修复心跳误判断导致connectdp起不来
- 修复数据mysql到doris同步,创建topic失败,manager报错提示topic分区数量必须大于0
- 修复链路新建映射逻辑主键配置不生效
- 修复GreenPlum、hashdata仅同步部分列,未同步的列会插入null
- 修复SelectDb更新模型下主键为空会进入错误队列
- 修复【doris/selectdb/starrocks】聚合模型和更新模式目的地手动创建索引,实际创建但页面无回显的问题
- 修复在创建链路时,源和目的选择mogdb,选择包含索引的表,在创建目的表时,并没有成功创建索引
v4.24版本
2025-09
功能列表
Runtime事务、缓存重构
本次迭代中对Runtime事务缓存进行重构,Runtime使用关系型数据库作为业务数据存储,利用事务保证操作的原子性和数据一致性,利用本地缓存提升性能。最终达成目标:
- 使用合理的事务边界
- 持久化层精准操作
- 数据库数据与缓存数据最终一致性
达梦数据库rollback逻辑问题
对达梦数据库作为源节点时出现的"部分事务回滚异常"问题,通过深入分析达梦内部事务过滤机制,重构了事务解析逻辑。新方案严格遵循达梦数据库的REDO日志回滚规则,精准识别被标记为回滚的事务范围,确保数据抽取与达梦实际提交状态完全一致,彻底解决了因数据库内部过滤导致的数据不一致风险,保障了金融、政务等关键场景下的同步数据可靠性。
支持Doris V2.1.10作为数据源和目的地
本次支持 Doris V2.1.10 作为数据源和目的地,这显著提升了数据同步的灵活性和场景适应性。支持通过 JDBC 方式进行数据读取,通过 JDBC 和高效的 Stream Load 两种方式将数据写入 Doris。
支持TBASE的clob字段及需要支持TBASE的主表可显示
本次新增对TBase数据库CLOB字段的同步支持,并实现了主表信息的可视化展示。该功能可完整传输和展示TBase中的大文本数据 (CLOB类型),确保内容无损;同时,在操作界面上清晰呈现包含CLOB字段的主表,方便您直接查看表结构、字段类型等元数据。
对于有轮巡查询的地方去掉loading遮罩
DataPipeline优化页面轮巡查询体验,取消Loading遮罩层,解决频繁刷新列表导致的短暂白屏问题。新方案采用静默后台更新机制,在保持数据实时性的同时,确保界面操作流畅不中断。用户可在任务监控、链路状态等实时更新场景中获得无感知的数据刷新体验,大幅提升操作连贯性与视觉舒适度。
Kingbase作为数据源时间日期数据支持datetime类型
本次支持将KingbaseES作为数据源兼容其 datetime 类型。该功能确保了时间日期数据在同步过程中的精准解析与无损传输,有效支撑了各类包含时间戳业务的实时数据流转需求。
对ob-agent的健康检查接口密码进行脱敏
本次支持对OB-Agent健康检查接口的密码实现全方位脱敏保护。通过在传输过程中采用加密存储、调用接口查看时自动掩码显示(如"**"),并确保日志记录与错误信息中完全过滤敏感数据,有效防止密码在运维管控环节泄露。该功能显著提升了企业级环境下的安全合规性,杜绝敏感信息泄露风险,提升运维安全等级。
其他优化及缺陷修复
- 修复数据任务监控 - 已处理数据量比已读取数据量多
- 修复tidb源端使用cdc且设置为多partition,任务包含并发分区情况下任务增量报错Caused by: java.lang.IllegalStateException: No current assignment for partition
- 修复GaussdbForOpenGauss 目的地需要支持 partial update 时不更新逻辑主键
- 修复core 处理drop partition 时报错 NullPointerException
- 修复【Oracle/OceanBase-分区表】drop分区,和truncate 分区结构变化功能不可用
- 修复Oracle Agent #数据整合 需支持 【U+I+O+U】【O+I+O】
- 修复dameng新建schema,没有任何表刷新不出表
- ob-mysql 模式分片功能支持的日期和字符串类型不完善
- 修复【数据节点列表】排序不是服务端排序
- 修复【数据链路 / 数据任务 列表】排序不是服务端排序
- 修复单次任务执行后没有让定时任务停下来
- 修复【日志列表】筛选 tooltip 区域点击 dropdown 触发 tooltip 关闭
- 修复校验报错未捕捉异常, 导致任务一直激活中
v4.23版本
2025-08
功能列表
灾备功能的梳理与修复
本次迭代对灾备功能进行全面梳理与优化。灾备程序本质上是一个 Mysql 到 Mysql 的连接器,专用于DataPipeline业务数据库提供数据同步与备份。通过修复增量同步断点续传机制、优化事务一致性保障,并完善灾备部署文档,确保业务数据零丢失与分钟级故障恢复能力,为平台自身提供企业级可靠性保障。
旧运行时的 DataPipeline 进度信息存在了 dp-kafka 中, 但是新运行时的进度信息存在了dp-thrall-mysql 中, 所以在新版本中使用最新灾备程序即可对 DataPipeline 的业务数据, 进度信息等进行全方位的备份。
连接器-加载性能优化
本次针对部分目的地节点推出文件加载(File Load)写模式,通过批量生成数据文件并直接加载至目标库替代逐条INSERT操作。其核心优势在于:
- 优化相关节点:mysql、new_mysql、tidb、kingbase(oracle模式)、postgresql、new_postgresql;
- 性能飞跃:写入速率在不同的节点体现提升1-4倍;
- 文件格式:支持CSV格式文件
:::color3
- 文件Load方式默认关闭
- 暂不支持Kafka-String类型表做源使用文件load方式加载
- 由于Load加载方式特性,插入'\N'字符串数据,会被识别为null
:::
连接器框架内存管理优化一期
本次迭代DataPipeline对数据加载阶段内存占用进行深度优化,通过重构连接器数据处理架构,将业务数据与映射关系分离存储。新架构下,每批数据只需加载一次映射规则,避免重复解析,显著减少内存碎片化问题。实测显示,相同数据量下内存占用降低,有效支撑数据表的高效同步。
恢复自定义节点
在本次版本中,DataPipeline恢复了自定义节点的配置和使用。⾃定义节点允许⽤户⾼度⾃由地编写 Datapipeline 的读取、写⼊⽅式。支持用户通过Java SDK自由编写Reader/Writer逻辑,编译为JAR包直接上传平台。该功能为异构数据生态提供「开箱即用」式扩展能力,重塑企业数据管道灵活性。
自定义节点配置详情,可在【3. 管理控制台使用说明】-【3.1 数据节点】-【自定义节点中查看】
starrocks节点支持3.3.14
DataPipeline现已支持StarRocks 3.3.x版本作为源和目的地节点。
- 读取端采用JDBC方式,可进行全量数据同步及结构信息获取。
- 写入端运用StarRocks高性能的Stream Load功能,通过HTTP协议实现高效、实时的数据导入。
适配 SQLServer 数据库开启【TDE】【Always Encrypted】加密
支持SQL Server的TDE(透明数据加密) 和 Always Encrypted(始终加密) 两种加密方案。无论SQL Server作为源端还是目标端,产品均能无损解析加密数据,确保端到端的安全同步。此功能为高安全要求场景提供了可靠的数据流通通道,确保业务连续性的同时绝不牺牲安全性。
支持写入JuiceFS以及写入JuiceFS中的Paimon
DataPipeline现已支持将数据写入Paimon 1.0.1版本,并兼容Paimon HDFS与Paimon JuiceFS两种文件系统。此功能通过Paimon Java Client实现高效数据写入,允许用户根据存储需求选择HDFS(需配置core-site.xml等)或兼容POSIX/HDFS/S3协议的JuiceFS,从而在保障数据一致性的同时,为实时数据湖场景提供灵活、高性能的存储解决方案,支持流批一体数据处理。
Doris支持-enable-cleartext-plugin参数
DataPipeline新增对Doris数据库连接参数 --enable-cleartext-plugin 的支持,用于解决使用连接Doris时可能出现的“plugin not enabled”错误。该参数允许以明文方式传输密码,确保了认证插件的兼容性,使得数据同步任务在建立Doris连接时更加稳定可靠,尤其适用于一些特定网络或安全策略要求明文密码认证的环境,提升了数据同步的成功率与适应性。
数据节点返回不带有敏感信息
DataPipeline新增敏感信息过滤机制,确保在页面节点信息展示及修改配置时,系统自动脱敏处理密码、密钥等敏感数据,仅返回非敏感元数据。该功能杜绝敏感信息在前端暴露的风险,同时保障运维操作的便捷性与安全性,满足行业数据安全合规要求,有效防范内部数据泄露隐患。
数据链路-映射列表分页优化
DataPipeline对数据链路映射列表进行分页优化,对全选功能进行优化。系统支持"全选本页"、"全选所有"及"清空所有"操作,有大量映射项下的性能瓶颈。该优化大幅降低浏览器内存占用,同时确保批量操作时的精准控制,显著提升大规模数据同步任务的管理效率与用户体验。
- 对于映射列表批量选择优化有以下几点:
- 全选本页:全选当页内容
- 全选所有:全选当前链路中所有的映射列表,若当前列表进行搜索,则对搜索结果进行全选所有
- 清除所有:清除所有已选选项,若在选择后进行搜索,则对搜索结果的所有选中选项进行清除
数据校验新增支持节点Kingbase V8、V9\&TDSQL
DataPipeline新增对Kingbase V8、V9及TDSQL的数据校验支持,可对这两类节点进行数据量(行数)与数据内容(字段级值)的全方位一致性校验。该功能在数据库迁移、容灾备份等场景下,高效发现并定位差异,确保异构环境下的数据同步质量与可靠性,为用户提供关键的数据可信保障。
升级connectDP组件 JDK
目前用的jdk8对于年轻代对象的回收机制落后,本次升级数据同步组件运行环境,从JDK 8迁移至JDK 21。显著提升高并发同步任务的处理能力,降低资源消耗降,减少同步延迟。同时,新一代ZGC垃圾回收器将Full GC停顿时间进行控制降低,保障大规模数据同步的稳定性,为产品提供面向未来的高性能、高可靠基础运行环境。
其他优化及缺陷修复
- 优化 用户oracle-agent扫描出现的安全隐患
- 修复 校验报错未捕捉异常, 导致任务一直激活中的问题
- 修复 数据任务运行状态统计和实际状态不一致
- 修复 配置语义映射 源 varchar 字段 -> argo db string 字段后, 字段映射string 字段带上varchar 精度,导致建表失败的问题
- 修复 oceanbase 结构变化-关于统计以及触发机制存在的问题
- 修复「Argo」修改字段名称后,无法选择该字段为分桶键
- 修复 Datahub 目的地,开启高级清洗及字段前后值映射后,DELETE 操作的 after 不应该有值
- 修复 高级清洗选用 processWithMeta 时,DELETE 类型数据清洗 before 中的值无效
- 修复 Datahub 目的地写入前列值为空
- 修复 Oracle源\&Oracle目的地,如果新增字符类型字段默认值里有单引号,会失败的问题
- 修复 生产环境任务报错获取回滚信息失败
- 修复 任务删表,任务再重启,然后再加回来没有走全量的问题
- 修复 ob_mysql 到达梦 ,varchar 及其他类型大于8188映射到目的地varchar默认映射不合理,导致任务报错
- 修复 单点登录没有记录用户 ip 的问题
- 修复 ob4.2解析 DDL 报错数组越界
v4.22版本
2025-07
功能列表
Hive节点优化
主要的优化内容有以下两点:
- 链路-读取设置中添加单值分区配置,在进行映射配置时也可对表的单值分区进行配置
- 添加自动刷新功能:
- Hive节点目的地添加分区字段,成功建表后。再次打开字段映射列表时自动刷新一次,可直接选择分区字段,无需手动点击刷新按钮;
- Hive节点新建表后,再次进入节点配置页面/刷新数据节点详情后,自动刷新数据源读取配置列表,无需手动点击刷新按钮
TICDC配置支持设置kafka topic分区副本数
在当前版本中,新增TICDC(TiDB变更数据捕获)对Kafka Topic分区副本数的灵活配置能力,用户可在同步任务中直接指定副本数量(如3副本),替代传统手动操作Zookeeper的方式
易用性提升:提升页面的加载速度
DataPipeline本次对节点、链路、任务列表进行分页。随着用户同步任务规模增长,全量加载列表导致前端卡顿、内存溢出等问题,需通过分页机制提升交互体验与系统稳定性,实现列表的高效治理,既满足金融、能源等大规模场景的运维需求,又为日均万次操作提供流畅体验,系统性提升企业级数据同步平台的可管理性与可用性。
DP平台直接服务器部署(非docker容器)
为满足安全监管场景的合规要求,及部分企业IT环境禁用容器技术的限制,新增原生服务器部署模式(非Docker),实现全链路自主可控,通过双模部署能力(容器/物理机),兼顾创新与合规需求。
配置库国产化-持久化层抽象改造
DataPipeline为满足信创要求,平台新增对达梦数据库与人大金仓KingbaseES的深度适配,将其作为核心配置库存储任务、节点等元数据。该能力构建全栈国产化底座,兼顾安全合规与高性能,为关键业务提供“开箱即用”的信创同步解决方案
TDSQL的重构及制定起点适配
本次迭代DataPipeline支持在 TDSQL为源节点的同步任务中精准设置历史时间点(如2025-07-01 00:00:00)作为数据读取起点,覆盖全量初始化、增量续传等场景,用户可通过界面直接输入时间戳或选择日志位点,避免传统基于位点操作的复杂性;
同时对TDSQL高可用切换底层代码进行重构,实现逻辑更加清晰。
支持tdsql for pg的pgoutput读取方式
DataPipeline本次新增TDSQL for PostgreSQL(TDSQL-PG)源节点对pgoutput协议的原生支持,通过该PostgreSQL内置逻辑解码插件直接捕获数据变更,替代传统的触发器或第三方工具方案。用户可基于WAL日志实时获取标准逻辑变更事件(INSERT/UPDATE/DELETE),同时支持DDL同步。
连接器热加载
DataPipeline本次新增连接器热加载能力,通过执行脚本直接加载物料包,实现单节点连接器的升级及回滚操作,无需重启容器。其核心优势在于:
- 单连接器更新不影响其他任务运行
- 提高版本迭代效率
- 问题连接器快速回滚,规避全局重启导致的数据同步波动
其他优化及缺陷修复
- 优化 GaussDB OpenGauss 目的地节点支持Date字段类型
- 修复Oracle 报错表空间大小不够用,任务报错没有被系统感知
- 修复【数据类型边界值】mysql ---> oracle 数据不一致
- 修复【release】Oracle-agent 加列--int类型,任务报错
- 修复【内存模式】内存模式设置全量并发分区,全量结束后无法读取增量数据
- 修复kingbase源-kingbase目的地 money类型字段报非法数据格式错误
- 修复【节点校验】缺少truncate,create_table,drop的校验
- 修复新mysql节点 rename表之后报错
- 修复SinkSchemMapper生成太靠后,导致初始化表结构时生成的SinkColumn没有生成DefinitionType,连接器受影响rename table 空指针
- 修复获取getContext().getLoadedSinkEntitySchema()空指针问题
- 修复任务 结构变化策略 / 数据加载策略】修改配置后,没有对比出变化,导致没有日志
- 修复Oracle Agent 数据整合- 部分 URP 操作整合失败
- 修复Oracle Agent 事务部分回滚数据没有回滚
- 修复【一键补数】校验任务无法删除
- 修复【gbase8s】离线数据,丢失部分数据,实时数据正常
v4.21版本
2025-06
功能列表
支持TiDB 7.x版本作为数据源和目的地
- 支持TiDB 7.x版本作为数据源和目的地
- TiDB 7.x作为数据源需要支持TiCDC实时采集和JDBC读取
- TiDB 7.x作为目的地需要支持JDBC写入
PG新增PG-vector 字段类型
DataPipeline新增对PostgresQL数据库支持源/目标库的vector字段的全量同步和实时同步,通过WAL日志解析捕获向量数据变更(增删改),保障高维数据一致性。该能力为AI驱动型业务提供开箱即用的向量数据管道,强化非结构化数据实时处理竞争力。
DP产品易用性及安全问题优化
本次优化聚焦配置安全与操作效率提升,核心内容及原因如下:
- 表设置默认值改为「不匹配」:避免误同步敏感字段
- 关闭Topic查看功能:防止未授权访问数据流向
- 映射监控提示开启开关:确保监控查看明确性&合规性
- 批量取消非空约束/主键:简化目标库表结构预处理
- 批量移除字段映射:快速重置错误配置,降低人工成本
- 并发分区读取增加说明&一对多限制:明确一对多同步并发分区配置多个目的地进会保留一份配置,说明保证了用户配置正确性
支持向量数据库milvus作为目的地节点
本次新增对向量数据库Milvus作为目标端的同步支持实现结构化数据与向量数据的对接。DataPipeline同时提供配置大模型接口及密钥,可通过不同的大模型将结构化数据转换为向量数据。适配Milvus的集合,支持集合的各种属性配置以及向量索引配置。
支持国产化中间件tongweb
DataPipeline在本次选代中新增对东方通应用服务器中间件TongWeb的全链路同步支持,通过深度整合TongWeb中间件,产品构建了安全、高性能、全栈国产化的数据同步链路,为信创场景提供“开箱即用”的解决方案,推动关键行业核心技术自主化进程。
DP产品license 管理升级
DataPipeline在本次迭代中对DP产品license管理进行升级,将License从功能授权升级为资源治理工具。V4.21中License对资源组资源进行管理,例如新增资源组后,内存资源超出限制时,新增资源组将无法使用,需重新获取满足当前资源要求的License。这样保障了核心链路稳定,通过硬隔离机制平衡高可用需求,在保障高并发同步性能的同时,为企业构建安全、经济、可预测的容器化资源管理体系。
:::color3 若您升级到v4.21,请联系项目经理获取新的license
:::
mysql系节点ddl解析器替换+适配新版ddl模型
DataPipeline本次通过底层解析引擎升级,实现MySQL全系数据库DDL的高可靠、零感知同步,支撑表结构在线变更,保障核心业务连续性与数据一致性
指定起点/重置点位逻重构
DataPipeline通过反馈以及不断对产品进行反思后,对数据任务配置指定起点功能进行优化。本次优化包含以下内容:
- 明确指定起点「选择检查点」与「输入起点」两种配置方式的区别,并重新对交互方式以及配置方式进行设计
- 分映射新增指定起点配置本次优化提升了对于不同映射起点配置的灵活性,并且提升对于用户配置的友好性
:::color3 本次升级不包含TDSQL节点
:::
其他优化及缺陷修复
- 优化SQLServer显示字段顺序优化优化【系统日志】超时登出日志内容
- 修复polardb节点,colu53 binary类型,增量数据同步不一致,且看起来全量和增量数据处理方式不一致
- 修复mysql源执行连续ddl,【已读取结构变化量】多读数据问题
- 修复TICDC获取版本失败,无法使用
- 修复TDSQL增量同步无增量读取无报错
- 修复【GoldenDB6.1.02/polardb】多任务包含并发分区同时激活时,进入增量后高频报错刷新表结构和值转换失败
- 修复【GoldenDB6.1.02】任务激活前执行ddl,激活任务后未识别(理论上与new-mysql-致走对比逻辑识别ddl)或 识别后报错
- 修复【GoldenDB6.1.02】大数据量情况下,全量读写未完成,暂停任务后执行加列结构变化,再次重启任务,报错
- 修复【Mysql系节点ddl解析器替换】GoldenDB6102,设置并发分区启动任务报错
- 修复导入数据的时候无法导入主键
- 修复Kingbase varchar(255)类型长数据,update的after捕获为空
- 修复Kingbase 带引号的字段名称,数据捕获不完整
- 修复金仓到0racle实时同步全量和增量阶段date类型丢失时间精度
v4.20版本
2025-05
功能列表
逻辑主键重构
数据加载是数据同步中Load部分最重要的一步,本版本中对于该功能进行重构。
- 提供了逻辑主键的规则设置,可以基于源表或者目的地表的元数据自动匹配
- 所有DP当前支持update,merge,delete的节点均支持逻辑主键的设置。
这彻底解决了过往过程中对于目的地逻辑主键的更新问题。
Oceanbase 节点-Oblogreader 支持多租户采集
由于Oceanbase 节点连接时需要租户信息,但是Oblogreader实质又是对集群的,因此早期的设计中,Oblogreader需要与节点配置一致,因此oblogreader会需要强制填写租户信息,这就导致当有多个租户时,其实可以用一个采集代理,实际配置需要与节点一致,这导致未来扩容的资源使用会有较大的浪费,本版本将该限制解除,Oblogreader配置时,支持监听多租户,即一个集群仅需配置一个采集代理,从而优化资源使用。
Ocenabase节点支持Obsharding
OBsharding是对于Oceanbase的代理管理软件,用户可以通过Obsharding,实现单机管理分区表
- 新增Oceanbase-OBsharding节点
- 如果Obsharding管理的节点隶属于不同的集群,需要配置多个OBlogreader采集代理
任务配置新增复制任务功能
为了提供便利性,同时对于需要补数的任务提供更快地操作路径,产品提供了任务复制的功能。
任务执行新增单次同步的功能
对于部分调度任务,仅需要同步一次,配合复制任务功能,可以快速的支持补数和单次数据迁移的业务场景。
数据校验针对校验出来的差异进行补数
当校验任务校验出差异数据后,可以选择修复范围,并进行一键补数修复。
注意补数实际上是通过jdbc读取在写入到目的地。因此如果有字段类型不一致导致的校验差异,通过补数任务无法修复。
数据同步支持自定义错误队列
当前产品做数据同步时,提供的错误队列是预判断的,由于各个数据库有自己的限制,因此有可能预判断无法全部拦截数据,因此对于未能拦截的数据,当提交到数据库报错的场景,本功能可以根据数据库返回的错误码,进行自定义配置。当提交数据库返回的错误匹配到该错误码时,该批数据将会整体进入到错误队列。从而保障任务的连续性。
Hive数据节点分区读写重构
Hive作为数据源时,分区的配置重构,对于分区根据是否是增量分区,以及如果是增量分区时,是否有界,共同配置决定以下配置:
- hive的读取过滤配置:该部分将会在所有的任务执行配置中作为公共的过滤条件与起点和终点求交集确定读取范围
- hive的增量分区:需要根据业务上,分区的增量逻辑及属性进行配置。同时根据是否有界无界,来支持多层分区的增量读取
- hive的起点和终点配置
- Hive的读取步长
Hive作为目的地时,简化了写入配置,将原有的配置化分区配置,修正并简化为SQL编辑方式书写。
TDSQL for PostgreSQL 集中式部署模式支持日志解析
- 对于TDSQL for PostgreSQL 节点,当集中式部署时,支持wal2json获取增量数据
- 对于分布式部署暂不支持日志解析
Oracle 实时采集模式适配DDL事件模型
Oracle 实时采集对于DDL的处理,按照事件模型驱动,将可以解决连续DDL的复杂业务场景。
其他优化及缺陷修复
- 系统设置-系统信息报表和系统设置-管理日志查询功能下线,由于该功能需要logstash组件,而该组件又有大量的安全隐患,因此在本版本下掉该功能。
- 修复了达梦数据库Float,Double两种字段类型精度标度的设置问题
- 修复了TDSQL指定起点和上一次相同的时间启动时,不会计算位点,导致任务不能正常读取数据。
- 修复了Goldendb集中式部署模式当任务选择指定起点,节点开启检查点策略无法填充指定位点的问题。
- 修复了数据加载过程中,主键冲突的问题。
- 修复了Oracle作为目的地,加载配置中参数配置错误的问题
- 修复了Pg系节点作为目的地,如果是无主键表,但是指定了逻辑主键,更新非逻辑主键列时,没有正确走update策略的问题
- 修复了映射设置无法正确保存的问题
- 修复了任务激活后,再暂停,然后修改节点配置,未更新redis缓存中节点数据的问题
- 优化了用户访问超时登出的业务逻辑
- 修复了mogdb多联合唯一索引表,索引为空update-merge异常问题
- 优化了mysql连接器检查主键冲突的方式
- 优化了数据校验对于空字符串占位的数据比对问题
- 修复了Inceptor作为目的地,update-update的配置情况下。源端主键变更,目的地未变更的问题
v4.19版本
2025-04
功能列表
Oracle节点支持非ASM存储架构的远程采集
- 通过部署RFA(Remote File Accessor),实现对于非ASM架构的高效远程日志采集
- RFA自身是无状态的,所有的状态信息均维护在现有的agent上。
详细内容:部署安装,配置请参考oracle-agent 手册
南大通用Gbase 8s 节点支持备库采集
- 支持了从备库直接基于裸日志进行的日志解析。
南大通用自身提供了基于API的日志解析方式,但是该API目前仅支持主库的采集和解析,对于部分业务系统,仅开放备库系统,因此原有的API的日志解析方式,在部分系统中将无法使用,本次需求,通过部分Gbase 8s 的agent 实现对于备库的日志解析。
数据校验节点支持扩展,以下节点新增数据量及数据内容差异校验
- 扩展支持了Oceanbase(MySQL租户类型,Oracle租户类型)
- 扩展支持了Gbase 8s
- 扩展支持了ArogDB
- 扩展支持了GaussDB
达梦节点DSC架构多实例解析
- 配合达梦DSC及DM架构,支持达梦高可用架构的数据解析。特别是对于DSC架构下,多实例的解析。
PostgreSQL 节点日志解析性能提升
- 通过采用pgoutput方式,提升PostgreSQL日志解析性能
其他优化及缺陷修复
- Oracle agent 优化redo record 排序及处理逻辑
- 优化并提升了达梦 logminer采集速率
- 登录登出场景的日志信息完善,补充了超时登出和异地登录挤掉原登录账号的日志记录。使得登录登出日志信息闭环
- 优化了kafka作为目的地时,高级清洗里如果return null,导致进度无法提交,从而出现写入淤积的情况。
- 修复了Inceptor作为目的地,全增量衔接报错的问题
- 修复了内存模式下,PG系列的节点,由于复制槽不提交LSN,导致事务日志不回收的问题。以及如果数据任务中的表无增量交易,复制槽不提交LSN,导致事务日志不回收的问题
- 优化了数据校验模块里,对于不支持的节点展示的问题,未来该部分节点相关的任务和映射将不再展示
- 升级了Spring boot 到3.4.4 , tomcat 版本升级到10.1.39
- 修复了Oceanbase 作为配置库时,相同的数据映射,但是在不同任务中分别执行,可能导致的schema不一致引发的结构变化等问题
- 优化了简单列计算对于字段的识别机制
- 修复创建索引时,索引的排序未展示,无法配置的问题
- 修复了旧运行时迁移新运行时,进度迁移失败的问题
- 修复了hive,argodb,inceptor节点kerberos认证 票据过期问题
- 修复了TiDB空表增量任务任务暂停后再插入增量,增量数据不识别的问题
- 修复了Oracle-Number解析时,若无标度,则默认值为0,而非Null。
- 修复了MySQL作为数据源时,连续DDL的处理问题
- 修复了Starrocks 作为目的地时,采用streamload的方式写入时,写入中文字段报错的缺陷
- 修复了Gbase 8c 和GaussDB 作为目的地时,二进制数据如果是null时,写入报错的问题
- 修复了在新运行时下,数据校验任务状态展示异常的问题
- 修复了未同步的字段发生结构变化导致任务暂停的问题
- 修复了Starrocks 2.x版本,如果有外表,获取表失败的问题
v4.18版本
2025-03
功能列表
MySQL系列节点DDL解析器替换
- 更新并替换了新MySQL,TDSQL的DDL解析器
- 对于DDL的支持类型更加丰富,同时对于同构数据库中默认值中包含函数的场景也可以支持同步。
- 对于连续DDL的支持
- DDL的支持详情及约束,请参考两个节点关于DDL读取的部分
电大金仓KingbaseES节点支持
- 支持 KingbaseES V8,V9 版本
- 支持 JDBC 读取
- 支持Decoderbufs wal日志读取
- 支持 JDBC写入
节点的详细支持情况,包括表,视图,索引,字段类型,DML,DDL请参考节点详细资料
Doris 对于加列和修改修的DDL的支持
- 对于非聚合模型和非聚合字段类型,支持新增列和修改列的DDL
Oceanbase Agent 支持4.2.1.10版本Server
其他优化及缺陷修复
- 梳理了自定义参数的场景,更新并维护了手册即文档。同时表达式定义时间格式新增Unix时间戳格式。
- 优化了ASM连接遭遇网络闪断后,支持自动恢复。
- 由于达梦数据库官方的缺陷,修改了DM8数据库的权限要求
- DP配置导入导出增加了对于受控停止任务的支持
- 修复了inceptor hybase表主键获取识别的缺陷
- 修复了rename table 导致任务暂停,只能修改配置表任务才可以继续的缺陷
- 修复了Gbase 8c,GaussDB,MogDB,Vastbase, ssl环境加密前环境升级至加密后版本不可用的缺陷
- 修复了TDSQL使用时间设置起点时,没有将Gtid purged和Gtid executed 做合并导致找不到日志的缺陷
- 修复了GoldenDB 6.1.02 JDBC模式下,无法进行视图同步的缺陷
- 修复了MogDB到MySQL ,interval 字段类型默认映射的缺陷
- 修复了任务修改结构变化策略不生效的缺陷
- 补充完善了系统设置-系统参数默认值-数据链路-策略配置-错误队列策略支持的节点范围
- 修复了达梦错误队列规则没有varchar的缺陷
- 修复了MongoDB last_max 函数的缺陷
- 修复了节点创建阶段,节点配置约束,允许用户进行修改和调整
- 修复了Gbase 8c money字段类型创建表失败的缺陷
- 修复了OSS目的地,完成标识判断错误的缺陷
- 优化了MogDB 到Hive 1.1 Data类型的默认字段映射
- 优化了Ob_oracle到Oracle varchar字段类型的默认映射
- 优化了达梦对于rollback的解析逻辑
v4.17 版本
2025-02
功能列表
DB2 for i (AS/400) 新增Journal 解析方式获取增量
- 新增DB2 for i( AS/400)通过Journal 解析的方式获取增量,进一步增加了对于IBM i 系列 (AS/400)的日志解析的支持,从而摆脱对于CDC 的插件的依赖。
- 补充了 DB2 for i( AS/400)到 Clickhouse,selectdb,starrrocks的默认映射。
受控停止功能
- 新增受控停止功能,可以通过定义规则和条件,实现对于映射层级和任务层级的读写的精准控制,适用于金融领域的日切场景。
- 支持规则的状态控制,支持记录并统计规则被触发和执行的情况。
映射读写控制
- 新增对于映射读写的手动控制,可以根据需要对映射的读写实现精准控制。并且支持无缓存暂停和立即暂停。当选择无缓存暂停时,会将缓存数据都写入到目的地后,在暂停该映射的写入。
其他优化及缺陷修复
- 由于oracle 一张表只允许有一个long类型的字段。因此修改了到Oracle的字段类型的默认映射规则
- 优化了SelectDB/Doris,Inceptor节点连通性校验的逻辑
- 由于VastBase Tinyint的实际字段类型支持无符号和有符号,因此修复了Vastbase Tinyint(INT1)的默认映射
- 修复了Gbase 8a 作为目的地,清空目的地,方式为删除重建时,任务报错的缺陷
- 修复了hashdata 的interval类型的 目的地 varchar 数据太长进入错误队列的问题
- 修复了Oracle 节点处理DDL时,先检查判断表是否存在的问题
- 修复了高级清洗试运行时,manager与数据库建立的连接未被释放的缺陷
- 修复了暂停任务后,connectdp与数据库建立的连接未能释放的缺陷
- 修复了Starrocks 作为目的地,当目的地执行DDL时,等待过程判断状态,Finished 和Cancelled时,均不会卡住任务一直等待。
- 修复了DB2 for i( AS/400)到Oracle / Oceanbase -Oracle /达梦的字段类型默认映射的缺陷
- 修复了3.7版本 达梦数据节点连接参数升级到新版本处理问题
- 修复了当开启debug日志后,connectdp线程会卡住的缺陷
- 更新了Hudi的spark的版本。支持hudi0.10.1
- 修复了ArgoDB作为目的地时,执行update 和delete 的缺陷
- 修复了pg系列的节点(GaussDB/Gbase8c/Vastbase/MogDB)到SQL-Server 的字段类型映射Interval的字段类型映射问题
- 修复了MySQL 指定起点,GTID设置不生效的问题
- 修复了kafka Avro 作为数据源时,新增列结构变化支持的问题
- 修复了预警内容显示重复信息的问题
- 支持了Oracle ASM 密码加密处理的问题
功能下线:
偶数DB数据节点暂停支持
同步终点功能暂停支持
pg作为数据源时,指定起点LSN功能下线
v4.16 版本
2025-01
功能列表
DP部署服务支持密码加密访问
- DP底层服务之间的访问支持加密,并且可以根据需要对于部署文件进行拆分。拆分成ENV和Conf两个文件,方便后续做扩展。
节点权限校验功能优化
- 节点的权限校验拆分为连通性和功能权限校验。当点击可用性校验时,节点校验会优先校验节点的连通性,对于用户而言,需要保障节点连接地址填写正确。当连通性校验通过后,会在进行DP所需要功能的可用性校验。会按照读写模式进行拆分,比如读有JDBC和CDC两种模式,写有JDBC和文件写两种,则会分别对权限进行校验。注意权限校验不通过不会影响到节点使用,仅会有部分功能受限,比如对于有的场景而言,不希望系统对目的地表进行结构变化的处理,您可以在创建用户时,不给该用户赋权,这对应的无法通过该用户实现对目的地的表进行结构的修改,从而让业务系统更加安全。
- 本次修改的节点范围:Oracle,Oceanbase,达梦,ArgoDB,Kafka,Hive
其他优化及缺陷修复
- 丰富了Hive 作为数据源支持时间的Format
- 修复了批量完成标识生成失败的问题
- 修复了自定义加密,无法创建新用户的问题
- 修复了底层定时服务的任务失败导致kafka进度提交失败的问题
- 优化了Oracle Agent处理没有事务ID数据回滚操作的效率
- 修复了跳板机开启后,导致所有节点校验走跳板机的问题
- 修复了跳板机部署方案下, 试运行白屏问题
- 修复了TDSQL_mysql分布式协调未完成,但是任务暂停又重启导致任务报错的问题。