跳到主要内容
版本:v4.5

V4.1 版本更新日志

2023-08​

功能列表​

  • 支持Rename DDL场景
  • 支持定义批量数据同步批次完成标识
  • 支持在Kubernetes环境部署

新增功能​

新增功能:支持Rename DDL场景​

功能背景及使用场景
在业务系统中,如数据表存量数据较大,执行Alter table增加字段、变更字段类型等结构变化时间会造成较长时间的锁表,业务上通常不允许关键数据表不可用时间较长。因此,数据源在进行结构变化时,通常会通过执行“多次Rename”进行表替换操作,以减少结构变更时间。
在过去的版本中,DataPipeline并不支持这种结构变化场景,需要修正数据,需要手动刷新结构并重新同步数据,在数据目的地,数据不可用的时间较长。
功能说明
DataPipeline 产品在4.1版本中,新增支持“数据源重命名正在同步的表” DDL场景,提供删除重建目的地表、恢复索引权限、全量刷新数据的选项。全自动化处理这种结构变化,对下游数据应用的影响由之前的数小时降低至几秒钟。

新增功能:支持生成批次同步完成标识​

功能背景
在过往版本中,客户使用DataPipeline同步的批量数据时,往往需要根据历史同步所需时间来判断数据是否同步完成,是否达到可用状态,整个过程低效且不精确。为提升客户对数据的使用效率,DataPipeline在4.1版本引入了批量数据同步完成生成标识的功能。
使用场景

  • 下游数据可用性判断: 下游业务部门需要明确知道何时可以开始使用最新批次的数据。批量同步完成标识充当了一个关键的信号,当标识文件出现时,下游业务知道数据已经完全可用,可以开始使用。
  • 数据同步一致性保障: 批量同步完成标识充当一致性的依据,确保数据同步操作是在完全成功的情况下才被视为完成。

功能说明

  • 在批量同步场景下支持生成标识。即任务同步方式为“增量同步”,执行方式为“监听模式”,或任务同步方式为“全量同步”。
  • 支持同步完成后生成标识文件,或将同步完成信息写入标识表。
  • 支持在任务中所有映射同步完成后生成标识,同时支持每条映射同步完成后生成标识。
  • 当数据目的地为文件系统,配置批次同步完成标识后,数据源读取批次数据完成时DataPipeline将立即向文件系统目的地写入数据文件。即启用同步完成标识后DataPipeline不再按照数据链路配置的「新建文件大小限制」或「写入时间限制」规则对数据文件进行拆分或合并。
  • 标识表或标识文件记录信息如下:
batch_count批次同步数据量
batch_end_time批次结束时间
batch_index批次序号
batch_start_time批次开始时间
batch_time_cost_ms批次耗时
created_at记录时间
done_mark_type标识维度,T 表示任务维度标识,M 标识映射维度标识
id自增id
mapping_id映射id
sink_database数据目的地数据库名称
sink_node_id数据目的地节点id
sink_schema数据目的地Schema名称
sink_table_name数据目的地表名称
src_database数据源数据库名称
src_node_id数据源节点id
src_schema数据源Schema名称
src_table_name数据源表名称
task_id任务id

新增功能:支持在Kubernetes环境部署​

功能背景及使用场景
在以前的版本中,DataPipeline不支持容器编排平台的部署功能,
越来越多的商业客户,已经部署了开源或者定制的容器管理平台,支持多种应用层的服务冗余和自动切换。有些已使用DataPipeline产品的客户,期望DataPipeline能够部署到自管理的Kubernetes平台上,以实现数据服务的多节点冗余和自动接管。
功能说明
DataPipeline 产品在4.1版本中,新增支持在Kubernetes集群环境上的部署功能,满足更加自动化、可扩展和高可用的容器管理功能。当某台虚机/服务器发生故障时,基于Kubernetes部署的DataPipeline产品,能自动切换到Kubernetes集群中其它节点继续运行,不影响正在进行或者未完成的数据同步任务。
在4.1版已经实现的功能中,缺省配置同一后台功能组件的三个容器实例同时运行,可以有效保证后台组件的高可用性,产品支持NFS共享存储和Calico网络配置。

功能优化​

  • 预警信息优化-支持自定义参数(时间、随机数)拼接至预警消息体