V4.1 版本更新日志
2023-08
功能列表
新增功能
新增功能:支持Rename DDL场景
功能背景及使用场景
在业务系统中,如数据表存量数据较大,执行Alter table增加字段、变更字段类型等结构变化时间会造成较长时间的锁表,业务上通常不允许关键数据表不可用时间较长。因此,数据源在进行结构变化时,通常会通过执行“多次Rename”进行表替换操作,以减少结构变更时间。
在过去的版本中,DataPipeline并不支持这种结构变化场景,需要修正数据,需要手动刷新结构并重新同步数据,在数据目的地,数据不可用的时间较长。
功能说明
DataPipeline 产品在4.1版本中,新增支持“数据源重命名正在同步的表” DDL场景,提供删除重建目的地表、恢复索引权限、全量刷新数据的选项。全自动化处理这种结构变化,对下游数据应用的影响由之前的数小时降低至几秒钟。
新增功能:支持生成批次同步完成标识
功能背景
在过往版本中,客户使用DataPipeline同步的批量数据时,往往需要根据历史同步所需时间来判断数据是否同步完成,是否达到可用状态,整个过程低效且不精确。为提升客户对数据的使用效率,DataPipeline在4.1版本引入了批量数据同步完成生成标识的功能。
使用场景
- 下游数据可用性判断: 下游业务部门需要明确知道何时可以开始使用最新批次的数据。批量同步完成标识充当了一个关键的信号,当标识文件出现时,下游业务知道数据已经完全可用,可以开始使用。
- 数据同步一致性保障: 批量同步完成标识充当一致性的依据,确保数据同步操作是在完全成功的情况下才被视为完成。
功能说明
- 在批量同步场景下支持生成标识。即任务同步方式为“增量同步”,执行方式为“监听模式”,或任务同步方式为“全量同步”。
- 支持同步完成后生成标识文件,或将同步完成信息写入标识表。
- 支持在任务中所有映射同步完成后生成标识,同时支持每条映射同步完成后生成标识。
- 当数据目的地为文件系统,配置批次同步完成标识后,数据源读取批次数据完成时DataPipeline将立即向文件系统目的地写入数据文件。即启用同步完成标识后DataPipeline不再按照数据链路配置的「新建文件大小限制」或「写入时间限制」规则对数据文件进行拆分或合并。
- 标识表或标识文件记录信息如下:
| batch_count | 批次同步数据量 |
|---|---|
| batch_end_time | 批次结束时间 |
| batch_index | 批次序号 |
| batch_start_time | 批次开始时间 |
| batch_time_cost_ms | 批次耗时 |
| created_at | 记录时间 |
| done_mark_type | 标识维度,T 表示任务维度标识,M 标识映射维度标识 |
| id | 自增id |
| mapping_id | 映射id |
| sink_database | 数据目的地数据库名称 |
| sink_node_id | 数据目的地节点id |
| sink_schema | 数据目的地Schema名称 |
| sink_table_name | 数据目的地表名称 |
| src_database | 数据源数据库名称 |
| src_node_id | 数据源节点id |
| src_schema | 数据源Schema名称 |
| src_table_name | 数据源表名称 |
| task_id | 任务id |
新增功能:支持在Kubernetes环境部署
功能背景及使用场景
在以前的版本中,DataPipeline不支持容器编排平台的部署功能,
越来越多的商业客户,已经部署了开源或者定制的容器管理平台,支持多种应用层的服务冗余和自动切换。有些已使用DataPipeline产品的客户,期望DataPipeline能够部署到自管理的Kubernetes平台上,以实现数据服务的多节点冗余和自动接管。
功能说明
DataPipeline 产品在4.1版本中,新增支持在Kubernetes集群环境上的部署功能,满足更加自动化、可扩展和高可用的容器管理功能。当某台虚机/服务器发生故障时,基于Kubernetes部署的DataPipeline产品,能自动切换到Kubernetes集群中其它节点继续运行,不影响正在进行或者未完成的数据同步任务。
在4.1版已经实现的功能中,缺省配置同一后台功能组件的三个容器实例同时运行,可以有效保证后台组件的高可用性,产品支持NFS共享存储和Calico网络配置。
功能优化
- 预警信息优化-支持自定义参数(时间、随机数)拼接至预警消息体