版本:v4.8
V4.8 版本更新日志
2024-05
功能列表
适配华为MRS Hudi 数据目的地
功能背景
Hudi 作为成熟度较高的数据湖,现在正在被广泛的应用,我们从0.6.0的版本就开始关注,同时也在支持过程中不断地增强了对于该节点应用,使用以及场景的理解。
而华为MRS(MapReduce Service),作为国内甚至全球非常成功的企业服务的公司,我们也保持着很好的联系和合作。因此在5月份Release 版本中,DataPipeline 正式完整适配了(MRS 3.2.0-LTS.1)-Hudi 0.11.0 版本。
功能说明
数据加载方式持续优化,新增Greenplum目的地节点
功能说明
DataPipeline 作为专业的数据集成中间件厂商,需要不断的加强数据同步过程中各种场景的处理。对于源端主键更新,普通键更新,目的地无主键表等,因此我们从4.5版本开始引入了逻辑主键的概念,并通过在目的地配置逻辑主键的方式,实现更新的处理,以保障业务数据的一致性。在4.7版本中,DataPipeline又支持了Greenplum 目的地节点的逻辑主键功能。目前已经支持的节点包含了TiDB,MySQL,MSSQL Server,PostgreSQL,OpenGauss ,Greenplum。
用户登录功能优化
功能说明
目前DataPipeline的客户,对于管理规范的要求越来越多样。因此在4.7版本中,结合了客户的要求,产品部门做了整理,目前已经支持,首次登录后的密码修改和连续登录失败次数的限制,防止恶意登录。同时也丰富了审计日志的内容。