跳到主要内容
版本:v5.1

3.2 数据映射

数据映射是将数据任务配置集中管理,统一配置的功能模块。完成数据映射配置后,在数据任务配置中选择数据映射,相关配置将被直接应用至数据任务。

在5.0版本中,数据映射不单单指“映射”,在创建数据映射时可以选择将映射保存为模版。本次引入了 “映射模板” 概念,并实现了 “模板” 与 “实例”(即具体映射)的分离。这类似于编程中的“类”与“对象”的关系,极大地提升了产品的灵活性、效率和可管理性。

准确的映射配置是保证数据任务稳定运行的关键,例如数据源与数据目的地配置、数据映射、结构变化策略,任务将应用映射的配置。与此同时,为了提升数据任务管理与运维的便捷性,在数据映射配置的基础上,数据任务可以自行定义日志策略的配置选项。

丰富的配置种类为任务运行提供了稳定性保障,但配置选项过多也会对您理解并使用 DataPipeline 进行数据同步带来一定影响。

因此,从配置的逻辑层面我们将数据映射的配置分成了三个层级,基础配置、限制配置、策略配置。

数据映射与映射模版​

映射与映射模版的关系​

  1. 映射和映射模版在创建时,不允许重名;
  2. 映射可以另存为模版,模版也可以另存为多个映射;

数据映射介绍​

数据映射 是指在数据集成或数据同步过程中,定义并建立源数据与目标数据之间字段的对应关系、数据格式转换规则、以及数据清洗和处理逻辑的完整配置集合。

核心组成部分

一个完整的数据映射通常包含以下元数据和行为逻辑:

  1. 字段映射:源节点(Source)的某个字段与目的地节点(Target)的某个字段的对应关系。这是最基础的映射;
  2. 数据类型转换:定义当源表字段与目标表字段的数据类型不一致时如何转换(例如,将字符串 "123" 转换为整数 123,或将日期格式从 YYYY-MM-DD 转换为 MM/DD/YYYY);
  3. 数据转换与清洗规则:在数据同步过程中对数据进行处理的业务逻辑。例如:
    1. 表达式:使用类似SQL或编程语言的函数进行运算(如 CONCAT(first_name, ' ', last_name))。
    2. 高级清洗:支持使用Java代码实现复杂的数据处理,如数据脱敏、类型转换、数据值。
  4. 默认值:当源字段为空时,在目标字段中填入预设的默认值。
  5. 结构映射:当源和目标数据结构不一致时的映射逻辑

关键特性

  1. 实例化:一个数据映射通常与一个具体的数据同步任务强绑定。它包含了该任务独有的、具体的配置信息(如具体的源/目标表名、结构变化策略等)。
  2. 可执行性:数据映射是数据同步引擎的执行蓝图。同步任务运行时,会直接加载此映射配置,逐条处理数据。
  3. 可变性:映射可以根据具体任务的需求进行任意修改。

映射模版介绍​

映射模板 是一个预定义的、可复用的数据映射蓝图或范式。它封装了经过验证的、标准化的映射逻辑,同时也可以配置特定运行时环境或相关的细节(如具体的数据库名称、表名),但可以进行修改复用。

核心组成部分

映射模板包含了数据映射的所有逻辑部分,以及数据映射的实体部分(数据节点、表等):

  1. 核心映射逻辑:标准的字段对应关系、数据类型转换、通用的数据清洗和业务规则(如国家代码标准化、货币转换)。
  2. 元数据:模板的版本、作者、描述、适用场景(如“适用于SAP ERP到数据仓库的客户数据同步”)等信息。

关键特性

  • 可复用性:模板的核心价值在于“一次定义,多次使用”。它作为最佳实践的载体,被多个数据映射共享。
  • 抽象性:模板关注的是“做什么”和“如何转换”,而不是“从哪里来”和“到哪里去”。它剥离了具体的连接信息,实现了逻辑与实现的分离。
  • 稳定性与治理:模板通常由架构师或管理员创建和维护,修改模板不会直接影响基于它创建的映射实例。

数据映射基础配置​

数据映射基础配置是数据任务可以成功运行的最小化配置,即当数据任务选择已完成基础配置的数据映射,并完成数据任务基础配置,任务即可运行。其中包括:

◎ 数据源配置​

数据源配置是对不同数据源的读取配置。

数据源节点配置目前只能选择一个节点。

◎ 数据目的地配置​

数据目的地配置是对不同数据源的写入配置。

数据目的地节点配置可以选择多个节点。

◎ 数据映射配置​

数据映射配置是将数据源数据与数据目的地数据通过映射关联的配置,其中包括:

» 表映射配置

数据映射-表映射配置是建立数据源表与数据目的地表映射关系的配置。

◎ 字段映射配置​

数据映射-字段映射配置是建立数据源表中字段与数据目的地表中字段映射关系的配置。

◎ 清洗规则配置​

数据映射-清洗规则配置是对即将写入数据目的地的数据进行清洗处理的配置。

数据映射策略配置​

数据映射策略配置是解决数据任务运行时可能遇到的问题的配置选项。若源节点有多个读取方式,则可针对不同的读取方式进行策略配置。

策略配置可以被分成两类:

  • 一类是对于任务运行过程中可能会遇到的错误提供的系统自动的应对策略,其中包括:结构变化策略
  • 另一类是记录和反馈任务运行信息,方便处理任务错误情况提供的策略,其中包括:日志策略

◎ 结构变化策略​

结构变化策略是当数据源数据结构发生变化时,系统将为您执行的策略,能够有效避免由于数据源结构变化使任务暂停带来的影响。

◎ 日志策略​

合理的日志策略可以有效帮助您降低查询与管理日志数据的时间投入,通过日志策略,您可以配置日志记录的类别与日志存储方式。

数据映射的基本管理​

在数据映射列表页可以新建数据映射,编辑数据映射,并对数据映射进行挂起、激活状态调整操作、删除数据映射操作和设置重要映射操作。您也可以批量删除、挂起、激活数据映射;通过选择器、搜索来检索数据映射,并指定检索条件;点击表头右侧的设置按钮自定义展示列;依据部分字段进行排序;自动切换平铺与横向滚动展示模式。

◎ 新增数据映射​

详见:创建数据映射 Adding a Data Pipeline

◎ 编辑数据映射​

详见:修改数据映射 Editing a Data Pipeline

◎ 删除数据映射​

详见:删除数据映射 Deleting a Data Pipeline