跳到主要内容
版本:v4.13

数据链路-基本配置

数据链路基本配置是保证数据任务成功运行的基本配置,其中包括数据源配置、数据目的地配置与数据映射配置。

关于此功能​

完成数据链路基本配置的基本功能模块:

  • 数据源配置
    • 选择数据源
    • 新建数据源
    • 增量读取配置
    • 全量读取配置
  • 数据目的地配置
    • 选择数据目的地
    • 新建数据目的地
    • 写入配置
  • 数据映射配置
    • 配置表映射
    • 创建目的地表
    • 配置字段映射
    • 限制读取范围
    • 配置数据清洗脚本

新建数据源、数据目的地,详见添加数据节点。

配置数据映射,详见关系型数据节点数据映射。

操作步骤​

  1. 点击数据链路列表->数据链路详情,进入数据链路详情页;
  2. 选择数据源节点;
    1. 可选数据源节点为已被激活的数据节点。
  3. 选择增量读取方式或者全量读取方式;
    1. 增量读取方式指获取增量数据的方式,对于 RDBMS 类型的数据源来说,增量获取方式通常包括日志增量获取与增量识别字段增量获取。
  4. 选择数据目的地节点;
  5. 选择写入方式;
  6. 配置数据映射。

数据映射相关配置较为复杂,我们使用另一个篇幅描述,详见关系型数据节点数据映射。

警告

读取方式完成选择并保存后,将不允许修改,请您慎重选择。