版本:v4.4
数据链路-基本配置
数据链路基本配置是保证数据任务成功运行的基本配置,其中包括数据源配置、数据目的地配置与数据映射配置。
关于此功能
完成数据链路基本配置的基本功能模块:
数据源配置
- 选择数据源
- 新建数据源
- 增量读取配置
- 全量读取配置
数据目的地配置
- 选择数据目的地
- 新建数据目的地
- 写入配置
数据映射配置
- 配置表映射
- 创建目的地表
- 配置字段映射
- 限制读取范围
- 配置数据清洗脚本
新建数据源、数据目的地,详见添加数据节点。
配置数据映射,详见关系型数据节点数据映射。
操作步骤
点击数据链路列表->数据链路详情,进入数据链路详情页;
选择数据源节点;
- 可选数据源节点为已被激活的数据节点。
选择增量读取方式或者全量读取方式;
- 增量读取方式指获取增量数据的方式,对于 RDBMS 类型的数据源来说,增量获取方式通常包括日志增量获取与增量识别字段增量获取。
选择数据目的地节点;
选择写入方式;
配置数据映射。
数据映射相关配置较为复杂,我们使用另一个篇幅描述,详见关系型数据节点数据映射。
警告
读取方式完成选择并保存后,将不允许修改,请您慎重选择。