版本:v4.20
2. 快速入门
获取产品
可以联系DataPipeline交付团队,获取产品和技术支持,安装产品。添加源和目的地的数据节点,创建数据链路,即可配置数据任务。具体操作如下
添加数据节点
- 点击数据节点列表页->新增数据节点;
- 输入名称及描述,点击「确定」进入链路基本配置页面;
- 选择了数据节点类型之后,根据不同的数据节点类型配置其连接信息
- 节点配置完成,在列表中点击详情,在基本配置中点击「可用性校验」按钮进行可用性校验。
- 点击右上角的激活节点,即可将节点激活,用于后续的数据链路的创建。
创建数据链路
创建数据链路
- 点击数据链路列表页->新增数据链路;
- 输入链路名称及描述,点击「确定」进入链路基本配置页面;
- 选择数据源(可选多个)并选择增量/全量读取方式;
- 选择数据目的地(可选多个)并选择写入方式;
- 配置数据映射,操作步骤详见:数据链路-基础配置-关系型数据节点数据映射;
- 保存基本配置;
- 完成基本配置后,任务应用链路配置即可运行,但为保证任务运行的稳定性,我们推荐您完成链路策略配置后再通过数据任务使用链路配置。
配置数据映射
- 点击数据链路列表->数据链路详情,进入数据链路详情页;
- 选择数据源节点;
- 可选数据源节点为已被激活的数据节点。
- 选择增量读取方式或者全量读取方式;
- 增量读取方式指获取增量数据的方式,对于 RDBMS 类型的数据源来说,增量获取方式通常包括日志增量获取与增量识别字段增量获取。
- 选择数据目的地节点;
- 选择写入方式;
- 配置数据映射。
映射配置完成,激活链路后即可配置对应的数据任务。
数据映射相关配置较为复杂,可以参考「关系型数据节点数据映射」。
配置数据任务
- 在创建任务过程中,输入任务名称及描述进入任务详情页面;
- 点击选择链路,进入选择链路弹窗;
- 选择一条已创建好的链路,或者创建一条链路,选择完成后,点击保存;
- 回到任务详情页,基础配置,您可以选择同步列表:
- 选择同步列表即选择同步哪些已经配置好的数据映射;
- 当您选择了一个数据源的数据映射后,不允许选择其他数据源的数据映射。
- 通过切换当前数据源对应的多个数据目的地,可以选择一对多数据同步。
警告
- 选择链路后,已选数据链路将被同步至数据任务,任务不可更改已选数据链路;
- 通过修改同步列表,您可以调整任务同步数据的同步范围。
- 任务暂停后,您可以添加任务同步的数据映射,任务启动时,将按照现有的任务执行配置执行新的数据映射同步。