版本:v4.15
配置字段映射
配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。
关于此功能
因在配置数据映射时可以在数据目的地选择已有表或新建表,配置字段映射也会根据表映射中所选内容而改变。
操作步骤
- 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
- 在每一行的数据目的地字段列中选择数据目的地表的字段:
- 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
- 如数据目的地没有您需要的数据表,您可以点击「创建新表」,跳转至字段映射 tab:
- 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
- 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
- 您可以修改数据目的地名称与字段属性;
- 在需要新建表的场景中,DataPipeline 会默认会对应源端表中的字段配置一个默认映射,支持修改字段映射后,点击创建目的地表以通过系统在数据目的地建表;
- 建表需要创建表权限;
- 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
- 通常情况下,生产环境建表需要您公司 DBA 创建表。
- 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
- 预留字段的映射没有相应的数据源字段信息;
- 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
警告
- 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
- 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务
不支持配置默认字段映射的源和目的地
说明:
1.支持选择已有表
2.不支持新键表,报错“未找到默认映射”
3.可以通过手动配置语义映射支持新建表场景
4.JDBC 任务中涉及到新增字段的场景会有异常,报错“未找到默认映射”,同样也可以通过动配置语义映射来支持此场景。
| 源节点 | 目的地节点 |
|---|---|
| AWS RDS for PostgreSQL | Iceberg |
| MogDB | AnalyticDB MYSQL |
| MogDB | AWS RDS for PostgreSQL |
| MogDB | TelePG |
| MogDB | RocketMQ |
| GaussDB(for openGauss) | AWS RDS for PostgreSQL |
| GaussDB(for openGauss) | TelePG |
| Vastbase(G100) | AnalyticDB MYSQL |
| Vastbase(G100) | AWS RDS for PostgreSQL |
| Vastbase(G100) | TelePG |
| API | Iceberg |
| DB2 for i(AS/400) | CLICKHOUSE |
| DB2 for i(AS/400) | Doris/SelectDB |
| DB2 for i(AS/400) | Doris/SelectDB |
| DB2 for i(AS/400) | StarRocks |
| ArgoDB | AnalyticDB MYSQL |
| ArgoDB | AWS RDS for PostgreSQL |
| ArgoDB | TelePG |
| ArgoDB | Hive |
| Gbase 8S | AnalyticDB MYSQL |