跳到主要内容
版本:v4.12

刷新数据映射元数据

数据映射是数据源、数据目的地的数据库、Schema、表、字段、字段类型、索引、约束、键、字符集等元数据信息的映射逻辑。在系统中显示的数据源或目的地的元数据信息,是通过 JDBC 连接获取的。

系统会在您第一次选择数据源数据表时刷新数据源表元数据信息,会在您第一次配置目的地映射时刷新数据目的地元数据信息。当发生新建表同名检查、数据同步过程中的结构变化等情况时,系统也会自动刷新元数据。

当您需要获取最新的数据源、目的地元数据时(例如在数据源新建了一张数据表而系统中没有),您需要通过刷新功能,刷新数据源元数据。

关于此功能​

在实际的生产场景中,可能存在数据库、数据表非常多的情况(数十万量级),查询获取元数据需要较长时间,因此我们将元数据刷新分为两类:

  • 表是否存在:以此判断是否新增表、删除表
  • 表中所有元数据信息:刷新数据表名及数据表的字段、字段类型、索引、约束、键、字符集等元数据信息

同时,为了避免一次刷新数万张数据表带来的查询时间过长、刷新过慢,我们提供了不同的刷新范围:

  • 映射已选数据表:指数据源或目的地表映射中选择了的数据表
  • 所有数据表:数据源或目的地中有访问权限的所有数据表
警告

刷新所有数据表的详细元数据信息,需要的元数据获取时间较长,请谨慎选择

在元数据刷新后,可能会发生映射保存的元数据,与当前刷新结果中的元数据不一致的情况,对于不一致情况,产品会出现元数据不一致提示,需要您根据提示处理该元数据变化。

操作步骤​

  1. 在数据链路详情页-数据映射功能中,点击刷新按钮
  2. 选择刷新范围
  3. 选择刷新内容
  4. 点击确定执行刷新

注意事项​

警告

当您在结构变化策略中,选择暂停数据任务的选项,任务暂停后,数据映射将出现手动处理元数据冲突的提示,需要您手动处理该元数据变化并调整映射后,重启数据任务。