跳到主要内容
版本:v5.2

数据映射-映射设置

映射设置将提供一个默认的规则,默认规则里会分别对表、字段、高级清洗进行设置。如果您在使用的时候,需要修改默认规则,您可以对改规则进行配置,选择的表或者新添加的表,都会执行相应的规则,批量的完成映射创建。

关于此功能​

映射设置功能包含:

  • 表映射/文件映射
  • 字段映射
  • 高级清洗

操作步骤​

  1. 点击映射规则设置,完成相关规则配置。
  • 表相关设置:
    • 表选择规则
      • 目的地表的创建方式:提供匹配已有表、创建新表、匹配优先、不匹配表(默认)
      • 选择 schema,DB,project 等。这里如果注册节点的时候,设置了 schema 和 DB 或者 project,则默认值为该值,否则为空,需要用户自己选择进行配置。
      • 当您选择创建新表或匹配优先时,在目的地节点类型是 Mysql、Tidb、TeleDB 的情况下,批量映射功能提供目的地字符集配置。
      • 匹配优先:选择匹配优先后,在使用规则时将会根据源表名称匹配目的地节点已有表,未找到已有表时则转为创建新
    • 表名称匹配/新建规则
      • 在源表名的基础上,增加前缀,后缀,或者替换字段。表名的操作后,再根据上一步的建表方式的选择。对于目的地执行相应的操作,如果是匹配已有表,则用拼接好的表名,去目的地库进行全匹配,如果选择新建表则用该字段,去目的地新建表名,如果选择匹配优先,则先尝试匹配,匹配不上则转为创建新表
    • 大小写规则
      • 仅对匹配表生效,如果是创建新表的话,则按照语义映射的逻辑生效进行设置
警告

表相关设置其他约束

  1. 对于有些数据库作为目的地时,仅支持创建表或者匹配表,此时就只会有唯一的设置
  2. Schema 和 DB,默认值为节点注册时所填写的内容。如果没有设置,则默认为空。
  3. 对于文件系统,会根据文件系统支持的文件格式进行设置。这里只有被选中的规则,才会被执行。
  • 文件相关设置:
    • 表选择规则
      • 目的地表的创建方式:创建新文件
      • 创建新文件的同时,需要指定文件类型,并对不同的文件类型进行相关设置
    • 文件新建规则
      • 在源表名的基础上,可以根据业务需要增加前缀,后缀,或者替换字段。对表名操作后,再根据文件类型的设置,去目的地创建新表。
  • Hive,Inceptor 等有内外表,并且有文件存储要求的表
    • 表选择规则:因为其实质仍然是数据库,因此数据库的选择同 RDBMS 数据库一致,需要根据业务需要数据库和 schema
    • 同时由于其底层是文件存储,因此需要根据实际业务需要对文件相关格式进行设置。
    • 当节点类型为 Inceptor 时,创建表时支持选择表的底层存储。
  • Kafka,Sequoia 需要设置相应的 topic 规则和 collection 规则,目前只支持按照名称匹配,如果需要指定 topic,仍然需要手工指定完成
  • Kafka Topic 数据格式配置:\ 1. after value:源端数据发生变更后的值,如果操作为 delete,则不写入 after value 2. before value:源端数据发生变更前的值,如果操作为 insert,则不写入 before value 3. table:表名称,数据格式为 schema.table 4. primary_keys:主键字段,多个主键字段使用「,」分隔 5. rowid:oracle 数据 rowid 6. binlog_file:mysql binlog 文件名称 7. gtid:mysql 全局事务标志 8. pos:mysql 日志块序列号 9. op_type:数据 DML 操作类型。insert 操作将写入"operation_type":"I";update 操作将写入"operation_type":"U";delete操作将写入"operation_type":"D" 10. op_ts:源端实时读取模式为数据写入时间,源端批量读取模式为数据采集时间 11. current_ts:数据采集时间
    • 开启「value 内容分层写入 Topic」开关,DataPipeline 写入 after 数据第一层为「after」,第二层为 after value。如果同时写入 before 数据,则 before 数据第一层为「before」,第二层为 before value。
  • Hudi 目的地映射配置:
    • 表存储类型:支持您配置表存储类型为“Copy On Write”或“Merge On Read”。
    • BathPath:BasePath 由“根路径”,此处输入的相对路径,表名称共同组成。“根路径”为创建节点时配置的绝对路径。
    • 参数设置:DataPipeline 支持您为每张表配置单独参数。
    • 同步到 Hive:开启同步到 Hive,系统将自动将 Hudi 表同步至 Hudi 节点详情页面配置的 Hive 库。
  • 字段相关设置:
    • 写入数据
      • 当数据源为ORACLE、MySQL、OceanBase,数据目的地为DataHub Tuple类型topic时,支持通过「写入数据」配置项配置是否写入数据的更新前镜像。更新前镜像仅对数据源字段生效,不对映射设置中新建的数据目的地字段生效。
    • 字段名称新建规则
      • 注意这里的字段名称和表的新建没有关系,指的是表的字段是由 DP 负责创建的, 比如 kafka 这种半结构化数据,我们只是选择 topic,每个字段都是 DP 负责创建的, 就执行该规则
      • 增加前缀,后缀和替换的逻辑同表名的处理逻辑
    • 字段名称匹配规则
      • 这里的字段匹配,是指的同目的表已经存在的字段进行匹配的规则。
      • 增加前缀,后缀和替换的逻辑同表名的处理逻辑
    • 新增字段:
      • 对于新建的表和匹配的表,如果允许,就都可以给表做新增字段的操作。新增字段采取所见即所得的处理策略。不会执行字段前缀,后缀,替换的规则。
    • 大小写规则
      • 仅对匹配表生效,如果是创建新表的话,则按照语义映射的逻辑生效进行设置
警告

注意有的数据库,目前 DP 只支持新建表,有的只支持选择已有表,则相应的可以对字段进行相应的设置。

  • 高级清洗设置
    • 如果有一些映射需要执行相同的高级清洗脚本,比如增加字段,并且对字段进行统一逻辑的赋值,则可以通过高级清洗进行批量设置,也可以在设置的时候,直接进行编辑。
  1. 在完成规则的设置后,您有以下几种方式对表进行批量设置
  • 选表,由于这次我们可以对规则进行设置,因此在选表完成的时候,就会自动按照规则,执行相应的设置。
  • 在数据链路中,勾选中映射,可以看到对于该映射可以执行的批量操作,包括:表映射、字段映射、高级清洗、删除批量操作。
    • 表映射:执行后,会按照表相关设置的规则,将对表做的匹配,通常表如果更换了,字段也会不一样,因此执行表规则的时候,默认会把字段规则也执行。
    • 字段映射:执行后,会以现在匹配或者新建的表为基础,对字段进行匹配或者新建,注意执行字段匹配时,需要保存数据映射。
    • 高级清洗:执行后,会批量的开启高级清洗,并且显示选择的高级清洗脚本
    • 删除:执行后,会删除批量选中的映射
    • 如果需要重复执行规则时,只需要选择相应的映射,执行规则即可
  1. 在执行完成后,会在右上角弹出执行结果,您可以通过点击查看详情,查看本次批量执行的结果。
  2. 最后,在数据映射中,我们考虑到数据映射承载着整个产品最为重要的部分。因此这里的正确性异常关键。因此我们在这里增加了两个检查机制。用红色和黄色的叹号进行展示。 第一种检查机制,是对链路进行相关的检查。
    1. 第一种检查机制,是对链路进行相关的检查。
      1. 检查内容包含错误和警告项:
        1. 错误的检查内容:目的地的表一个字段都没有选中;同名表

错误的检查内容:目的地的表一个字段都没有选中;同名表

    1. 警告的检查内容:表的状态为为创建
1. 第二种检查机制,对批量执行结果的检查
1. 警告:批量执行后,部分匹配,选择匹配已有表,但是匹配失败的时候
2. 如果有错误,则该链路不能保存,如果有警告链路可以保存,并且保存后,警告消失,下次将不会在展示这些警告。
提示

特殊说明:

当前映射提供Diff逻辑,即可以检测出页面所选的表与客观映射的表之间的差异。Diff会去比较两个表的元数据信息。包含表名,表的属性,索引,字段名称,字段类型,注释,默认值等。

目前暂不支持处理的是,包含函数的索引。这种会一直产生diff,即便忽略或者覆盖也会产生,但是不会影响到数据同步任务。

另外关于注释,如果一开始选表的时候没有注释,然后更新了注释,这个时候刷新表,会自动把表的注释信息填入,也不会产生diff。

由于这两个暂时都不会影响到数据同步任务,缺陷暂不修复。

同时当前产品不支持函数,因此索引,默认值和注释上如果有函数,是无法将该元数据信息同步到下游的。