跳到主要内容
版本:v3.7

数据映射-映射设置

映射设置将提供一个默认的规则,默认规则里会分别对表,字段,读取限制,高级清洗进行设置。如果您在使用的时候,需要修改默认规则,您可以对改规则进行配置,选择的表或者新添加的表,都会执行相应的规则,批量的完成映射创建。

关于此功能​

映射设置功能包含:

  • 表映射/文件映射
  • 字段映射
  • 读取限制
  • 高级清洗

操作步骤​

1.点击映射设置,完成相关规则配置。

  • 表相关设置:
    • 表选择规则
      • 目的地表的创建方式:提供匹配已有表(default),创建新表,匹配优先
      • 选择 schema,DB,project 等。这里如果注册节点的时候,设置了 schema 和 DB 或者 project,则默认值为该值,否则为空,需要用户自己选择进行配置。
      • 当您选择创建新表或匹配优先时,在目的地节点类型是 Mysql、Tidb、TeleDB 的情况下,批量映射功能提供目的地字符集配置。
    • 表名称匹配/新建规则
      • 在源表名的基础上,增加前缀,后缀,或者替换字段。表名的操作后,再根据上一步的建表方式的选择。对于目的地执行相应的操作,如果是匹配已有表,则用拼接好的表名,去目的地库进行全匹配,如果选择新建表则用该字段,去目的地新建表名,如果选择匹配优先,则先尝试匹配,匹配不上则转为创建新表
    • 大小写规则
      • 仅对匹配表生效,如果是创建新表的话,则按照语义映射的逻辑生效进行设置
警告

表相关设置其他约束

  1. 对于有些数据库作为目的地时,仅支持创建表或者匹配表,此时就只会有唯一的设置
  2. Schema 和 DB,默认值为节点注册时所填写的内容。如果没有设置,则默认为空。
  3. 对于文件系统,会根据文件系统支持的文件格式进行设置。这里只有被选中的规则,才会被执行。
  • 文件相关设置:
    • 表选择规则
      • 目的地表的创建方式:创建新文件
      • 创建新文件的同时,需要指定文件类型,并对不同的文件类型进行相关设置
    • 文件新建规则
      • 在源表名的基础上,可以根据业务需要增加前缀,后缀,或者替换字段。对表名操作后,再根据文件类型的设置,去目的地创建新表。
  • Hive,Inceptor 等有内外表,并且有文件存储要求的表
    • 表选择规则:因为其实质仍然是数据库,因此数据库的选择同 RDBMS 数据库一致,需要根据业务需要数据库和 schema
    • 同时由于其底层是文件存储,因此需要根据实际业务需要对文件相关格式进行设置。
    • 当节点类型为 Inceptor 时,创建表时支持选择表的底层存储。
  • Kafka,Sequoia 需要设置相应的 topic 规则和 collection 规则,目前只支持按照名称匹配,如果需要指定 topic,仍然需要手工指定完成
  • Kafka Topic 数据格式配置:
    • DataPipeline3.4 版本支持将以下内容写入 topic。
      1. after value:源端数据发生变更后的值,如果操作为 delete,则不写入 after value
      2. before value:源端数据发生变更前的值,如果操作为 insert,则不写入 before value
      3. table:表名称,数据格式为 schema.table
      4. primary_keys:主键字段,多个主键字段使用「,」分隔
      5. rowid:oracle 数据 rowid
      6. binlog_file:mysql binlog 文件名称
      7. gtid:mysql 全局事务标志
      8. pos:mysql 日志块序列号
      9. op_type:数据 DML 操作类型。insert 操作将写入"operation_type":"I";update 操作将写入"operation_type":"U";delete操作将写入"operation_type":"D"
      10. op_ts:源端实时读取模式为数据写入时间,源端批量读取模式为数据采集时间
      11. current_ts:数据采集时间
    • 开启「value 内容分层写入 Topic」开关,DataPipeline 写入 after 数据第一层为「after」,第二层为 after value。如果同时写入 before 数据,则 before 数据第一层为「before」,第二层为 before value。
  • Hudi 目的地映射配置:
    • 表存储类型:支持您配置表存储类型为“Copy On Write”或“Merge On Read”。
    • BathPath:BasePath 由“根路径”,此处输入的相对路径,表名称共同组成。“根路径”为创建节点时配置的绝对路径。
    • 参数设置:DataPipeline 支持您为每张表配置单独参数。
    • 同步到 Hive:开启同步到 Hive,系统将自动将 Hudi 表同步至 Hudi 节点详情页面配置的 Hive 库。
  • 字段相关设置:
    • 字段名称新建规则
      • 注意这里的字段名称和表的新建没有关系,指的是表的字段是由 DP 负责创建的, 比如 kafka 这种半结构化数据,我们只是选择 topic,每个字段都是 DP 负责创建的, 就执行该规则
      • 增加前缀,后缀和替换的逻辑同表名的处理逻辑
    • 字段名称匹配规则
      • 这里的字段匹配,是指的同目的表已经存在的字段进行匹配的规则。
      • 增加前缀,后缀和替换的逻辑同表名的处理逻辑
    • 新增字段:
      • 对于新建的表和匹配的表,如果允许,就都可以给表做新增字段的操作。新增字段采取所见即所得的处理策略。不会执行字段前缀,后缀,替换的规则。
    • 大小写规则
      • 仅对匹配表生效,如果是创建新表的话,则按照语义映射的逻辑生效进行设置
警告

注意有的数据库,目前 DP 只支持新建表,有的只支持选择已有表,则相应的可以对字段进行相应的设置。

  • 读取限制设置:
    • 读取限制设置,仅针对 JDBC 的读取方式生效。DP 会对于使用 JDBC 读取方式的数据映射,支持通过设置 where 条件进行增量读取。
  • 高级清洗设置
    • 如果有一些映射需要执行相同的高级清洗脚本,比如增加字段,并且对字段进行统一逻辑的赋值,则可以通过高级清洗进行批量设置,也可以在设置的时候,直接进行编辑。
  • 逻辑主键设置
    • 仅对MongoDB目的地生效。支持设置「是否将源端主键映射为目的地逻辑主键」。

2.在完成规则的设置后,您有以下几种方式对表进行批量设置

  • 选表,由于这次我们可以对规则进行设置,因此在选表完成的时候,就会自动按照规则,执行相应的设置。
  • 在数据链路中,勾选中映射,可以看到对于该映射可以执行的批量操作,包括,表/文件,字段,读取限制,高级清洗,删除,增加前缀,增加后缀,删除目的地映射 8 种批量操作。
    • 表/文件,执行后,会按照表相关设置的规则,将对表做的匹配,通常表如果更换了,字段也会不一样,因此执行表规则的时候,默认会把字段规则也执行。
    • 字段,执行后,会以现在匹配或者新建的表为基础,对字段进行匹配或者新建,注意执行字段匹配时,需要保存数据映射。
    • 如果需要重复执行规则时,只需要选择相应的映射,执行规则即可
    • 读取限制,执行后,这是对源表的读取限制的操作,仅当读取方式是 JDBC 的时候才生效
    • 高级清洗,执行后,会批量的开启高级清洗,并且显示选择的高级清洗脚本
    • 逻辑主键,执行后,会对已选映射批量应用「逻辑主键设置」中配置的规则
    • 删除,执行后,会批量的删除该映射
    • 增加前缀,执行后,会批量的弹出增加前缀的框,可以批量对选中的表增加前缀
    • 增加后缀,执行后,会批量的弹出增加前缀的框,可以批量对选中的表增加前缀
    • 删除目的地映射,执行后,会批量的弹删除目的地表的映射,不删除源表。方便用户重新执行规则,而不用再次重新选择源表。

3.在执行完成后,会在右上角弹出执行结果,您可以通过点击查看详情,查看本次批量执行的结果。\ 4.最后,在数据链路中,我们考虑到数据链路承载着整个产品最为重要的部分。因此这里的正确性异常关键。因此我们在这里增加了两个检查机制。用红色和黄色的叹号进行展示。

  • 第一种检查机制,是对链路进行相关的检查。
    • 检查内容包含错误和警告项:
      • 错误的检查内容:目的地的表一个字段都没有选中;同名表
      • 警告的检查内容:表的状态为为创建
  • 第二种检查机制,对批量执行结果的检查
    • 警告:批量执行后,部分匹配,选择匹配已有表,但是匹配失败的时候
    • 如果有错误,则该链路不能保存,如果有警告链路可以保存,并且保存后,警告消失,下次将不会在展示这些警告。