版本:v4.4
数据映射-映射设置
映射设置将提供一个默认的规则,默认规则里会分别对表,字段,读取限制,高级清洗进行设置。如果您在使用的时候,需要修改默认规则,您可以对改规则进行配置,选择的表或者新添加的表,都会执行相应的规则,批量的完成映射创建。
关于此功能
映射设置功能包含:
- 表映射/文件映射
- 字段映射
- 读取限制
- 高级清洗
操作步骤
1.点击映射设置,完成相关规则配置。
- 表相关设置:
- 表选择规则
- 目的地表的创建方式:提供匹配已有表(default),创建新表,匹配优先
- 选择 schema,DB,project 等。这里如果注册节点的时候,设置了 schema 和 DB 或者 project,则默认值为该值,否则为空,需要用户自己选择进行配置。
- 当您选择创建新表或匹配优先时,在目的地节点类型是 Mysql、Tidb、TeleDB 的情况下,批量映射功能提供目的地字符集配置。
- 表名称匹配/新建规则
- 在源表名的基础上,增加前缀,后缀,或者替换字段。表名的操作后,再根据上一步的建表方式的选择。对于目的地执行相应的操作,如果是匹配已有表,则用拼接好的表名,去目的地库进行全匹配,如果选择新建表则用该字段,去目的地新建表名,如果选择匹配优先,则先尝试匹配,匹配不上则转为创建新表
- 大小写规则
- 仅对匹配表生效,如果是创建新表的话,则按照语义映射的逻辑生效进行设置
- 表选择规则
警告
表相关设置其他约束
- 对于有些数据库作为目的地时,仅支持创建表或者匹配表,此时就只会有唯一的设置
- Schema 和 DB,默认值为节点注册时所填写的内容。如果没有设置,则默认为空。
- 对于文件系统,会根据文件系统支持的文件格式进行设置。这里只有被选中的规则,才会被执行。 :::
- 文件相关设置:
- 表选择规则
- 目的地表的创建方式:创建新文件
- 创建新文件的同时,需要指定文件类型,并对不同的文件类型进行相关设置
- 文件新建规则
- 在源表名的基础上,可以根据业务需要增加前缀,后缀,或者替换字段。对表名操作后,再根据文件类型的设置,去目的地创建新表。
- 表选择规则
- Hive,Inceptor 等有内外表,并且有文件存储要求的表
- 表选择规则:因为其实质仍然是数据库,因此数据库的选择同 RDBMS 数据库一致,需要根据业务需要数据库和 schema
- 同时由于其底层是文件存储,因此需要根据实际业务需要对文件相关格式进行设置。
- 当节点类型为 Inceptor 时,创建表时支持选择表的底层存储。
- Kafka,Sequoia 需要设置相应的 topic 规则和 collection 规则,目前只支持按照名称匹配,如果需要指定 topic,仍然需要手工指定完成
- Kafka Topic 数据格式配置:
- DataPipeline3.4 版本支持将以下内容写入 topic。
- after value:源端数据发生变更后的值,如果操作为 delete,则不写入 after value
- before value:源端数据发生变更前的值,如果操作为 insert,则不写入 before value
- table:表名称,数据格式为 schema.table
- primary_keys:主键字段,多个主键字段使用「,」分隔
- rowid:oracle 数据 rowid
- binlog_file:mysql binlog 文件名称
- gtid:mysql 全局事务标志
- pos:mysql 日志块序列号
- op_type:数据 DML 操作类型。insert 操作将写入
"operation_type":"I";update 操作将写入"operation_type":"U";delete操作将写入"operation_type":"D" - op_ts:源端实时读取模式为数据写入时间,源端批量读取模式为数据采集时间
- current_ts:数据采集时间
- 开启「value 内容分层写入 Topic」开关,DataPipeline 写入 after 数据第一层为「after」,第二层为 after value。如果同时写入 before 数据,则 before 数据第一层为「before」,第二层为 before value。
- DataPipeline3.4 版本支持将以下内容写入 topic。
- Hudi 目的地映射配置:
- 表存储类型:支持您配置表存储类型为“Copy On Write”或“Merge On Read”。
- BathPath:BasePath 由“根路径”,此处输入的相对路径,表名称共同组成。“根路径”为创建节点时配置的绝对路径。
- 参数设置:DataPipeline 支持您为每张表配置单独参数。
- 同步到 Hive:开启同步到 Hive,系统将自动将 Hudi 表同步至 Hudi 节点详情页面配置的 Hive 库。
- 字段相关设置:
- 写入数据
- 当数据源为ORACLE、MySQL、OceanBase,数据目的地为DataHub Tuple类型topic时,支持通过「写入数据」配置项配置是否写入数据的更新前镜像。更新前镜像仅对数据源字段生效,不对映射设置中新建的数据目的地字段生效。
- 字段名称新建规则
- 注意这里的字段名称和表的新建没有关系,指的是表的字段是由 DP 负责创建的, 比如 kafka 这种半结构化数据,我们只是选择 topic,每个字段都是 DP 负责创建的, 就执行该规则
- 增加前缀,后缀和替换的逻辑同表名的处理逻辑
- 字段名称匹配规则
- 这里的字段匹配,是指的同目的表已经存在的字段进行匹配的规则。
- 增加前缀,后缀和替换的逻辑同表名的处理逻辑
- 新增字段:
- 对于新建的表和匹配的表,如果允许,就都可以给表做新增字段的操作。新增字段采取所见即所得的处理策略。不会执行字段前缀,后缀,替换的规则。
- 大小写规则
- 仅对匹配表生效,如果是创建新表的话,则按照语义映射的逻辑生效进行设置
- 写入数据
注意有的数据库,目前 DP 只支持新建表,有的只支持选择已有表,则相应的可以对字段进行相应的设置。 :::
- 读取限制设置:
- 读取限制设置,仅针对 JDBC 的读取方式生效。DP 会对于使用 JDBC 读取方式的数据映射,支持通过设置 where 条件进行增量读取。
- 高级清洗设置
- 如果有一些映射需要执行相同的高级清洗脚本,比如增加字段,并且对字段进行统一逻辑的赋值,则可以通过高级清洗进行批量设置,也可以在设置的时候,直接进行编辑。
- 逻辑主键设置
- 仅对MongoDB目的地生效。支持设置「是否将源端主键映射为目的地逻辑主键」。
2.在完成规则的设置后,您有以下几种方式对表进行批量设置
- 选表,由于这次我们可以对规则进行设置,因此在选表完成的时候,就会自动按照规则,执行相应的设置。
- 在数据链路中,勾选中映射,可以看到对于该映射可以执行的批量操作,包括,表/文件,字段,读取限制,高级清洗,删除,增加前缀,增加后缀,删除目的地映射 8 种批量操作。
- 表/文件,执行后,会按照表相关设置的规则,将对表做的匹配,通常表如果更换了,字段也会不一样,因此执行表规则的时候,默认会把字段规则也执行。
- 字段,执行后,会以现在匹配或者新建的表为基础,对字段进行匹配或者新建,注意执行字段匹配时,需要保存数据映射。
- 如果需要重复执行规则时,只需要选择相应的映射,执行规则即可
- 读取限制,执行后,这是对源表的读取限制的操作,仅当读取方式是 JDBC 的时候才生效
- 高级清洗,执行后,会批量的开启高级清洗,并且显示选择的高级清洗脚本
- 逻辑主键,执行后,会对已选映射批量应用「逻辑主键设置」中配置的规则
- 删除,执行后,会批量的删除该映射
- 增加前缀,执行后,会批量的弹出增加前缀的框,可以批量对选中的表增加前缀
- 增加后缀,执行后,会批量的弹出增加前缀的框,可以批量对选中的表增加前缀
- 删除目的地映射,执行后,会批量的弹删除目的地表的映射,不删除源表。方便用户重新执行规则,而不用再次重新选择源表。
3.在执行完成后,会在右上角弹出执行结果,您可以通过点击查看详情,查看本次批量执行的结果。
4.最后,在数据链路中,我们考虑到数据链路承载着整个产品最为重要的部分。因此这里的正确性异常关键。因此我们在这里增加了两个检查机制。用红色和黄色的叹号进行展示。
- 第一种检查机制,是对链路进行相关的检查。
- 检查内容包含错误和警告项:
- 错误的检查内容:目的地的表一个字段都没有选中;同名表
- 警告的检查内容:表的状态为为创建
- 检查内容包含错误和警告项:
- 第二种检查机制,对批量执行结果的检查
- 警告:批量执行后,部分匹配,选择匹配已有表,但是匹配失败的时候
- 如果有错误,则该链路不能保存,如果有警告链路可以保存,并且保存后,警告消失,下次将不会在展示这些警告。