版本:v4.22
映射规则设置
映射规则设置,是对于部分映射设置进行批量配置的功能。
映射规则设置包含以下设置
- 表相关设置
- 字段相关设置
- 高级清洗设置
- 读取限制设置
- 并发读取设置
- 逻辑主键设置
详细配置介绍
表相关设置
- 首先选择目的地表来源,选择后进行表映射相关规则配置:
- 匹配已有表
- 创建新表
- 匹配优先
- 不匹配表(默认选项)
- 匹配已有表:
- schema:批量设置表映射到目的地的schema
- 表匹配规则
- 表名称匹配规则
- 增加:源表名添加前缀&后缀后进行表名匹配
- 替换:可输入源表名中的关键字,替换为新的字符串
- 大小写规则:是否忽略大小写进行表名匹配
- 表名称匹配规则
- 创建新表:
- schema:批量设置表映射到目的地的schema
- 表匹配规则
- 表名称创建规则
- 增加:创建新表时,源表名添加前缀&后缀
- 替换:创建新表时,可输入源表名中的关键字,替换为新的字符串
- 目的地字符集配置:指定目的地创建新表时的字符集
- 表名称创建规则
- 匹配优先:优先匹配已有表,如果匹配失败,则转为创建新表
- schema:批量设置表映射到目的地的schema
- 表创建规则
- 表名称创建规则
- 增加:创建新表时,源表名添加前缀&后缀
- 替换:创建新表时,可输入源表名中的关键字,替换为新的字符串
- 表名称创建规则
- 表匹配规则
- 表名称匹配规则
- 增加:源表名添加前缀&后缀后进行表名匹配
- 替换:可输入源表名中的关键字,替换为新的字符串
- 大小写规则:是否忽略大小写进行表名匹配
- 目的地字符集配置:指定目的地创建新表时的字符集
- 表名称匹配规则
- 不匹配表:不进行批量表映射配置,手动配置每条映射
字段相关设置
- 字段映射:是否开启,开启后进行字段映射批量配置,不开启则手动配置每条映射
- 字段名称新建规则:
- 增加:创建新表时,新建表的字段名称添加前缀&后缀
- 替换:创建新表时,可输入源表字段名中的关键字,替换为新的字符串
- 字段名称匹配规则:
- 增加:源表字段名称添加前缀&后缀后进行字段名称匹配
- 替换:可输入源表字段名称中的关键字,替换为新的字符串
- 新增字段:
仅在需要定义结构的映射中生效,包含新建表和非结构化和半结构化的已有表。
- 新建表时,通过配置字段相关信息,添加新的字段
- 大小写规则:
- 创建新表/匹配表时,忽略大小写限制
- 字段非空约束配置
仅在需要定义结构的映射中生效,包含新建表和非结构化和半结构化的已有表。
- 同源一致
- 全部设置为 Not Null
- 全部取消 Not Null
高级清洗设置
- 开启高级清洗:开启后可配置并修改清洗脚本
- 高级清洗脚本:
- 从脚本库选择:脚本库中可以存储系统预定义高级清洗脚本与用户自定义高级清洗脚本,可从脚本库中选择DP提供的一些基础脚本,详细的脚本库样例内容请查看:
- 编辑高级清洗脚本:选择脚本后,可进行脚本编辑,或者直接进行脚本编辑创建新的脚本
读取限制设置
信息
仅适用于JDBC读取方式
- 输入where语句:读取限制条件作用于使用 JDBC 读取的数据任务,在开启全量初始化的日志增量读取任务不生效。 您可以通过设置 Where 语句来对数据源的数据读取添加限制,例如限制读取范围,指定增量识别字段等
并发读取设置
信息
配置并发分区的表需要配置主键或唯一键,分区键数据的均匀程度会影响分区的实际大小,均匀的分区大小有助于提升同步速率
- 并发读取:开启并发读取后,可批量配置映射的并发读取
- 分片方式:
- 自动分片
- 分片数:自动生成范围分区会根据您设置的分区数量,取该字段值的最大值与最小值进行平均切分
逻辑主键设置
信息
当选择不指定时,可以手动根据需要自由配置,如果不配置,加载时,将按照无主键表,仅支持 insert 方式;
当使用元数据进行映射时,如果该数据库有主键,会优先用主键,无主键时会使用唯一索引。如果不是关系型数据库,会使用类似主键的元数据,例如 rowkey,key,_id 等。
- 不指定
- 使用目的地表元数据进行映射
- 使用源表的元数据进行映射
操作步骤
- 点击【映射规则设置】按钮,进行相关规则的配置
- 配置完成后,选择批量设置的映射,显示批量映射配置选项
- 根据已配置内容,分别点击批量映射配置选项按钮,应用到选择的映射中