版本:v4.12
配置 Gbase 8a 数据节点表映射
配置 GBase 8a 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
Gbase 8a 作为数据源节点时,支持通过 JDBC 方式从 Gbase 8a 中采集全量数据和增量数据,数据表映射显示 Gbase 8a 表的相关信息,如所在的虚拟集群、数据库、表名称、表的索引等。可配置 Gbase 8a 表映射到其他目的地时的表名称、数据库、表类型等规则。在任务执行过程中,DataPipeline 根据用户配置的读取方式来采集源端数据。
GBase 8a 作为目的地节点时,GBase 8a 支持向行存表和列存表写入数据。
操作步骤
手动配置映射
作为数据源
- 点击表映射按钮,切换至表映射 TAB
- 点击选择同步列表,选择需要同步的数据表,此时页面显示此表的表相关信息
- 设置读取条件、全量并发分区规则
- 根据目的地的支持情况,选择已有表或创建新表
- 配置“写入设置”等配置
- 保存,完成表映射配置
作为数据目的地
- 点击表映射按钮,切换至表映射 TAB
- 点击数据目的地按钮,切换至需要配置的 GBase 8a 目的地
- 点击选择同步列表,选择需要同步的数据表
- 选择已有数据表或创建新表
- 配置“写入设置”
- 保存,完成表映射配置
写入设置
- 点击写入配置,进入写入配置弹窗,对于文件写入和 JDBC 写入,配置内容略有不同
- 创建新表
- 定义分布列
- 定义分区配置:具体配置方法咨询 GBase 8a 官方
- 定义文件配置(仅文件写入方式定义此配置):
- HDFS 文件写入路径 :必填,此路径为相对于数据节点配置的写入目录的相对路径
- HDFS 文件格式定义:
- 文件格式:CSV
- 编码方式:固定显示为 UTF-8,不可修改
- 字段分隔符:必选,默认值 逗号
- 行分隔符:必选,默认值 换行
- 转义字符:固定显示为 \,置灰不可修改
- 文本围栏:必填,默认值 "。
- 注意
- 文本围栏请选择实际数据中不存在的字符,否则有数据异常风险。
- 文本围栏仅支持单个字符,不支持多字符文本围栏。
- 注意
- 选择已有表
- 定义文件配置(仅文件写入方式定义此配置),具体内容同上
- 创建新表
映射设置(批量映射)
映射设置中,支持对数据映射进行自动映射配置,可以进行匹配已有表、创建新表、匹配优先,当不执行映射设置时可以选择不匹配表。
- 表相关设置:
- 创建新表:支持批量配置表名称创建规则、写入规则
- 匹配已有表:支持配置表名称匹配规则、写入规则
- 匹配优先
- 不匹配
- 字段相关设置:支持配置字段名称新建规则、字段名称够匹配规则、新增字段创建规则、匹配过程中是否忽略大小写。\ 当表相关设置中选择创建新表时,仅字段名称新建规则生效。\ 当表相关设置中选择匹配已有表时,字段名称匹配规则、新增字段创建规则、匹配过程中是否忽略大小写生效
- 高级清洗设置:支持批量为目的地表添加高级清洗
- 读取限制设置:配置当前链路上所有映射的读取条件
- 并发分区设置:支持将主键设置为并发分区键、支持自动分区并批量设置分区数