版本:v4.13
配置 ArgoDB 数据节点表映射
配置 ArgoDB 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
ArgoDB 作为目的地节点时,ArgoDB 文件写入支持写入内表,暂不支持向外表写入数据。对于不同的内表引擎类型,支持情况如下表:
| 表类型 | 是否支持 |
|---|---|
| ORC 事务表 | 是 |
| ORC 非事务表 | 是 |
| HOLODESK 内表 | 是 |
| TEXTFILE 内表 | 否 |
| SEQUENCEFILE 内表 | 否 |
| RCFILE 内表 | 否 |
| PARQUET 内表 | 否 |
| HYPERDRIVE 内表 | 是 |
| HYPERBASE 内表 | 是 |
| ESDRIVE 内表 | 否 |
| SEARCH 内表 | 否 |
在任务执行过程中,DataPipeline 通过先向 HDFS 写入 CSV 文件,再将文件中的数据合并至目的地表的方式写入数据;因此,配置过程中需要对临时文件路径与临时文件格式进行定义。
操作步骤
手动配置映射
- 点击表映射按钮,切换至表映射 TAB
- 点击数据目的地按钮,切换至需要配置的 ArgoDB 目的地
- 点击选择同步列表,选择需要同步的数据表
- 选择已有数据表或创建新表
- 配置“写入设置”
- 保存,完成表映射配置
写入设置
- 点击写入配置,进入写入配置弹窗,对于不同表类型/新建表/选择已有表,配置内容不同
- 新建表
| 表类型 | 表格式定义 | 分桶配置 | 分区配置 | 写入配置 |
|---|---|---|---|---|
| ORC 事务表 | 压缩方式配置:不压缩(默认配置)、Zlib、Snappy | 分桶数目:必填分桶键:必填,支持多选 | 支持不分区或者单值分区单值分区下,支持表达式定义和字段定义两种方式来定义分区参数。(1)表达式定义指通过使用系统参数和系统函数来定义分区键参数(2)字段定义指通过指定目的地字段来定义分区键参数 | 临时外表文件写入路径:必填,相对路径,其上层路径为 ArgoDB 节点 HDFS 配置中写入根目录的路径临时表文件格式定义:如无数据冲突无需修改 |
| ORC 非事务表 | 压缩方式配置:不压缩(默认配置)、Zlib、Snappy | 分桶数目:非必填分桶键:非必填,支持多选注意:如果 Holodesk 表有 rowkey,则分桶键必须与 rowkey 一致。 | 同上 | 同上 |
| HOLODESK 内表 | 压缩方式配置:Snappy(默认配置)、Zlib、LZF、不压缩 | 分桶数目:非必填分桶键:非必填,支持多选 | 同上 | 同上 |
| HYPERDRIVE 内表 | 无此配置 | 分桶数目:非必填分桶键:非必填,单选 | 无此配置 | 同上 |
| HYPERBASE 内表 | 无此配置 | 分桶数目:非必填分桶键:非必填,单选 | 无此配置 | 同上 |
- 选择已有表
| 表类型 | 表格式定义 | 分桶配置 | 分区配置 | 写入配置 |
|---|---|---|---|---|
| ORC 事务表 | 不可编辑 | 不可编辑 | 可编辑自定义分区键中的参数定义 | 临时外表文件写入路径:必填,相对路径,其上层路径为 ArgoDB 节点 HDFS 配置中写入根目录的路径临时表文件格式定义:如无数据冲突无需修改 |
| ORC 非事务表 | 不可编辑 | 不可编辑 | 同上 | 同上 |
| HOLODESK 内表 | 不可编辑 | 不可编辑 | 同上 | 同上 |
| HYPERDRIVE 内表 | 不可编辑 | 不可编辑 | 无此配置 | 同上 |
| HYPERBASE 内表 | 不可编辑 | 不可编辑 | 无此配置 | 同上 |
映射设置(批量映射)
映射设置中,支持对数据映射进行自动映射配置,可以进行匹配已有表、创建新表、匹配优先,当不执行映射设置时可以选择不匹配表。
映射设置中,有表相关设置、字段相关设置、高级清洗设置、读取限制配置、并发分区设置。
- 表相关设置:
- 创建新表:支持批量配置表名称创建规则、表类型、表格式定义、分桶设置、分区设置;也支持批量配置临时外表文件写入路径、临时外表文件格式定义。
- 分区设置中,仅支持通过表达式定义来定义分区
- 在分桶设置中,支持将源端主键对应的目的地字段设置为分桶键
- 匹配已有表:支持批量配置临时外表文件写入路径、临时外表文件格式定义
- 匹配优先
- 不匹配
- 创建新表:支持批量配置表名称创建规则、表类型、表格式定义、分桶设置、分区设置;也支持批量配置临时外表文件写入路径、临时外表文件格式定义。
- 字段相关设置:支持配置字段名称新建规则、字段名称匹配规则、新增字段创建规则。
- 当表相关设置中选择创建新表时,仅字段名称新建规则生效。
- 当表相关设置中选择匹配已有表时,字段名称匹配规则、新增字段创建规则。
- 高级清洗设置:支持批量为目的地表添加高级清洗