跳到主要内容
版本:v4.13

配置 OushuDB 数据节点表映射

配置 OushuDB 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。

关于此功能​

OushuDB 数据节点作为目的地节点时,OushuDB 文件写入方式支持新建并写入到目的地 TEXT、CSV、ORC 类型的表。Copy 写入方式支持新建并写入到目的地 AO、ORC、PARQUET 类型的表。

操作步骤​

  1. 点击表映射按钮,切换至表映射 Tab。
  2. 点击数据源按钮,切换至您需要配置的 OushuDB 数据目的地。
  3. 点击选择同步列表按钮,选择数据源中您需要同步的表。 选择完成后数据目的地将会展现对应行。
  4. OushuDB 数据目的地支持新建表。
    1. 当写入方式为 OushuDB 文件写入时:
      1. 点击「新建外表」
      2. 选择数据库
      3. 完成「写入设置」
        1. 写入文件路径:必填项,填写相对路径
        2. 文件格式:
          1. 选择 text:不需要配置其他选项
          2. 选择 csv:需要配置编码方式、字段分隔符、行分隔符、转义字符、文本围栏。字段分隔符支持指定字符串或16进制ASCII码为分隔符。当您选择16进制ASCII码,DataPipeline在写入文件时将自动把输入的16进制ASCII码转为对应字符。
          3. 选择 Avro:需要选择压缩格式
          4. 选择 ORC:需要选择压缩格式
    2. 当写入方式为 OushuDB Copy 写入时:
      1. 点击「新建内表」
      2. 选择数据库
      3. 完成「写入设置」
        1. 表存储类型:可选 AO(默认选项)、ORC、Parquet
          1. 选择 AO,可选压缩格式:不压缩、SNAPPY、ZLIB
          2. 选择 ORC,可选压缩格式:不压缩、SNAPPY、LZ4
          3. 选择 Parquet,可选压缩格式:不压缩、SNAPPY、Gzip
警告

当文件格式为 CSV 时:

  • OushuDB 字段分隔符只支持单个 ASCII 字符,不支持设置行分隔符