跳到主要内容
版本:v4.17

Datahub 数据节点数据映射

数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。

关于此功能​

Datahub 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。

  1. 表映射
  • 作为数据目的地:
    • 创建新Topic
      • 选择Project
      • Shard数量配置
      • 生命周期配置
      • Topic类型配置
    • 选择已有Topic
    • 定义写入设置
      • 消息体结构配置(当数据格式为String时支持定义Key、Value的消息体结构)
      • 分区策略配置
      • Producer参数配置
      • Topic参数配置(新建Topic支持配置Topic参数)
  1. 字段映射
  • 调整字段映射内容
  • 对BLOB类型Topic定义数据结构

配置表映射​

配置 Datahub 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。

关于此功能​

  • Datahub 数据节点支持写入BLOB、Tuple类型Topic
    • 对于BLOB类型Topic,数据将以二进制写入,解析后的数据结构为JSON形式
    • BLOB类型Topic中,可以定义消息中的Attribute Key
    • 对于Tuple类型Topic,其结构在创建Topic时已经指定
  • 在配置表映射时,支持选择已有Topic或新建Topic
    • 新建Topic支持指定Shard数量与生命周期

操作步骤​

  1. 点击表映射按钮,切换至表映射Tab。
  2. 点击数据目的地节点,切换至您需要配置的Datahub数据目的地。
  3. 添加目的地Topic。
    • 创建新Topic:点击 创建新Topic。
      1. 输入Topic名称。Topic命名规则请参考官方指导。
      2. 选择Project
      3. 输入Shard数量(默认值1)
      4. 输入生命周期(默认值7,单位天)
      5. 选择Topic类型:Tuple/BLOB
    • 选择已有Topic:点击 选择已有Topic。
      • 在Topic列表中选择数据写入的Topic。
      • 您可以通过点击“刷新”按钮获取当前最新Topic列表。
  4. 配置 写入设置
    • 点击 写入设置 按钮,进入写入配置弹窗。
    • 对于Tuple类型Topic
      • 支持配置分区策略-写入指定分区、按HashKey写入、按Partition Key写入
        • 写入指定分区:输入分区ID,写入指定分区
        • 按HashKey写入:可以通过勾选字段变量、采集元数据、系统元数据作为HashKey的输入值,Datahub会将拼接值进行Hash计算后自动分配分区,分区字段可以根据数据源数据分布情况灵活配置。
        • 按PartitionKey写入:在数据写入过程中,该字段值会作为 PartitionKey 传输给 DataHub,DataHub 会根据 Shard 的 BeginHashKey、EndHashKey 与该字段的 MD5 值决定写入的 Shard。
      • 支持配置结构变化配置
        • 配置作用:当节点的结构变化策略配置为:数据源正在同步的表新增字段-「为新增字段建立映射并同步新增字段」时,是否需要同时在新建更新前镜像字段的映射并同步更新前镜像。
        • 说明:
          • 该配置生效前提为:
            • 数据源为ORACLE、MySQL、OceanBase、TiDB。
            • 结构变化策略配置为:数据源正在同步的表新增字段-「为新增字段建立映射并同步新增字段」。
          • 选择「为新增字段建立更新前镜像、更新后镜像的映射并同步更新前镜像字段、更新后镜像字段。」时,需要为更新前镜像字段、更新后字段配置字段名称新建规则,防止更新前后镜像字段名称冲突。
    • 对于BLOB类型Topic
      • 支持分区策略,分区策略内容同Tuple类型Topic
      • 消息体结构配置:
        1. 配置Attribute Key数据写入格式
          1. AttributeKey无默认值,可添加多个AttributeKey
          2. 添加AttributeKey,需要输入AttributeKey名称(通常为英文)
          3. 通过勾选可以指定向AttributeKey写入的数据,勾选后,数据将会以JSON形式拼接,可在右侧预览数据格式
            1. table:源表名称数据格式为 schema(database).table
            2. op_type:DML类型
            3. op_ts:实时模式为数据源数据写入时间,批量模式为数据源数据读取时间
            4. current_ts:数据采集时间
            5. rowid:Oracle数据源RowID
            6. pos:数据源增量数据读取的进度信息,根据数据源不同可能是Binlog_postition/SCN/LSN等
            7. binlog_file:MySQL数据源进度信息
            8. gtid:MySQL数据源进度信息
            9. primary_keys:数据源主键的集合(在新建AttributeKey时默认选中)
        2. 配置 Value 数据写入格式
          • 选择数据写入格式。
            • Oracle GoldenGate格式:DataPieline支持将数据组织为Oracle GoldenGate标准格式写入数据目的地。
              • 数据写入格式默认为Oracle GoldenGate格式。
              • 默认仅写入after数据(即发生变更后的数据)。您可通过勾选配置将要写入的参数。
                • 参数说明:
                  • before:表示更新前数据。当前支持采集以下数据节点的更新前数据:ORACLE、MySQL、GoldenDB、PostgreSQL、DB2、OceanBase、Gbase8c、GaussDB(for openguass)。当用户需要使用DB2的更新前数据时,需要先开启采集before数据的参数。开启后将对新建任务采集数据生效。当历史任务需要采集DB2更新前参数时,请先暂停数据任务,通过调用接口方式修改采集before数据的参数。具体配置请查看《部署前指南》。
                  • op_ts:当数据源读取方式为日志读取时,将写入数据源日志记录的数据提交时间。当数据源读取方式为JDBC时,将写入DataPipeline采集数据源数据的时间。
                  • current_ts:写入DataPipeline采集数据源数据的时间。
              • 开启「value 内容分层写入 Topic」开关,DataPipeline 写入 after 数据第一层为「after」,第二层为 after value。如果同时写入 before 数据,则 before 数据第一层为「before」,第二层为 before value。
            • Debezium格式:DataPieline支持将数据组织为Debezium标准格式写入数据目的地。
              • 选择 Debezium格式。
              • 默认写入全部数据。您可通过勾选配置将要写入的参数。
                • 参数说明:
                  • before:表示更新前数据。当前支持采集以下数据节点的更新前数据:ORACLE、MySQL、GoldenDB、PostgreSQL、DB2、OceanBase、Gbase8c、GaussDB(for openguass)。
                  • ts_ms:写入DataPipeline采集数据源数据的时间。
                  • source.ts_ms:数据源日志记录的数据提交时间
            • 自定义格式:支持自定义编辑写入的数据格式。
              • 您可通过勾选字段变量参数、采集元数据参数、系统元数据参数 配置参数写入。支持您在编辑器中对写入数据及数据格式进行编辑。
              • 当数据写入格式为Json时,点击 JSON格式校验,将校验数据是否符合JSON格式。
              • 点击 恢复默认,将恢复为数据源全部字段。
          • 查看右侧”样例数据“展示,查看Value的数据格式。

注意事项​

信息
  • 完整准确的表映射是准确进行数据同步的基础,您需要谨慎操作。
  • 新增同步列表中内容不会影响已有数据映射及使用已有数据映射的数据任务。
  • 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。

配置字段映射​

配置Datahub字段映射是在界面中建立数据源表层级结构中字段与数据目的地表层级结构中的字段或数据的映射关系,建立字段或数据的映射关系后,数据才能被准确的从数据源同步至数据目的地。

关于此功能​

Datahub 数据节点支持写入BLOB、Tuple类型Topic。

  • 对于BLOB类型Topic,字段映射页面配置写入Topic的字段。支持对字段配置「表达式转换」,对数据内容进行转换处理。
  • 对于Tuple类型Topic,数据节点字段映射页面功能与数据源相关。
    • 当数据源为ORACLE、MySQL、OceanBase时,字段映射页面支持配置写入Topic的字段,支持配置是否写入字段的更新前镜像。
    • 当数据源为其他节点时,字段映射页面配置写入Topic的字段。可以参考关系型数据库目的地字段映射配置。

操作步骤​

Datahub 数据目的地字段映射配置

  • 点击数据映射-表映射-字段映射按钮,进入字段映射Tab。
  • 数据源字段信息将会自动映射至目的地端。
  • 对于BLOB类型Topic,可以在字段映射页面修改字段名称。
  • 对于Tuple类型Topic:
    • 配置元数据映射:通过「添加元数据」,选择需要写入 Datahub 数据目的地字段的元数据。当前支持写入如下元数据:
      • DP_C_STREAM_POSITION:根据数据源不同,采取不同的值。MySQL:Positon;ORACLE:SCN;OceanBase:SCN;Postgresql:LSN;Qianbase:Qianbase_timestamp。
      • DP_C_OPERATION:操作类型。
      • DP_C_COMMIT_TIMESTAMP:数据源日志中记录的事务提交时间。当数据源为ORACLE与OceanBase时,时间精确到秒。当数据源为MySQL与TiDB时,时间精确到毫秒。
      • DP_S_WRITE_TIMESTAMP:写入数据目的地时间。时间精确到毫秒。
      • DP_S_RECORD_ID:写入数据库目的地单表范围内唯一且递增的值,仅适用于数据任务使用系统内置消息队列,且未开启全量并发分区读取的场景。
    • 配置字段映射:
      • 勾选数据源字段
        • 选择「映射更新前镜像」将自动为数据源字段新增更新前镜像字段映射,并在数据目的地字段映射生成对应的映射。
        • 选择「取消映射更新前镜像」将取消更新前镜像的字段映射。

注意事项​

信息
  • 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作。
  • 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务。
  • 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。
  • 当前版本支持通过「更新前镜像」功能写入更新前镜像数据的数据源:ORACLE、MySQL、OceanBase。
  • 当您为同步字段配置「更新前镜像」,请勿为数据目的地对应的更新前镜像字段、更新后镜像字段配置not null属性。否则当数据源出现INSERT操作和DELETE操作时,将由于非空限制无法写入数据目的地。
  • 元数据映射字段不支持通过「表达式处理」功能二次处理数据。

Redis 数据节点数据映射

数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。

关于此功能​

Redis 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。

  1. 表映射

数据映射配置--配置表映射

  • 选择同步列表
  • 选择 Redis 映射模式
  1. 字段映射

数据映射配置--配置字段映射

  • 调整字段映射内容
  • 定义写入数据结构
警告
  • Redis 数据节点不支持作为数据源。
  • 当配置 Redis 数据节点数据映射时,可能需要使用清洗脚本对半结构化/非结构化数据进行解析,或对数据进行清洗处理,结构转换写入数据目的地;清洗脚本的功能使用同 RDBMS 类型数据节点清洗脚本,详见数据映射配置-配置清洗脚本。

配置表映射​

配置 Redis 表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。

关于此功能​

Redis 数据节点作为数据目的地节点时,DataPipeline 支持 String、Hash 两种映射方式。

在 Hash 映射模式中,通常情况下游两种使用方式。

  • 将数据源主键映射至 Field_Key 中,即 Hash Table 模式。
  • 将数据源主键映射至 Hash_Key 中,Collum_Name 映射至 Field_Key,Collum_Value 映射至 Field_Value,即 Hash 行转列模式。

您可根据实际业务场景自行选择映射方式。

DataPipeline 数据采集组件读取半结构化数据后,需要对数据进行解析,提取数据元素;数据加载组件写入半结构化数据时,需要指定写入数据结构。

操作步骤​

  1. 点击表映射按钮,切换至表映射 Tab。
  2. 点击数据源按钮,切换至您需要配置的 Redis 数据目的地。
  3. 选择映射类型。
  4. 点击字段映射按钮,进入字段映射页面进行字段映射配置。
警告
  • 完整准确的表映射是准确进行数据同步的基础,您需要谨慎操作。
  • 新增同步列表中内容不会影响已有数据映射及使用已有数据映射的数据任务。
  • 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。

配置字段映射​

配置 Redis 字段映射是在界面中建立数据源表层级结构中字段与数据目的地表层级结构中的字段或数据的映射关系,建立字段或数据的映射关系后,数据才能被准确的从数据源同步至数据目的地

关于此功能​

Redis 数据节点作为数据目的地节点时,DataPipeline 支持 String、Hash 两种映射方式。

在 Hash 映射模式中,通常情况下游两种使用方式。

  • 将数据源主键映射至 Field_Key 中,即 Hash Table 模式。
  • 将数据源主键映射至 Hash_Key 中,Collum_Name 映射至 Field_Key,Collum_Value 映射至 Field_Value,即 Hash 行转列模式。

您可根据实际业务场景自行选择映射方式。

DataPipeline 数据采集组件读取半结构化数据后,需要对数据进行解析,提取数据元素;数据加载组件写入半结构化数据时,需要指定写入数据结构。

操作步骤

  1. 点击数据映射-表映射-字段映射按钮,进入字段映射 Tab。
  2. 针对 Redis 目的地,您可以选择目的地映射方式为 Hash 或 String。
  3. 选择 String 模式,进入字段映射页面,将自动根据数据源生成目的地字段。
    1. 点击结构定义按钮,使用目的地字段变量与数据表信息变量对 Key 与 Value 进行结构定义。
  4. 选择 Hash 模式,进入结构定义选择 Hash 类型。
    1. 选择 Hash_table 类型。
      1. HashKey 使用数据表信息变量拼接表名称。
      2. FieldKey 使用主键集合变量进行拼接。
      3. FieldValue 使用数据进行结构拼接定义。
    2. 选择 Hash_行转列模式。
      1. HashKey 使用数据表信息变量与主键集合变量拼接表名称。
      2. FieldKey 默认为字段名称变量。
      3. FieldValue 默认为字段值变量。
  5. 通过高级清洗向结构定义中除数据源字段变量之外的其他变量赋值。
  6. 完成字段映射配置。
警告
  • 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作。
  • 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务。
  • 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。 NoSQL 类型数据节点的数据映射高级清洗功能与 RDBMS 类型数据节点的数据映射高级清洗功能一致,配置可参考:数据映射配置--RDBMS--配置清洗脚本。

映射默认配置​

关于此功能​

通过映射默认配置的方式,让用户能够快捷地在创建映射时向数据目的地添加默认字段与默认开启高级清洗脚本,优化操作流程,减少操作难度。

操作步骤​

  1. 点击「映射配置」目的地端的按钮「映射默认配置」
  2. 选择向目的地添加默认字段:
    1. 当 Redis 作为数据目的地时,需要先选择映射类型 Hash 或 String;当您选择 Hash 后,需选择:Hash_Table 或 Hash_行转列。当您选择 Hash_行转列后,没有添加默认字段的功能。
  3. 选择开启高级清洗脚本:
    1. 系统默认高级清洗为关闭状态。如果此项设置被开启,高级清洗将默认在未来新添加的数据映射中开启。hover 在字段条目上显示垃圾桶 icon,可以删除该字段。

注意事项​

警告
  • 添加默认字段后,如果新映射中源表映射到目的地有同名字段,则无法保存,在目的地表的字段映射中会报错,显示「字段名称重复」。
  • 映射默认配置中默认字段的添加仅对某一条数据映射生效一次;再次修改生成的默认字段并保存后不再生成新的字段。

SequoiaDB 数据节点数据映射

数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。

关于此功能​

SequoiaDB 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。

  1. 表映射

数据映射配置--配置表映射

  • 选择同步列表
  • 选择语义映射规则
  • 选择已有 Collection 或新建 Collection
  1. 字段映射

数据映射配置--配置字段映射

  • 调整字段映射内容
  • 定义写入数据结构
警告
  • SequoiaDB 数据节点只能作为数据目的地节点。
  • 当配置 SequoiaDB 数据节点数据映射时,可能需要使用清洗脚本对数据进行清洗处理,结构转换写入数据目的地;清洗脚本的功能使用同 RDBMS 类型数据节点清洗脚本,详见数据映射配置-配置清洗脚本。

配置表映射​

配置 SequoiaDB 表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。

关于此功能​

SequoiaDB 作为数据目的地节点时,写入数据支持 BSON 数据结构,DataPipeline 将根据数据目的地字段映射的逻辑字段,自动生成一层的 BSON 结构进行写入。

操作步骤​

  1. 点击表映射按钮,切换至表映射 Tab。
  2. 点击数据目的地按钮,切换至您需要配置的 SequoiaDB 数据目的地。
  3. 选择已有 Collection 或创建新 Collection。
  4. 为 Collection 指定 Collection Space。
  5. 点击字段映射按钮,进入字段映射页面进行字段映射配置。
警告
  • 完整准确的表映射是准确进行数据同步的基础,您需要谨慎操作。
  • 新增同步列表中内容不会影响已有数据映射及使用已有数据映射的数据任务。 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。

配置字段映射​

配置 SequoiaDB 字段映射是在界面中建立数据源表层级结构中字段与数据目的地表层级结构中的字段或数据的映射关系,建立字段或数据的映射关系后,数据才能被准确的从数据源同步至数据目的地。

关于此功能​

SequoiaDB 作为数据目的地节点时,写入数据支持 BSON 数据结构,DataPipeline 将根据数据目的地字段映射的逻辑字段,自动生成一层的 BSON 结构进行写入。

操作步骤​

  1. 点击数据映射-表映射-字段映射按钮,进入字段映射 Tab
  2. 针对 SequoiaDB 目的地,我们提供根据数据源表结构自动生成单层 BSON 结构的功能
  3. 通过高级清洗向单层 BSON 结构变量赋值
  4. 完成字段映射配置
警告
  • 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作。
  • 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务。
  • 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。
  • NoSQL 类型数据节点的数据映射高级清洗功能与 RDBMS 类型数据节点的数据映射高级清洗功能一致,配置可参考:数据映射配置--RDBMS–配置清洗脚本。 由于 SequoiaDB 自身特性,写入数据时,SequoiaDB 会自动的为每条数据生成一个 id,详细信息可以参考 SequoiaDB 官方文档。

映射默认配置​

关于此功能​

通过映射默认配置的方式,让用户能够快捷地在创建映射时向数据目的地添加默认字段与默认开启高级清洗脚本,优化操作流程,减少操作难度。

操作步骤​

  1. 点击「映射配置」目的地端的按钮「映射默认配置」
  2. 选择向目的地添加默认字段:
    1. 向本条数据链路所有映射的目的地集合添加默认字段。
    2. 当 SequoiaDB 作为数据目的地时,需填写字段名称、选择类型、选择唯一索引。
  3. 选择开启高级清洗脚本:
    1. 系统默认高级清洗为关闭状态。如果此项设置被开启,高级清洗将默认在未来新添加的数据映射中开启。hover 在字段条目上显示垃圾桶 icon,可以删除该字段。

注意事项​

警告
  • 添加默认字段后,如果新映射中源表映射到目的地有同名字段,则无法保存,在目的地表的字段映射中会报错,显示「字段名称重复」。
  • 映射默认配置中默认字段的添加仅对某一条数据映射生效一次;再次修改生成的默认字段并保存后不再生成新的字段。

Hive 数据节点数据映射

数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。

关于此功能​

Hive 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。

◎ 表映射

  • 数据映射配置--配置表映射
  • Hive 源:
    • 选择同步列表
  • Hive 目的地:
    • 选择已有表
    • 创建新表
      • 配置写入设置

◎ 字段映射

  • 数据映射配置--配置字段映射
  • 调整字段映射内容
  • 定义写入数据结构

配置表映射​

配置 Hive 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。

关于此功能​

Hive 数据节点作为源节点时,DataPipeline 支持支持单值分区表、分桶表的同步,单值分区表的分区键在 Hive 节点配置中完成。

Hive 数据节点作为目的地节点时,Hive 文件写入方式支持写入到目的地的 CSV、Parquet、Avro、ORC 类型文件,并且支持新建外部表、单值分区表。JDBC 写入方式支持将源端数据写入目的地端的 ORC 类型文件,并且支持新建外部表、单值分区表、分桶表以及事务 ORC 表。

操作步骤​

  1. 点击表映射按钮,切换至表映射 Tab。
  2. 点击数据源按钮,切换至您需要配置的 Hive、Inceptor 数据目的地。
  3. 点击选择同步列表按钮,选择数据源中您需要同步的表。 选择完成后数据目的地将会展现对应行。
  4. Hive 数据目的地支持新建表。
    1. 当写入方式为 Hive 文件写入时:
      1. 点击「新建外表」
      2. 选择数据库
      3. 完成「写入设置」
        1. 写入文件路径:必填项,填写相对路径
        2. 表格式定义:
          1. 文件格式:
            1. 选择CSV:需要配置字段分隔符、转义字符、文本围栏。CSV文件默认使用UTF-8编码方式。当您选择16进制ASCII码,DataPipeline在写入文件时将自动把输入的16进制ASCII码转为对应字符。
            2. 选择 Parquet:需要选择压缩格式
            3. 选择 Avro:需要选择压缩格式
            4. 选择 ORC:需要选择压缩格式
        3. 分区定义:Hive 支持定义(多层)单值分区,Hive 支持定义(多层)单值分区。您可以使用系统提供的函数与系统参数组成的表达式或者引用目的地表字段来自定义单值分区键,同时也可以引用目的地端字段名来定义范围分区键。
          1. 分区类型:可选择无、单值分区、范围分区
          2. 单值分区:点击添加,可选择表达式定义和字段定义
            1. 表达式定义:支持利用系统参数以及系统函数来组成表达式定义分区键
            2. 字段定义:支持选择目的地字段定义分区键。
            3. 注意:您需要先创建该表,保存字段映射中的配置,才能选择目的地字段。
        4. 分桶设置:
          1. 分桶数目:必填项
          2. 分桶键:支持选择目的地字段定义分桶键。
警告

当文件格式为 CSV 时:

  • HIve 字段分隔符只支持单个 ASCII 字符,不支持设置行分隔符

配置字段映射​

配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。

字段映射关系配置​

因在配置数据映射时可以在数据目的地选择已有表或新建表,配置字段映射也会根据表映射中所选内容而改变。

操作步骤​

  1. 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
  2. 在每一行的数据目的地字段列中选择数据目的地表的字段:
    1. 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
  3. 如数据目的地没有您需要的数据表,您可以点击「创建新表」,跳转至字段映射 tab:
    1. 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
    2. 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
    3. 您可以修改数据目的地名称与字段属性;
  4. 在需要新建表的场景中,修改完字段映射后,点击创建目的地表以通过系统在数据目的地建表;
    1. 建表需要创建表权限;
    2. 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
    3. 通常情况下,生产环境建表需要您公司 DBA 创建表。
  5. 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
    1. 预留字段的映射没有相应的数据源字段信息;
    2. 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
警告
  • 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
  • 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
  • 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务

逻辑主键​

逻辑主键的使用场景通常是数据目的地表没有主键,但需要按照数据源主键进行增量同步的情况。DataPipeline 目前支持为 Inceptor、MySQL、Oracle、DB2、OushuDB、ES、maxcompute 节点配置逻辑主键字段。配置逻辑主键后,系统将自动使用逻辑主键作为数据更新依据,但不会修改数据目的地的表结构,逻辑主键仅在 DataPipeline 数据同步内部使用。

  • 当您为数据目的地节点配置逻辑主键后,系统将自动将数据源对应字段映射为逻辑主键,您无需在数据源手动配置。
  • 当 Inceptor 节点作为数据目的地新建内表或者选择已有内表时,支持指定逻辑主键字段。

我们建议您为目的地配置逻辑主键的字段添加索引,以提高数据检索的效率。

Oushu 数据节点数据映射

数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。

关于此功能​

OushuDB 节点相关数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。

◎ 表映射

  • 数据映射配置--配置表映射
  • OushuDB 源:
    • 选择同步列表
  • OushuDB 目的地:
    • 选择已有表
    • 创建新表
      • 配置写入设置

◎ 字段映射

  • 数据映射配置--配置字段映射
  • 调整字段映射内容
  • 定义写入数据结构

配置表映射​

配置 OushuDB 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。

关于此功能​

OushuDB 数据节点作为目的地节点时,OushuDB 文件写入方式支持新建并写入到目的地 TEXT、CSV、ORC 类型的表。Copy 写入方式支持新建并写入到目的地 AO、ORC、PARQUET 类型的表。

操作步骤​

  1. 点击表映射按钮,切换至表映射 Tab。
  2. 点击数据源按钮,切换至您需要配置的 OushuDB 数据目的地。
  3. 点击选择同步列表按钮,选择数据源中您需要同步的表。 选择完成后数据目的地将会展现对应行。
  4. OushuDB 数据目的地支持新建表。
    1. 当写入方式为 OushuDB 文件写入时:
      1. 点击「新建外表」
      2. 选择数据库
      3. 完成「写入设置」
        1. 写入文件路径:必填项,填写相对路径
        2. 文件格式:
          1. 选择 text:不需要配置其他选项
          2. 选择 csv:需要配置编码方式、字段分隔符、行分隔符、转义字符、文本围栏。字段分隔符支持指定字符串或16进制ASCII码为分隔符。当您选择16进制ASCII码,DataPipeline在写入文件时将自动把输入的16进制ASCII码转为对应字符。
          3. 选择 Avro:需要选择压缩格式
          4. 选择 ORC:需要选择压缩格式
    2. 当写入方式为 OushuDB Copy 写入时:
      1. 点击「新建内表」
      2. 选择数据库
      3. 完成「写入设置」
        1. 表存储类型:可选 AO(默认选项)、ORC、Parquet
          1. 选择 AO,可选压缩格式:不压缩、SNAPPY、ZLIB
          2. 选择 ORC,可选压缩格式:不压缩、SNAPPY、LZ4
          3. 选择 Parquet,可选压缩格式:不压缩、SNAPPY、Gzip
警告

当文件格式为 CSV 时:

  • OushuDB 字段分隔符只支持单个 ASCII 字符,不支持设置行分隔符

配置字段映射​

配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。

关于此功能​

因在配置数据映射时可以在数据目的地选择已有表或新建表,配置字段映射也会根据表映射中所选内容而改变。

操作步骤​

  1. 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
  2. 在每一行的数据目的地字段列中选择数据目的地表的字段:
    1. 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
  3. 如数据目的地没有您需要的数据表,您可以点击「创建新表」,跳转至字段映射 tab:
    1. 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
    2. 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
    3. 您可以修改数据目的地名称与字段属性;
  4. 在需要新建表的场景中,修改完字段映射后,点击创建目的地表以通过系统在数据目的地建表;
    1. 建表需要创建表权限;
    2. 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
    3. 通常情况下,生产环境建表需要您公司 DBA 创建表。
  5. 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
    1. 预留字段的映射没有相应的数据源字段信息;
    2. 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
警告
  • 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
  • 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
  • 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务

逻辑主键​

关于此功能​

  • 当业务数据源或数据目的地没有主键时,您可以通过在数据目的地配置逻辑主键实现增量数据变更。
  • 逻辑主键仅在DataPipeline内部更新数据时使用,不会更新表的已有结构。
  • DataPipeline目前支持为Oracle、MySQL、DB2、TiDB、OushuDB、Inceptor、ES、Maxcompute节点配置逻辑主键,支持为Oracle、MySQL数据源映射逻辑主键。
  • 建议您为目的地配置逻辑主键的字段添加唯一索引,以提高数据检索的效率。

配置前提​

  • 数据目的地配置逻辑主键的字段、以及该字段对应的数据源字段,应保证数据唯一。否则可能出现一次更新多条数据的情况。
  • 目的地是关系型数据库的情况下,配置逻辑主键的字段应已定义唯一索引/索引。保证更新数据的效率。

在这个前提条件满足的情况下,可以按照以下规则配置逻辑主键

  • 数据目的地无主键时,将数据源主键 对应的目的地字段配置为逻辑主键。解决数据目的地无法应用数据源DML的问题。
  • 数据源无主键时,将数据目的地主键/唯一索引 配置为逻辑主键。解决当主键被变更时,目的地无法删除变更前数据的问题。

Hbase 数据节点数据映射

数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。

关于此功能 ​

HBase 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。

◎ 表映射

数据映射配置–配置 HBase 数据目的地节点表映射

  • 选择同步列表
  • 选择语义映射规则
  • 选择已有表或创建新表

◎ 字段映射

数据映射配置–配置 Hbase 数据目的地节点字段映射

  • 创建新表时,系统会自动根据源表字段生成 HBase 字段映射,您可以根据需求修改列族、字段名称、类型。

注意事项:

  • HBase 数据节点仅支持用作数据目的地节点。
  • 您可以使用高级清洗功能设置 RowKey 和自定义预分区设置

配置表映射​

配置 HBase 表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。

关于此功能 ​

配置数据表映射需要使用数据节点语义映射的配置内容,您可参照数据 节点策略配置--语义映射策略配置 完成该项配置。

操作步骤 ​

  1. 点击表映射按钮,切换至表映射 Tab。
  2. 点击数据目的地按钮,切换至您需要配置的 HBase 数据目的地。
  3. 选择「创建新表」或「选择已有表」。
  4. 指定表所在的命名空间。
  5. 点击字段映射按钮,进入字段映射页面进行字段映射配置。

注意事项​

警告
  • 完整准确的表映射是准确进行数据同步的基础,您需要谨慎操作。
  • 新增同步列表中内容不会影响已有数据映射及使用已有数据映射的数据任务。
  • 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。

配置字段映射​

配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。

关于此功能 ​

因在配置数据映射时可以在数据目的地选择已有表或新建表,配置字段映射也会根据表映射中所选内容而改变。

操作步骤 ​

  1. 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
  2. 通过高级清洗定义 rowkey 字段的生成逻辑;
  3. 在每一行的数据目的地字段列中选择数据目的地表的字段:
    1. 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
    2. 您可以为每一个 HBase 目的地字段分配列族
  4. 如数据目的地没有您需要的数据表,您可以点击「创建新表」,跳转至字段映射 tab:
    1. 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
    2. 若您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
    3. 您可以修改数据目的地名称与字段属性;
  5. 在需要新建表的场景中,修改完字段映射后,点击「创建目的地表」,系统将在数据目的地建表;
    1. 建表需要创建表权限;
    2. 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
    3. 通常情况下,生产环境建表需要您公司 DBA 创建表。
  6. 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
    1. 预留字段的映射没有相应的数据源字段信息;
    2. 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。

注意事项​

警告
  • 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务
  • 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
  • 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
  • 字段映射中的 ROWKEY 需要通过高级清洗编辑生成逻辑赋值

文件类型数据节点数据映射

数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。

关于此功能​

文件类型数据节点数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。

◎ 表映射​

数据映射配置--配置表映射

  • 选择同步列表
  • 写入文件配置
    • 动态目录定义
    • 新建文件大小限制
    • 写入时间限制
  • 创建新文件

◎ 字段映射​

数据映射配置--配置字段映射

  • 调整字段映射内容
  • 定义写入数据结构

配置表映射​

配置文件类型数据节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。

关于此功能​

  • 文件类型数据数据节点作为源节点时,DataPipeline 支持使用参数来自定义动态目录名,将文件格式相同、文件名有一定规律的一组文件作为一个表来进行表映射,该定义在文件类型数据节点配置中完成。
  • 文件类型数据节点作为目的地节点时,DataPipeline 支持使用参数来自定义生成动态目录名。支持利用系统参数以及系统函数来组成表达式定义目录名,同时也可以直接引用目的地参数来定义动态目录名。
  • 文件类型数据节点作为目的地节点时,DataPipelin 支持按文件大小对文件进行切分,当用户设置了文件大小上限后,如果写入文件超出文件限制,系统将会按照文件上限生成多个文件,按照生成顺序以自增数字的形式从 1 开始添加文件名后缀 FTP 数据节点作为目的地节点时,DataPipelin 支持对文件写入时间进行限制,当用户设置了写入时间上限后,如果该批次写入时间超出写入时间上限,系统将会按照写入时间上限将读取到的数据写入文件并进入下一批次

操作步骤​

  1. 点击表映射按钮,切换至表映射 Tab。
  2. 点击数据源按钮,切换至您需要配置的文件类型数据目的地。
  3. 点击选择同步列表按钮,选择数据源中您需要同步的文件目录。
  4. 选择完成后数据目的地将会展现对应行。
  5. 文件类型数据目的地支持新建表。 点击创建新文件,输入目的地文件目录,定义文件类型,配置相应文件类型的文件配置
    1. csv 文件:需要配置编码方式、字段分隔符、行分隔符、压缩格式、转义字符、文本围栏。字段分隔符与行分隔符支持指定字符串或16进制ASCII码为分隔符。当您选择16进制ASCII码,DataPipeline在写入文件时将自动把输入的16进制ASCII码转为对应字符。
    2. json 文件:需要配置编码方式、压缩格式 您也可以定义动态目录名,点击写入文件配置。
    3. 支持利用系统参数以及系统函数来组成表达式定义目录名,同时也可以直接引用目的地参数来定义动态目录名。 注意:在引用参数定义动态目录名时需要用"[$time]"。

配置字段映射​

配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。

关于此功能​

因在配置数据映射时可以在数据目的地选择已有表或新建表,配置字段映射也会根据表映射中所选内容而改变。

操作步骤​

  1. 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
  2. 在每一行的数据目的地字段列中选择数据目的地表的字段:
    1. 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
  3. 如数据目的地没有您需要的数据表,您可以点击「创建新表」,跳转至字段映射 tab:
    1. 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
    2. 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
    3. 您可以修改数据目的地名称与字段属性;
  4. 在需要新建表的场景中,修改完字段映射后,点击创建目的地表以通过系统在数据目的地建表;
    1. 建表需要创建表权限;
    2. 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
    3. 通常情况下,生产环境建表需要您公司 DBA 创建表。
  5. 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
    1. 预留字段的映射没有相应的数据源字段信息;
    2. 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
警告
  • 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
  • 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
  • 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务

映射默认配置​

关于此功能​

通过映射默认配置的方式,让用户能够快捷地在创建映射时向数据目的地添加默认字段与默认开启高级清洗脚本,优化操作流程,减少操作难度。

操作步骤​

  1. 点击「映射配置」目的地端的按钮「映射默认配置」
  2. 选择向目的地添加默认字段:
    1. 向本条数据链路所有映射的目的地文件添加默认字段。
    2. 当文件类型数据节点(如:FTP)作为数据目的地时,需先选择文件类型。
  3. 选择开启高级清洗脚本:
    1. 系统默认高级清洗为关闭状态。如果此项设置被开启,高级清洗将默认在未来新添加的数据映射中开启。hover 在字段条目上显示垃圾桶 icon,可以删除该字段。

注意事项​

警告
  • 添加默认字段后,如果新映射中源表映射到目的地有同名字段,则无法保存,在目的地表的字段映射中会报错,显示「字段名称重复」。
  • 映射默认配置中默认字段的添加仅对某一条数据映射生效一次;再次修改生成的默认字段并保存后不再生成新的字段。

Hudi 数据节点数据映射

关于此功能​

Hudi 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。

◎ 表映射

数据映射配置-配置 Hudi 数据目的地表映射

  • 创建新表
    • 配置写入设置

◎ 字段映射

数据映射配置-配置 Hudi 数据目的地字段映射

  • 创建新表时,系统会自动根据源表字段生成 Hudi 字段映射,您可以根据需求修改字段类型。

注意事项:

  • Hudi 数据节点仅支持用作数据目的地节点。

配置表映射​

配置 Hudi 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。

关于此功能​

Hudi 数据节点作为目的地节点时,Hudi Java Client 支持新建无分区表、单值分区表。支持配置表的存储路径、表存储类型、以及配置是否将数据同步到 Hive。目前可通过修改 BathPath 以及表名的方式写入已有表,但您需要确保同步数据的表结构与已有表的表结构一致。

操作步骤​

  1. 点击表映射按钮,切换至表映射 Tab。
  2. 点击数据源按钮,切换至您需要配置的 Hudi 数据目的地。
  3. 点击选择同步列表按钮,选择数据源中您需要同步的表。选择完成后数据目的地将会展现对应行。
  4. Hudi 数据目的地支持新建表。
    1. 点击「创建新表」,系统自动将源端表名赋值到 Hudi 目的地表。
    2. 完成「写入设置」
      1. 表存储类型:支持您配置表存储类型为“Copy On Write”或“Merge On Read”。
      2. BasePath:BasePath 由“根路径”,此处输入的相对路径,表名称共同组成。“根路径”为创建节点时配置的绝对路径。
      3. 同步到 Hive:开启同步到 Hive,系统将自动将 Hudi 表同步至 Hudi 节点详情页面配置的 Hive 库。 注意:当您的节点开启 Kerberos 认证后,元数据同步至 Hive 功能将不可用。
      4. 动态目录定义:Hudi 支持定义(多层)单值分区。您可以使用系统提供的函数与系统参数组成的表达式或者引用目的地表字段来自定义单值分区键,同时也可以引用目的地端字段名来定义范围分区键。
        1. 分区类型:可选择无、单值分区
        2. 单值分区:点击添加,可选择表达式定义和字段定义
          1. 表达式定义:支持利用系统参数以及系统函数来组成表达式定义分区键。分区目录将按照您配置的分区顺序自动进行嵌套。
          2. 字段定义:支持选择目的地字段定义分区键。\ 注意:您需要先创建该表,保存字段映射中的配置,才能选择目的地字段。
      5. 参数设置:DataPipeline 支持您为每张表配置参数。\ 以下是并发写表的参数配置示例,如果您需要多个数据任务同时并发写表,则该表所在的每条映射都需要配置以下参数。
KEYVALUE说明
hoodie.write.lock.providercom.datapipeline.sink.connector.hudi.HoodieRedisLock
hoodie.write.lock.redis.lock_keyxiaohu_BF_20220404请配置实际 lock_key
hoodie.write.concurrency.modeOPTIMISTIC_CONCURRENCY_CONTROL
hoodie.cleaner.policy.failed.writesLAZY
hoodie.write.lock.client.num_retries5
hoodie.write.lock.wait_time_ms1000
hoodie.write.lock.redis.base_path/user/xiaohu/hudi/xiaohu_BF_20220404请配置实际 base_path
hoodie.metadata.enablefalse当您选择 Hudi 0.11.0 版本时,必须在在数据映射-写入设置-参数设置中添加此配置,且必须置为 false

配置字段映射​

配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。

关于此功能​

当前 3.4 版本 Hudi 目的地仅支持新建表,系统将根据默认的语义映射规则自动为您创建目的地字段与字段属性。

操作步骤​

  1. 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
    1. 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
  2. 您可以修改数据目的地名称与字段属性。

ClickHouse 数据节点数据映射

关于此功能​

ClickHouse 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。

◎ 表映射

作为数据源

  • 支持查看表的源数据信息:表所在的数据库、表名、注释
  • 支持配置表映射关系

作为数据目的地

  • 创建新表
    • 指定数据库
    • 写入设置
      • 表引擎
      • 排序键、分区建配置
      • TTL配置
      • 其他参数
  • 选择已有表

◎ 字段映射

作为数据源

  • 支持查看表的字段映射、精度、标度、NotNull 属性、主键、注释
  • 支持配置字段映射关系

作为数据目的地

  • 创建新表时,系统会自动根据源表字段生成 ClickHouse 字段映射,您可以根据需求修改字段类型。

配置表映射​

配置 ClickHouse节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。

关于此功能​

数据表映射显示 ClickHouse 表的相关信息,如所在的虚拟集群、数据库、表名称、表的索引等。作为数据源,可配置 ClickHouse 表映射到其他目的地时的表名称、数据库、表类型等规则。在任务执行过程中,DataPipeline 根据用户配置的读取方式来采集源端数据。

ClickHouse 数据节点作为目的地节点时,支持新建表、选择已有表。支持配置新建表的表引擎、排序键、分区键、TTL与表参数。

操作步骤​

手动配置映射​

作为数据源

  1. 点击表映射按钮,切换至表映射 TAB
  2. 点击选择同步列表,选择需要同步的数据表,此时页面显示此表的表相关信息
  3. 设置读取条件、全量并发分区规则
  4. 根据目的地的支持情况,选择已有表或创建新表
  5. 配置“写入设置”等配置
  6. 保存,完成表映射配置

作为数据目的地

  1. 点击表映射按钮,切换至表映射 Tab。
  2. 点击数据目的地按钮,切换至您需要配置的 ClickHouse 数据目的地。
  3. 点击选择同步列表按钮,选择数据源中您需要同步的表。选择完成后数据目的地将会展现对应行。
  4. ClickHouse 数据目的地支持新建表。
    1. 点击「创建新表」,系统自动将源端表名赋值到 ClickHouse 目的地表。
    2. 完成「写入设置」
      1. 表引擎:当前版本支持MergeTree、Replication MergeTree
      2. 排序键:选择表中字段添加为排序键
      3. 分区键:可选无分区键,可添加表中字段作为分区键
      4. TTL:表中数据的生命周期规则,选择字段进行配置,仅支持date、datetime类型
      5. Settings:其他表参数

映射设置(批量映射)​

作为数据源,映射设置中,可以批量设置数据映射的读取条件和并发分区规则。

  • 读取限制设置:配置当前链路上所有映射的读取条件
  • 并发分区设置:支持将主键设置为并发分区键、支持自动分区并批量设置分区数。
    • 由于无法获取 Distributed 表的主键,因此,【主键设置为并发分区间】配置对集群部署的 ClickHouse节点不生效,需在每条链路上选择对应字段。

注意事项​

信息

当前支持创建 Mergetree、Replication Mergetree表模型的数据表,不支持直接写入分布式表。

  • DataPipeline 支持创建 ClickHouse 目的地数据表,创建表时需要指定 Sort keys(排序键),根据数据库特性,排序键不能为空。
  • 当需要指定目的地表主键,主键需要设置为排序键,且位于排序键位置的前部。
  • 建表操作需要注意上述配置的完整性,避免建表报错。

配置字段映射​

配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。

关于此功能​

ClickHouse 数据源显示字段的名称、类型、精度、标度、非空属性、主键、注释。

ClickHouse 数据目的地支持新建表、选择已有表。新建表过程中,支持对字段的名称、类型、精度、标度、非空属性、主键、注释进行编辑。

支持对字段进行表达式计算。

操作步骤​

作为数据源

  1. 当数据源和目的地的表映射关系建立后,可进入字段映射页面
  2. 显示源表的所有字段名称、字段类型、精度、标度、非空属性、主键、注释信息

作为数据目的地

  1. 点击数据映射-表映射-新建表,跳转至字段映射 tab;
    1. 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
  2. 您可以修改数据目的地名称与字段属性。

注意事项​

信息
  • DataPipeline 支持创建 ClickHouse 目的地数据表,创建表时需要指定 Sort keys(排序键),根据数据库特性,排序键不能为空。
  • 当需要指定目的地表主键,主键需要设置为排序键,且位于排序键位置的前部。

OSS 数据节点数据映射

数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。

关于此功能​

OSS 数据节点数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。

◎ 表映射

数据映射配置-配置表映射

  • 选择同步列表
  • 写入文件配置
    • 动态目录定义
    • 新建文件大小限制
    • 写入时间限制
  • 创建新文件

◎ 字段映射

数据映射配置-配置字段映射

  • 调整字段映射内容
  • 定义写入数据结构

配置表映射​

配置 OSS 数据节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。

关于此功能​

  • OSS 数据节点作为源节点时,DataPipeline 支持使用参数来自定义动态目录名,将文件格式相同、文件名有一定规律的一组文件作为一个表来进行表映射,该定义在文件类型数据节点配置中完成。
  • OSS 数据节点作为目的地节点时,DataPipeline 支持使用参数来自定义生成动态目录名。支持利用系统参数以及系统函数来组成表达式定义目录名,同时也可以直接引用目的地参数来定义动态目录名。
  • OSS 数据节点作为目的地节点时,DataPipelin 支持按文件大小对文件进行切分,当用户设置了文件大小上限后,如果写入文件超出文件限制,系统将会按照文件上限生成多个文件,按照生成顺序以自增数字的形式从 1 开始添加文件名后缀。OSS 数据节点作为目的地节点时,DataPipelin 支持对文件写入时间进行限制,当用户设置了写入时间上限后,如果该批次写入时间超出写入时间上限,系统将会按照写入时间上限将读取到的数据写入文件并进入下一批次。

操作步骤​

  1. 点击表映射按钮,切换至表映射 Tab。
  2. 点击数据源按钮,切换至您需要配置的文件类型数据目的地。
  3. 点击选择同步列表按钮,选择数据源中您需要同步的文件目录。
  4. 选择完成后数据目的地将会展现对应行。
  5. 文件类型数据目的地支持新建表。 点击创建新文件,输入目的地文件目录,定义文件类型,配置相应文件类型的文件配置
    1. csv 文件:目的地节点需要配置编码方式、字段分隔符、行分隔符、转义字符、文本围栏。
    2. avro 文件:目的地节点支持写入 avro 文件。需要配置压缩格式。
    3. parquet 文件:目的地节点支持写入 parquet 文件。需要配置压缩格式。
    4. 支持利用系统参数以及系统函数来组成表达式定义目录名,同时也可以直接引用目的地参数来定义动态目录名。 注意:在引用参数定义动态目录名时需要用"[$time]"

配置字段映射​

配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。

操作步骤​

  1. 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
  2. 点击「创建新文件」,跳转至字段映射 tab:
    1. 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
    2. 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
    3. 您可以修改数据目的地名称与字段属性;
  3. 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
    1. 预留字段的映射没有相应的数据源字段信息;
    2. 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。

Elasticsearch 数据节点数据映射

关于此功能​

Elasticsearch 数据节点数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。

◎ 表映射

数据映射配置-配置 Elasticsearch 数据节点表映射

  • 选择同步列表
  • 选择语义映射规则;
  • 创建新索引;
  • 选择已有索引;

◎ 字段映射

数据映射配置-配置 Elasticsearch 数据节点字段映射

  • 创建新索引--调整字段映射内容
  • 选择已有索引–选择字段映射

◎ 限制读取内容

数据映射配置-配置 Elasticsearch 数据节点限制读取内容

  • 配置增量识别字段

配置表映射​

配置 Elasticsearch 数据节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。

关于此功能 ​

  • Elasticsearch 数据节点作为源节点时,DataPipeline 将自动读取索引类型名称。
  • Elasticsearch 数据节点作为目的节点时,DataPipeline 为索引类型自动赋值为_doc。当 Elasticsearch 版本为 6.x,类型名称可编辑。当 Elasticsearch 版本为 7.x,类型名称禁止编辑。
  • Elasticsearch 数据节点作为目的节点时,DataPipeline 为分片数量、副本数量自动赋值,支持手动编辑。当 Elasticsearch 版本为 6.x,分片数量默认值为 5,副本数量默认值为 1。Elasticsearch 版本为 7.x,分片数量默认值为 1,副本数量默认值为 1。

操作步骤 ​

  1. 点击表映射按钮,切换至表映射 Tab。
  2. 点击数据源按钮,切换至您需要配置的文件类型数据目的地。
  3. 点击选择同步列表按钮,选择数据源中您需要同步的索引。
  4. 选择完成后数据目的地将会展现对应行。

配置字段映射​

配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。

关于此功能 ​

因在配置数据映射时可以在数据目的地选择已有表或新建表,配置字段映射也会根据表映射中所选内容而改变。

操作步骤 ​

  1. 点击字段映射按钮,切换至字段映射 Tab;
  2. 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
    1. 当 Elasticsearch 作为数据源和数据目的地时,字段中展示实际字段名称,以及 Elasticsearch _id。嵌套字段将拉平展示。如 一层字段名称.二层字段名称.三层字段名称。

使用说明

如何高效更新 ES 数据目的地数据?

数据源发生 update 或 delete 操作时,您可以根据实际使用场景,在以下两种数据更新方式中选择合适的更新方式。

更新方式特点配置方式适用场景
采用页面配置的逻辑主键,根据逻辑主键数据检索 document 对应_id,再进行数据更新。写入 update、delete 速度慢;_id 由 ES 自主生成在字段映射指定某一字段为 ES 目的地逻辑主键对更新速度要求较低,仅允许_id 由 ES 自主生成,保证_id 全局唯一性
利用 ES 写入相同_id 数据时历史数据会被新数据自动覆盖的逻辑 实现数据更新写入 update、delete 速度快;_id 由用户指定配置高级清洗,将数据源主键字段写入 ES _id。ES 端不配置逻辑主键。数据源需要有主键,该主键字段的值多表全局唯一。

说明 ​

关于 Elasticsearch 嵌套字段读取与写入:

  1. Elasticsearch 数据源存在嵌套字段时,数据写入目的地将拆分嵌套字段,以 M*N 形式写入。(M 为嵌套字段数据行数,N 为文档数量)
  2. Elasticsearch 数据目的地存在嵌套字段时,DataPipeline 会将数据还原为嵌套形式写入。

关于 Elasticsearch _id 读取与写入:

  1. Elasticsearch 作为数据源时,如果您不需要将 Elasticsearch _id 同步至数据目的地,不为_id 映射即可。
  2. Elasticsearch 作为数据目的地时,如果对应的数据源存在_id,DataPipeline 自动将 Elasticsearch 数据目的地_id 与 数据源的_id 映射 。如果 您不希望同步数据源 _id 数据到数据目的地_id,可手动删除目的地_id,由 Elasticsearch 自动为_id 数据。
  3. Elasticsearch 作为数据目的地时,如果对应的数据源不存在_id,DataPipeline 自动将 Elasticsearch 数据目的地生成_id。您可通过配置高级清洗将源端数据写入_id,或者手动删除目的地_id,由 Elasticsearch 自动为_id 数据。

限制读取内容​

限制读取内容是对数据源中数据读取的限制配置,通常用于增量识别字段模式指定增量数据的获取。

关于此功能 ​

DataPipeline 支持通过配置 Elasticsearch query 参数限定读取范围。目前对于 Elasticsearch 节点,DataPipeline 不支持通过 lastmax()函数获取增量数据。

操作步骤 ​

  1. 在数据映射--表映射页面点击限制读取内容按钮;

  2. 或在数据映射--字段映射页面点击编辑读取条件,进入限制读取内容配置弹窗。

  3. 您可根据需求设置 Elasticsearch query 语句。

Hyperbase 数据节点数据映射

以下是本节中的文章:

配置 Hyperbase 数据节点表映射

配置 Hyperbase 数据节点字段映射

数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。

关于此功能 ​

Hyperbase 数据节点数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。

◎ 表映射

数据映射配置-配置 Hyperbase 数据节点表映射

  • 创建新表;
  • 选择已有表

◎ 字段映射

数据映射配置-配置 Hyperbase 数据节点字段映射

  • 创建新表--调整字段映射内容
  • 选择已有表–选择表

配置表映射​

配置 Hyperbase 数据节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。

关于此功能 ​

  • Hyperbase 数据节点作为目的节点时,DataPipeline 支持创建 Hpyerdrive 内表、创建 Hyperbase 内表,以及选择已有表。
  • Hyperbase 数据节点作为目的节点时,您需要通过高级清洗定义 rowkey 字段的生成逻辑。

操作步骤 ​

  1. 点击表映射按钮,切换至表映射 Tab。
  2. 选择「创建新表」或「选择已有表」
  3. 创建新表:
    1. 点击创建 Hpyerdrive 内表或创建 Hyperbase 内表按钮。
    2. 指定表所在的数据库。JDBC 写入方式通过 inceptor 将数据写入 Hyperbase,inceptor 的数据库与 Hyperbase 命名空间一一对应,请在此处选择表所在的 inceptor 数据库。
  4. 选择已有表:请选择数据库下对应的已有表。JDBC 写入方式仅支持选择内表。

配置字段映射​

配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。

关于此功能 ​

因在配置数据映射时可以在数据目的地选择已有表或新建表,配置字段映射也会根据表映射中所选内容而改变。

操作步骤 ​

  1. 点击字段映射按钮,切换至字段映射 Tab;
  2. 通过高级清洗定义 rowkey 字段的生成逻辑;
  3. 在新建表的场景中
    1. 系统将根据默认语义映射规则自动的为您创建目的地字段与字段属性;
    2. 您可根据实际情况字段名称与字段属性。
  4. 在选择已有表的场景中
    1. 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
    2. 您可以为每一个 Hyperbase 目的地字段分配列族。

说明 ​

  1. 在创建新表时,您不需要手动创建 rowkey 字段。字段映射保存后,系统将自动为 Hyperbase 字段映射添加 rowkey 字段。rowkey 字段名称禁止修改,类型默认为 string。
  2. 您需要在高级清洗配置 rowkey 字段写入逻辑。简单示例如下,将 column_1 字段值写入 rowkey。
    1. public Map\<String, Object> process(Map\<String, Object> record) {\ record.put(":rowkey", record.get("column_1"));\ return record;
    2. 请在 rowkey 字段名称前添加:,如以上示例。

Inceptor 数据节点数据映射

数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。

关于此功能 ​

Inceptor 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。

◎ 表映射

数据映射配置--配置Inceptor数据节点表映射

  • Inceptor 源:
    • 选择同步列表
  • Inceptor 目的地:
    • 选择已有表
    • 创建新表
      • 配置写入设置

◎ 字段映射

数据映射配置--配置Inceptor数据节点字段映射

  • 调整字段映射内容
  • 定义写入数据结构

配置表映射​

配置 Inceptor 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。

关于此功能 ​

Inceptor 数据节点作为源节点时,DataPipeline 支持支持单值分区表、范围分区、分桶表的同步,单值分区表的分区键在 Inceptor 节点配置中完成。

Inceptor 数据节点作为目的地节点时,Inceptor 文件写入方式支持写入到目的地的 CSV、Parquet、Avro、ORC 类型文件,并且支持新建外部表、单值分区表、范围分区表。JDBC 写入方式选择已有表时,支持将源端数据写入目的地端的 ORC 类型文件,并且支持新建外部表、单值分区表、范围分区表、分桶表以及事务 ORC 表。JDBC 写入方式选择新建目的地表时,支持选择表的底层存储类型为 Hive、Search、Hyperbase。

操作步骤 ​

  1. 点击表映射按钮,切换至表映射 Tab。
  2. 点击数据源按钮,切换至您需要配置的 Inceptor 数据目的地。
  3. 点击选择同步列表按钮,选择数据源中您需要同步的表。 选择完成后数据目的地将会展现对应行。
  4. Inceptor 数据目的地支持新建表。
    1. 当写入方式为 Inceptor 文件写入时:
      1. 点击「新建外表」
      2. 选择数据库
      3. 完成「写入设置」
        1. 写入文件路径:必填项,填写相对路径
        2. 表格式定义:
          1. 文件格式:
            1. 选择 csv:需要配置编码方式、字段分隔符、行分隔符、转义字符、文本围栏。字段分隔符与行分隔符支持指定字符串或16进制ASCII码为分隔符。当您选择16进制ASCII码,DataPipeline在写入文件时将自动把输入的16进制ASCII码转为对应字符。
            2. 选择 Parquet:需要选择压缩格式
            3. 选择 Avro:需要选择压缩格式
            4. 选择 ORC:需要选择压缩格式
        3. 分区定义:Inceptor 支持定义(多层)单值分区和(多层)范围分区,Hive 支持定义(多层)单值分区。您可以使用系统提供的函数与系统参数组成的表达式或者引用目的地表字段来自定义单值分区键,同时也可以引用目的地端字段名来定义范围分区键。
          1. 分区类型:可选择无、单值分区、范围分区
          2. 单值分区:点击添加,可选择表达式定义和字段定义
            1. 表达式定义:支持利用系统参数以及系统函数来组成表达式定义分区键
            2. 字段定义:支持选择目的地字段定义分区键。
            3. 注意:您需要先创建该表,保存字段映射中的配置,才能选择目的地字段。
          3. 范围分区:
            1. 分区键:支持选择目的地字段定义分区键,可添加多个分区键。
            2. 分区名:必填项,自定义分区名
            3. 分区范围:需要为每个分区键配置每个分区的分区范围,填写范围上限及下限,系统默认包含上限及下限
        4. 分桶设置:
          1. 分桶数目:必填项
          2. 分桶键:支持选择目的地字段定义分桶键。
    2. 当写入方式为 JDBC 时:
      1. 点击「新建内表」
      2. 选择数据库
      3. 完成「写入设置」
        1. 底层存储
          1. 选择 Hive:需要配置文件格式、压缩格式、分区类型
          2. 选择 Hyperbase:需要配置表类型,支持 Hyperbase 内表与 Hyperdrive 内表。
          3. 选择 Elasticsearch:需要配置索引分片数量、副本数量

配置字段映射​

配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。

关于此功能​

因在配置数据映射时可以在数据目的地选择已有表或新建表,配置字段映射也会根据表映射中所选内容而改变。

操作步骤​

  1. 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
  2. 在每一行的数据目的地字段列中选择数据目的地表的字段:
    1. 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
  3. 如数据目的地没有您需要的数据表,您可以点击「创建新表」,跳转至字段映射 tab:
    1. 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
    2. 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
    3. 您可以修改数据目的地名称与字段属性;
  4. 在需要新建表的场景中,修改完字段映射后,点击创建目的地表以通过系统在数据目的地建表;
    1. 建表需要创建表权限;
    2. 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
    3. 通常情况下,生产环境建表需要您公司 DBA 创建表。
  5. 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
    1. 预留字段的映射没有相应的数据源字段信息;
    2. 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
警告
  • 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
  • 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
  • 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务

ArgoDB 数据节点数据映射

数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。

关于此功能​

ArgoDB 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本、配置逻辑主键,可对数据映射进行更加特异化的调整。

◎ 表映射​

  • 作为数据目的地:
    • 创建内表
      • 选择数据库
      • 定义写入设置
        • 表配置
          • 表类型
            • 表格式定义
            • 分桶配置分区配置
        • 写入配置
          • 临时外表文件写入路径
          • 临时外表文件格式定义
    • 选择已有表
      • 定义写入设置
        • 写入配置
          • 临时外表文件写入路径
          • 临时外表文件格式定义

◎ 字段映射​

  • 调整字段映射内容
  • 定义高级清洗
  • 列表达式计算
  • 配置逻辑主键

配置表映射​

配置 ArgoDB 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。

关于此功能​

ArgoDB 作为目的地节点时,ArgoDB 文件写入支持写入内表,暂不支持向外表写入数据。对于不同的内表引擎类型,支持情况如下表:

表类型是否支持
ORC 事务表是
ORC 非事务表是
HOLODESK 内表是
TEXTFILE 内表否
SEQUENCEFILE 内表否
RCFILE 内表否
PARQUET 内表否
HYPERDRIVE 内表是
HYPERBASE 内表是
ESDRIVE 内表否
SEARCH 内表否

在任务执行过程中,DataPipeline 通过先向 HDFS 写入 CSV 文件,再将文件中的数据合并至目的地表的方式写入数据;因此,配置过程中需要对临时文件路径与临时文件格式进行定义。

操作步骤​

手动配置映射​

  1. 点击表映射按钮,切换至表映射 TAB
  2. 点击数据目的地按钮,切换至需要配置的 ArgoDB 目的地
  3. 点击选择同步列表,选择需要同步的数据表
  4. 选择已有数据表或创建新表
  5. 配置“写入设置”
  6. 保存,完成表映射配置

写入设置​

  • 点击写入配置,进入写入配置弹窗,对于不同表类型/新建表/选择已有表,配置内容不同
    • 新建表
表类型表格式定义分桶配置分区配置写入配置
ORC 事务表压缩方式配置:不压缩(默认配置)、Zlib、Snappy分桶数目:必填分桶键:必填,支持多选支持不分区或者单值分区单值分区下,支持表达式定义和字段定义两种方式来定义分区参数。(1)表达式定义指通过使用系统参数和系统函数来定义分区键参数(2)字段定义指通过指定目的地字段来定义分区键参数临时外表文件写入路径:必填,相对路径,其上层路径为 ArgoDB 节点 HDFS 配置中写入根目录的路径临时表文件格式定义:如无数据冲突无需修改
ORC 非事务表压缩方式配置:不压缩(默认配置)、Zlib、Snappy分桶数目:非必填分桶键:非必填,支持多选注意:如果 Holodesk 表有 rowkey,则分桶键必须与 rowkey 一致。同上同上
HOLODESK 内表压缩方式配置:Snappy(默认配置)、Zlib、LZF、不压缩分桶数目:非必填分桶键:非必填,支持多选同上同上
HYPERDRIVE 内表无此配置分桶数目:非必填分桶键:非必填,单选无此配置同上
HYPERBASE 内表无此配置分桶数目:非必填分桶键:非必填,单选无此配置同上
- 选择已有表
表类型表格式定义分桶配置分区配置写入配置
ORC 事务表不可编辑不可编辑可编辑自定义分区键中的参数定义临时外表文件写入路径:必填,相对路径,其上层路径为 ArgoDB 节点 HDFS 配置中写入根目录的路径临时表文件格式定义:如无数据冲突无需修改
ORC 非事务表不可编辑不可编辑同上同上
HOLODESK 内表不可编辑不可编辑同上同上
HYPERDRIVE 内表不可编辑不可编辑无此配置同上
HYPERBASE 内表不可编辑不可编辑无此配置同上

映射设置(批量映射)​

映射设置中,支持对数据映射进行自动映射配置,可以进行匹配已有表、创建新表、匹配优先,当不执行映射设置时可以选择不匹配表。

映射设置中,有表相关设置、字段相关设置、高级清洗设置、读取限制配置、并发分区设置。

  • 表相关设置:
    • 创建新表:支持批量配置表名称创建规则、表类型、表格式定义、分桶设置、分区设置;也支持批量配置临时外表文件写入路径、临时外表文件格式定义。
      • 分区设置中,仅支持通过表达式定义来定义分区
      • 在分桶设置中,支持将源端主键对应的目的地字段设置为分桶键
    • 匹配已有表:支持批量配置临时外表文件写入路径、临时外表文件格式定义
    • 匹配优先
    • 不匹配
  • 字段相关设置:支持配置字段名称新建规则、字段名称匹配规则、新增字段创建规则。
    • 当表相关设置中选择创建新表时,仅字段名称新建规则生效。
    • 当表相关设置中选择匹配已有表时,字段名称匹配规则、新增字段创建规则。
  • 高级清洗设置:支持批量为目的地表添加高级清洗

配置字段映射​

配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。

关于此功能​

因在配置数据映射时可以在数据目的地选择已有表或创建 OLAP 表,配置字段映射也会根据表映射中所选内容而改变。

操作步骤​

  1. 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
  2. 在每一行的数据目的地字段列中选择数据目的地表的字段:
    1. 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
  3. 如数据目的地没有您需要的数据表,您可以点击「创建新表」,跳转至字段映射 tab:
    1. 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
    2. 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
    3. 您可以修改数据目的地名称与字段属性;
    4. 对于Holodesk、Hyperbase、Hyperdrive类型表,需要设置 Rowkey ,建议将数据源主键或唯一索引配置为数据目的地 Rowkey。
  4. 在需要新建表的场景中,修改完字段映射后,点击创建目的地表以通过系统在数据目的地建表;
    1. 建表需要创建表权限;
    2. 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
    3. 通常情况下,生产环境建表需要您公司 DBA 创建表。
  5. 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
    1. 预留字段的映射没有相应的数据源字段信息;
    2. 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
  6. 配置逻辑主键:逻辑主键的使用场景通常是数据源没有主键,但需要按照数据源主键进行增量同步的情况。配置逻辑主键后,系统将自动使用逻辑主键作为数据更新依据,但不会修改数据目的地的表结构,逻辑主键仅在 DataPipeline 数据同步内部使用。
    1. 当您为数据目的地节点配置逻辑主键后,系统将自动将数据源对应字段映射为逻辑主键,您无需在数据源手动配置。
      1. 对于Holodesk表
        1. 逻辑主键 将被作为是更新目的地数据的条件。
        2. 建议将具有唯一性的字段配置为逻辑主键。
        3. 当同时存在 rowkey 和逻辑主键时,优先使用逻辑主键作为更新条件。
      2. 对于Hyperbase、Hyperdrive表
        1. 逻辑主键 将被作为是更新目的地数据的条件。
        2. 建议将具有唯一性的字段配置为逻辑主键。
        3. 当同时存在 rowkey 和逻辑主键时,优先使用逻辑主键作为更新条件。
      3. 对于ORC事务表、ORC非事务表
        1. 逻辑主键 将被作为是更新目的地数据的条件。
        2. 建议将具有唯一性的字段配置为逻辑主键
    2. 我们建议您为目的地配置逻辑主键的字段添加索引,以提高数据检索与更新的效率。

注意事项​

警告
  • 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
  • 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
  • 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务

PoalrDB-X 数据节点数据映射

数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。

关于此功能​

TDPolarDB-X 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本、配置逻辑主键,可对数据映射进行更加特异化的调整。

◎ 表映射​

  • 作为数据目的地:
    • 创建新表
      • 选择数据库
      • 选择字符集
      • 定义索引配置
      • 定义写入设置
    • 选择已有表

◎ 字段映射​

  • 调整字段映射内容
  • 定义高级清洗
  • 列表达式计算
  • 配置逻辑主键

配置表映射​

配置 PolarDB 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。。

关于此功能​

PolarDB 作为目的地节点时,支持通过创建新表或者选择数据库中存在的已有表来生成源表和目的地表的映射关系。在数据同步过程中,DataPipeline 通过连接 JDBC Driver 将数据写入目的地端。

操作步骤​

手动配置映射​

  1. 点击表映射按钮,切换至表映射 TAB
  2. 点击数据目的地按钮,切换至需要配置的 PolarDB 目的地
  3. 点击选择同步列表,选择需要同步的数据表
  4. 选择已有数据表或创建新表
  5. 配置“写入设置”
  6. 保存,完成表映射配置

写入设置​

点击写入配置,进入写入配置弹窗,选择已有表时,无写入设置配置项;对于创建新表,配置内容如下

分库分表配置,参见 PolarDB 数据库官方文档

索引​

支持配置全局二级索引和局部索引,注意由于DP并非是专业的建表工具,因此索引并未支持指定存储引擎,默认采用innoDB引擎,因此索引仅支持Btree。同时全局二级索引要求必须是分区键,详情请参考PolarDB 数据库官方文档

映射设置(批量映射)​

映射设置中,支持对数据映射进行自动映射配置,可以进行匹配已有表、创建新表、匹配优先,当不执行映射设置时可以选择不匹配表。

  • 表相关设置:
    • 创建新表:支持批量配置表名称创建规则、匹配时是否忽略大小写
    • 匹配已有表:支持配置表名称匹配规则、匹配时是否忽略大小写
    • 匹配优先
    • 不匹配
  • 字段相关设置:支持配置字段名称新建规则、字段名称够匹配规则、新增字段创建规则、匹配过程中是否忽略大小写。
    • 当表相关设置中选择创建新表时,仅字段名称新建规则生效。
    • 当表相关设置中选择匹配已有表时,字段名称匹配规则、新增字段创建规则、匹配过程中是否忽略大小写生效
  • 高级清洗设置:支持批量为目的地表添加高级清洗

配置字段映射​

配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。

关于此功能​

因在配置数据映射时可以在数据目的地选择已有表或创建新表,配置字段映射也会根据表映射中所选内容而改变。

操作步骤​

  1. 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
  2. 在每一行的数据目的地字段列中选择数据目的地表的字段:
    1. 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
  3. 如数据目的地没有您需要的数据表,您可以点击「创建新表」,跳转至字段映射 tab:
    1. 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
    2. 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
    3. 您可以修改数据目的地名称与字段属性;
  4. 在需要新建表的场景中,修改完字段映射后,点击创建目的地表以通过系统在数据目的地建表;
    1. 建表需要创建表权限;
    2. 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
    3. 通常情况下,生产环境建表需要您公司 DBA 创建表。
  5. 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
    1. 预留字段的映射没有相应的数据源字段信息;
    2. 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
  6. 配置逻辑主键:逻辑主键的使用场景通常是数据源没有主键,但需要按照数据源主键进行增量同步的情况。配置逻辑主键后,系统将自动使用逻辑主键作为数据更新依据,但不会修改数据目的地的表结构,逻辑主键仅在 DataPipeline 数据同步内部使用。当您为数据目的地节点配置逻辑主键后,系统将自动将数据源对应字段映射为逻辑主键,您无需在数据源手动配置。

注意事项​

警告
  • 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
  • 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
  • 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务

TDSQL MYSQL 数据节点数据映射

数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。

关于此功能​

TDSQL MYSQL 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本、配置逻辑主键,可对数据映射进行更加特异化的调整。

◎ 表映射​

  • 作为数据目的地:
    • 创建新表
      • 选择数据库
      • 选择字符集
      • 定义索引配置
      • 定义写入设置
    • 选择已有表

◎ 字段映射​

  • 调整字段映射内容
  • 定义高级清洗
  • 列表达式计算
  • 配置逻辑主键

配置表映射​

配置 TDSQL MYSQL 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。。

关于此功能​

TDSQL MYSQL 作为目的地节点时,支持通过创建新表或者选择数据库中存在的已有表来生成源表和目的地表的映射关系。在数据同步过程中,DataPipeline 通过连接 JDBC Driver 将数据写入目的地端。

操作步骤​

手动配置映射​

  1. 点击表映射按钮,切换至表映射 TAB
  2. 点击数据目的地按钮,切换至需要配置的 TDSQL MYSQL 目的地
  3. 点击选择同步列表,选择需要同步的数据表
  4. 选择已有数据表或创建新表
  5. 配置“写入设置”
  6. 保存,完成表映射配置

写入设置​

  • 点击写入配置,进入写入配置弹窗,选择已有表时,无写入设置配置项;对于创建新表和选择已有表,配置内容如下
    • 集中部署
      • 分区配置:分区规则及支持的字段类型,参见 TDSQL MYSQL 数据库官方文档
    • 分布式部署
      • 表类型
        • TDSQL MYSQL分布式实例,支持创建分表(自动水平拆分的表、Shard表、一级分区表)、单表(普通表、Noshard表)、广播表。
        • 支持创建 HASH 、RANGE、LIST 规则的分表
          • TDSQL MYSQL 内核为MYSQL 5.7时,数据库仅支持创建 HASH规则 的分表
          • 当分表规则是 HASH 规则时,分表键必须是主键和所有唯一索引的一部分。即:如果字段A被选为分表键,且其中一个唯一索引中不包含字段A,则无法创建表或者无法创建索引。
        • 支持作为分表键的数据类型:
          • 当分表规则为 HASH 时,支持 DATE,DATETIME,TINYINT, SMALLINT, MEDIUMINT, INT, BIGINT,CHAR,VARCHAR 类型的字段做分表键
          • 当分表规则为 RANGE 或 LIST 时,支持 DATE,DATETIME,TINYINT, SMALLINT, MEDIUMINT, INT, BIGINT,CHAR,VARCHAR,TIMESTAMP 类型的字段做分表键
      • 分区配置:分区规则及支持的字段类型,参见 TDSQL MYSQL 数据库官方文档

映射设置(批量映射)​

映射设置中,支持对数据映射进行自动映射配置,可以进行匹配已有表、创建新表、匹配优先,当不执行映射设置时可以选择不匹配表。

  • 表相关设置:
    • 创建新表:支持批量配置表名称创建规则、匹配时是否忽略大小写
    • 匹配已有表:支持配置表名称匹配规则、匹配时是否忽略大小写
    • 匹配优先
    • 不匹配
  • 字段相关设置:支持配置字段名称新建规则、字段名称够匹配规则、新增字段创建规则、匹配过程中是否忽略大小写。
    • 当表相关设置中选择创建新表时,仅字段名称新建规则生效。
    • 当表相关设置中选择匹配已有表时,字段名称匹配规则、新增字段创建规则、匹配过程中是否忽略大小写生效
  • 高级清洗设置:支持批量为目的地表添加高级清洗

配置字段映射​

配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。

关于此功能​

因在配置数据映射时可以在数据目的地选择已有表或创建新表,配置字段映射也会根据表映射中所选内容而改变。

操作步骤​

  1. 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
  2. 在每一行的数据目的地字段列中选择数据目的地表的字段:
    1. 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
  3. 如数据目的地没有您需要的数据表,您可以点击「创建新表」,跳转至字段映射 tab:
    1. 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
    2. 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
    3. 您可以修改数据目的地名称与字段属性;
  4. 在需要新建表的场景中,修改完字段映射后,点击创建目的地表以通过系统在数据目的地建表;
    1. 建表需要创建表权限;
    2. 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
    3. 通常情况下,生产环境建表需要您公司 DBA 创建表。
  5. 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
    1. 预留字段的映射没有相应的数据源字段信息;
    2. 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
  6. 配置逻辑主键:逻辑主键的使用场景通常是数据源没有主键,但需要按照数据源主键进行增量同步的情况。配置逻辑主键后,系统将自动使用逻辑主键作为数据更新依据,但不会修改数据目的地的表结构,逻辑主键仅在 DataPipeline 数据同步内部使用。当您为数据目的地节点配置逻辑主键后,系统将自动将数据源对应字段映射为逻辑主键,您无需在数据源手动配置。

注意事项​

警告
  • 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
  • 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
  • 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务

StarRocks 数据节点数据映射

数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。

关于此功能​

StarRocks 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本、配置逻辑主键,可对数据映射进行更加特异化的调整。

◎ 表映射​

  • 创建 OLAP 表
    • 选择数据库
    • 选择表数据模型
    • 索引配置
    • 定义写入设置 + 表配置 - 分桶设置 - 分区设置 - 表属性参数 + 写入配置 - 事务配置
    • 选择已有表
      • 定义写入设置
        • 写入配置
          • 事务配置

◎ 字段映射​

  • 调整字段映射内容
  • 定义高级清洗
  • 列表达式计算
  • 配置逻辑主键

配置表映射​

配置 StarRocks 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。

关于此功能​

StarRocks 作为目的地节点时,StarRocks 支持向 OLAP 表写入数据。支持在链路上配置不同的表数据模型,不同的表模型功能支持度略有差异。

在任务执行过程中,DataPipeline 通过调用 Stream Load 接口将源端数据导入到 StarRocks 中。支持在写入过程中开启事务,对于明细模型和聚合模型的表,开启事务对保证数据的最终一致性有很大帮助,但对写入性能有一定的影响。

操作步骤​

手动配置映射​

  1. 点击表映射按钮,切换至表映射 TAB
  2. 点击数据目的地按钮,切换至需要配置的 StarRocks 目的地
  3. 点击选择同步列表,选择需要同步的数据表
  4. 选择已有数据表或创建 OLAP 表
  5. 配置“写入设置”
  6. 保存,完成表映射配置

写入设置​

  • 点击写入配置,进入写入配置弹窗,对于创建 OLAP 表和选择已有表,配置内容不同
    • 创建 OLAP 表
      • 表配置
        • 分桶配置:
          • 分桶键:分桶键可以选择多个,且必须是 Key 键的一部分。分桶键有字段类型的要求,可以参考 StarRocks 官方文档或者咨询 StarRocks 官方。
          • 分桶数量:支持自动分桶,也支持手动分桶。StarRocks 2.5 版本自动分桶时,需将 FE 动态参数 enable_auto_tablet_distribution 设置为 true。当分桶数量为空时,使用自动分桶数量。
        • 分区配置:仅支持 Range 分区
          • 分区键:仅支持 TINYINT, SMALLINT, INT, BIGINT, LARGEINT, DATE, DATETIME 类型。
          • 分区范围:分区范围支持同时配置上下限,也支持仅配置上限。
        • 表属性参数:是建表时的 properties 参数配置,可设置该表数据的初始存储介质 (storage_medium)、存储 降冷时间 (storage_cooldown_time) 、副本数 (replication_num)、动态分区等。具体配置项参见 StarRocks 官方文档。
      • 写入配置
        • 事务配置:默认关闭。开启事务后,在写入过程中会以事务为单位提交数据,对于明细模型和聚合模型的表,开启事务对保证数据的最终一致性有很大帮助,但对写入性能有一定的影响。
    • 选择已有表
      • 写入配置
        • 事务配置:开启事务后,在写入过程中会以事务为单位提交数据,对于明细模型和聚合模型的表,开启事务对保证数据的最终一致性有很大帮助,但对写入性能有一定的影响。

映射设置(批量映射)​

映射设置中,支持对数据映射进行自动映射配置,可以进行匹配已有表、创建新表、匹配优先,当不执行映射设置时可以选择不匹配表。

  • 表相关设置:
    • 创建新表:支持批量配置表名称创建规则、表数据模型、表属性参数;也支持批量配置是否开启事务
    • 匹配已有表:支持配置表名称匹配规则、匹配时是否忽略大小写、是否开启事务
    • 匹配优先
    • 不匹配
  • 字段相关设置:支持配置字段名称新建规则、字段名称够匹配规则、新增字段创建规则、匹配过程中是否忽略大小写。
    • 当表相关设置中选择创建新表时,仅字段名称新建规则生效。
    • 当表相关设置中选择匹配已有表时,字段名称匹配规则、新增字段创建规则、匹配过程中是否忽略大小写生效
  • 高级清洗设置:支持批量为目的地表添加高级清洗

配置字段映射​

配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。

关于此功能​

因在配置数据映射时可以在数据目的地选择已有表或创建 OLAP 表,配置字段映射也会根据表映射中所选内容而改变。

操作步骤​

  1. 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
  2. 在每一行的数据目的地字段列中选择数据目的地表的字段:
    1. 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
    2. Key列的元数据变化:刷新元数据时,支持识别 Key 顺序的 diff,在任一 Key上应用 diff 即可。
  3. 如数据目的地没有您需要的数据表,您可以点击「创建 OLAP 表」,跳转至字段映射 tab:
    1. 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
    2. 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
    3. 您可以修改数据目的地名称与字段属性;
    4. Key列的排序:您的点击顺序将会被用做 Key 的顺序
    5. Key 列的 Not Null 属性
      1. 主键模型下,Key 列必须非空,字段指定为 Key 列默认勾选 Not Null 属性,不支持取消。字段取消设置为 Key 列,不取消 Not Null 选择。
      2. 更新模型、明细模型、聚合模型下,Key 列允许为空,字段设置为 Key 列,默认不勾选 Not Null。
    6. 对于聚合模型的表,需要为每个字段指定聚合类型,不同聚合类型支持的字段类型如下:
      1. 支持的聚合类型
        1. SUM:求和,当字段类型为 TINYINT、SMALLINT、INT、BIGINT、LARGEINT、DECIMAL、DOUBLE、FLOAT时,此选项可选,其他字段类型下,此选项不可选。
        2. MAX:取最大值,当字段类型为 TINYINT、SMALLINT、INT、BIGINT、LARGEINT、DECIMAL、DOUBLE、FLOAT、CHAR、STRING、VARCHAR、DATE、DATETIME时,此选项可选
        3. MIN:取最小值,当字段类型为 TINYINT、SMALLINT、INT、BIGINT、LARGEINT、DECIMAL、DOUBLE、FLOAT、CHAR、STRING、VARCHAR、DATE、DATETIME时,此选项可选
        4. REPLACE:值替换,当字段类型非 HLL 和 BITMAP时,可选此项
        5. REPLACE_IF_NOT_NULL:仅对非空值替换,当字段类型非 HLL 和 BITMAP时,可选此项
        6. HLL 类型列:聚合类型固定显示为 HLL_UNION
        7. BITMAP 类型的列:固定显示为 BITMAP_UNION,注意仅支持数值类型的聚合。
      2. 当字段被设置为 Key 列时,不能指定聚合类型
    7. 对于 HLL、BITMAP 两种字段类型,在写入目的地时,需指定值转换函数。
      1. 字段类型为 HLL,支持的值转换函数为 HLL_HASH
      2. 字段类型为 BITMAP,支持的值转换函数为 TO_BITMAP(默认值)、BITMAP_HASH
  4. 在需要新建表的场景中,修改完字段映射后,点击创建目的地表以通过系统在数据目的地建表;
    1. 建表需要创建表权限;
    2. 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
    3. 通常情况下,生产环境建表需要您公司 DBA 创建表。
  5. 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
    1. 预留字段的映射没有相应的数据源字段信息;
    2. 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
  6. 配置逻辑主键:逻辑主键的使用场景通常是数据源没有主键,但需要按照数据源主键进行增量同步的情况。配置逻辑主键后,系统将自动使用逻辑主键作为数据更新依据,但不会修改数据目的地的表结构,逻辑主键仅在 DataPipeline 数据同步内部使用。当您为数据目的地节点配置逻辑主键后,系统将自动将数据源对应字段映射为逻辑主键,您无需在数据源手动配置。
    1. 对于更新模型和聚合模型,逻辑主键只能选择 Key 的一部分
    2. 选择已有表和新建表都需要支持设置逻辑主键。
    3. 我们建议您为目的地配置逻辑主键的字段添加索引,以提高数据检索与更新的效率。

注意事项​

警告
  • 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
  • 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
  • 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务

Pamion 数据节点数据映射

配置表映射​

配置字段映射​

Gbase 8a 数据节点数据映射

配置表映射​

配置字段映射​

Doris/SelectDB 数据节点数据映射

Kafka 数据节点数据映射

配置表映射​

配置字段映射​