Datahub 数据节点数据映射
数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。
关于此功能
Datahub 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。
- 表映射
- 作为数据目的地:
- 创建新Topic
- 选择Project
- Shard数量配置
- 生命周期配置
- Topic类型配置
- 选择已有Topic
- 定义存储设置
- 分区策略配置
- 写入指定分区(ShardID)
- 按 HashKey 写入
- 按 PartitionKey 写入
- 配置结构变化配置(Topic类型为TUPLE)
- 配置消息题结构配置(Topic类型为BLOB)
- 分区策略配置
- 创建新Topic
- 字段映射
- 调整字段映射内容
- 对BLOB类型Topic定义数据结构
配置表映射
配置 Datahub 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
:::color3 在进行表映射配置前,需先在映射规则设置-Topic相关设置中,完成Topic相关配置,才能进行选表配置
:::
- Datahub 数据节点支持写入BLOB、Tuple类型Topic
- 对于BLOB类型Topic,数据将以二进制写入,解析后的数据结构为JSON形式
- BLOB类型Topic中,可以定义消息中的Attribute Key
- 对于Tuple类型Topic,其结构在创建Topic时已经指定
- 在配置表映射时,支持选择已有Topic或新建Topic
- 新建Topic支持指定Shard数量与生命周期
操作步骤
- 点击表映射按钮,切换至表映射Tab。
- 点击数据目的地节点,切换至您需要配置的Datahub数据目的地。
- 添加目的地Topic。
- 创建新Topic:点击 创建新Topic。
- 输入Topic名称。Topic命名规则请参考官方指导。
- 选择Project
- 输入Shard数量(默认值1)
- 输入生命周期(默认值7,单位天)
- 选择Topic类型:Tuple/BLOB
- 选择已有Topic:点击 选择已有Topic。
- 在Topic列表中选择数据写入的Topic。
- 您可以通过点击“刷新”按钮获取当前最新Topic列表。
- 创建新Topic:点击 创建新Topic。
- 配置存储配置
- 点击 存储配置 按钮,进入写入配置弹窗。进行分区策略配置。
- 对于Tuple类型Topic
- 支持配置分区策略-写入指定分区、按HashKey写入、按Partition Key写入
- 写入指定分区:输入分区ID,写入指定分区
- 按HashKey写入:可以通过勾选字段变量、采集元数据、系统元数据作为HashKey的输入值,Datahub会将拼接值进行Hash计算后自动分配分区,分区字段可以根据数据源数据分布情况灵活配置。
- 按PartitionKey写入:在数据写入过程中,该字段值会作为 PartitionKey 传输给 DataHub,DataHub 会根据 Shard 的 BeginHashKey、EndHashKey 与该字段的 MD5 值决定写入的 Shard。
- 支持配置结构变化配置
- 配置作用:当节点的结构变化策略配置为:数据源正在同步的表新增字段-「为新增字段建立映射并同步新增字段」时,是否需要同时在新建更新前镜像字段的映射并同步更新前镜像。
- 说明:
- 该配置生效前提为:
- 数据源为ORACLE、MySQL、OceanBase、TiDB。
- 结构变化策略配置为:数据源正在同步的表新增字段-「为新增字段建立映射并同步新增字段」。
- 选择「为新增字段建立更新前镜像、更新后镜像的映射并同步更新前镜像字段、更新后镜像字段。」时,需要为更新前镜像字段、更新后字段配置字段名称新建规则,防止更新前后镜像字段名称冲突。
- 该配置生效前提为:
- 支持配置分区策略-写入指定分区、按HashKey写入、按Partition Key写入
- 对于BLOB类型Topic
- 支持分区策略,分区策略内容同Tuple类型Topic
- 消息体结构配置:
- 配置Attribute Key数据写入格式
- AttributeKey无默认值,可添加多个AttributeKey
- 添加AttributeKey,需要输入AttributeKey名称(通常为英文)
- 通过勾选可以指定向AttributeKey写入的数据,勾选后,数据将会以JSON形式拼接,可在右侧预览数据格式
- table:源表名称数据格式为 schema(database).table
- op_type:DML类型
- op_ts:实时模式为数据源数据写入时间,批量模式为数据源数据读取时间
- current_ts:数据采集时间
- rowid:Oracle数据源RowID
- pos:数据源增量数据读取的进度信息,根据数据源不同可能是Binlog_postition/SCN/LSN等
- binlog_file:MySQL数据源进度信息
- gtid:MySQL数据源进度信息
- primary_keys:数据源主键的集合(在新建AttributeKey时默认选中)
- 配置 Value 数据写入格式
- 选择数据写入格式。
- Oracle GoldenGate格式:DataPieline支持将数据组织为Oracle GoldenGate标准格式写入数据目的地。
- 数据写入格式默认为Oracle GoldenGate格式。
- 默认仅写入after数据(即发生变更后的数据)。您可通过勾选配置将要写入的参数。
- 参数说明:
- before:表示更新前数据。当前支持采集以下数据节点的更新前数据:ORACLE、MySQL、GoldenDB、PostgreSQL、DB2、OceanBase、Gbase8c、GaussDB(for openguass)。当用户需要使用DB2的更新前数据时,需要先开启采集before数据的参数。开启后将对新建任务采集数据生效。当历史任务需要采集DB2更新前参数时,请先暂停数据任务,通过调用接口方式修改采集before数据的参数。具体配置请查看《部署前指南》。
- op_ts:当数据源读取方式为日志读取时,将写入数据源日志记录的数据提交时间。当数据源读取方式为JDBC时,将写入DataPipeline采集数据源数据的时间。
- current_ts:写入DataPipeline采集数据源数据的时间。
- 参数说明:
- 开启「value 内容分层写入 Topic」开关,DataPipeline 写入 after 数据第一层为「after」,第二层为 after value。如果同时写入 before 数据,则 before 数据第一层为「before」,第二层为 before value。
- Debezium格式:DataPieline支持将数据组织为Debezium标准格式写入数据目的地。
- 选择 Debezium格式。
- 默认写入全部数据。您可通过勾选配置将要写入的参数。
- 参数说明:
- before:表示更新前数据。当前支持采集以下数据节点的更新前数据:ORACLE、MySQL、GoldenDB、PostgreSQL、DB2、OceanBase、Gbase8c、GaussDB(for openguass)。
- ts_ms:写入DataPipeline采集数据源数据的时间。
- source.ts_ms:数据源日志记录的数据提交时间
- 参数说明:
- 自定义格式:支持自定义编辑写入的数据格式。
- 您可通过勾选字段变量参数、采集元数据参数、系统元数据参数 配置参数写入。支持您在编辑器中对写入数据及数据格式进行编辑。
- 当数据写入格式为Json时,点击 JSON格式校验,将校验数据是否符合JSON格式。
- 点击 恢复默认,将恢复为数据源全部字段。
- Oracle GoldenGate格式:DataPieline支持将数据组织为Oracle GoldenGate标准格式写入数据目的地。
- 查看右侧”样例数据“展示,查看Value的数据格式。
- 选择数据写入格式。
- 配置Attribute Key数据写入格式
注意事项
- 完整准确的表映射是准确进行数据同步的基础,您需要谨慎操作。
- 新增同步列表中内容不会影响已有数据映射及使用已有数据映射的数据任务。
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。
配置字段映射
配置Datahub字段映射是在界面中建立数据源表层级结构中字段与数据目的地表层级结构中的字段或数据的映射关系,建立字段或数据的映射关系后,数据才能被准确的从数据源同步至数据目的地。
关于此功能
Datahub 数据节点支持写入BLOB、Tuple类型Topic。
- 对于BLOB类型Topic,字段映射页面配置写入Topic的字段。支持对字段配置「表达式转换」,对数据内容进行转换处理。
- 对于Tuple类型Topic,数据节点字段映射页面功能与数据源相关。
- 当数据源为ORACLE、MySQL、OceanBase时,字段映射页面支持配置写入Topic的字段,支持配置是否写入字段的更新前镜像。
- 当数据源为其他节点时,字段映射页面配置写入Topic的字段。可以参考关系型数据库目的地字段映射配置。
操作步骤
Datahub 数据目的地字段映射配置
- 点击数据映射-表映射-字段映射按钮,进入字段映射Tab。
- 数据源字段信息将会自动映射至目的地端。
- 对于BLOB类型Topic,可以在字段映射页面修改字段名称。
- 对于Tuple类型Topic:
- 配置元数据映射:通过「添加元数据」,选择需要写入 Datahub 数据目的地字段的元数据。当前支持写入如下元数据:
- DP_C_STREAM_POSITION:根据数据源不同,采取不同的值。MySQL:Positon;ORACLE:SCN;OceanBase:SCN;Postgresql:LSN;
- DP_C_OPERATION:操作类型。
- DP_C_COMMIT_TIMESTAMP:数据源日志中记录的事务提交时间。当数据源为ORACLE与OceanBase时,时间精确到秒。当数据源为MySQL与TiDB时,时间精确到毫秒。
- DP_S_WRITE_TIMESTAMP:写入数据目的地时间。时间精确到毫秒。
- DP_S_RECORD_ID:写入数据库目的地单表范围内唯一且递增的值,仅适用于数据任务使用系统内置消息队列,且未开启全量并发分区读取的场景。
- 配置字段映射:
- 勾选数据源字段
- 选择「映射更新前镜像」将自动为数据源字段新增更新前镜像字段映射,并在数据目的地字段映射生成对应的映射。
- 选择「取消映射更新前镜像」将取消更新前镜像的字段映射。
- 勾选数据源字段
- 配置元数据映射:通过「添加元数据」,选择需要写入 Datahub 数据目的地字段的元数据。当前支持写入如下元数据:
注意事项
- 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作。
- 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务。
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。
- 当前版本支持通过「更新前镜像」功能写入更新前镜像数据的数据源:ORACLE、MySQL、OceanBase。
- 当您为同步字段配置「更新前镜像」,请勿为数据目的地对应的更新前镜像字段、更新后镜像字段配置not null属性。否则当数据源出现INSERT操作和DELETE操作时,将由于非空限制无法写入数据目的地。
- 元数据映射字段不支持通过「表达式处理」功能二次处理数据。
Redis 数据节点数据映射
数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。
关于此功能
Redis 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。
- 表映射
- 选择同步列表
- 选择 Redis 映射模式
- 字段映射
- 调整字段映射内容
- 定义写入数据结构
- Redis 数据节点不支持作为数据源。
- 当配置 Redis 数据节点数据映射时,可能需要使用清洗脚本对半结构化/非结构化数据进行解析,或对数据进行清洗处理,结构转换写入数据目的地;清洗脚本的功能使用同 RDBMS 类型数据节点清洗脚本,详见数据映射配置-配置清洗脚本。
配置表映射
配置 Redis 表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
Redis 数据节点作为数据目的地节点时,DataPipeline 支持 String、Hash 两种映射方式。
在 Hash 映射模式中,通常情况下游两种使用方式。
- 将数据源主键映射至 Field_Key 中,即 Hash Table 模式。
- 将数据源主键映射至 Hash_Key 中,Collum_Name 映射至 Field_Key,Collum_Value 映射至 Field_Value,即 Hash 行转列模式。
您可根据实际业务场景自行选择映射方式。
DataPipeline 数据采集组件读取半结构化数据后,需要对数据进行解析,提取数据元素;数据加载组件写入半结构化数据时,需要指定写入数据结构。
操作步骤
- 点击表映射按钮,切换至表映射 Tab。
- 点击数据源按钮,切换至您需要配置的 Redis 数据目的地。
- 选择映射类型。
- 点击字段映射按钮,进入字段映射页面进行字段映射配置。
- 完整准确的表映射是准确进行数据同步的基础,您需要谨慎操作。
- 新增同步列表中内容不会影响已有数据映射及使用已有数据映射的数据任务。
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。
配置字段映射
配置 Redis 字段映射是在界面中建立数据源表层级结构中字段与数据目的地表层级结构中的字段或数据的映射关系,建立字段或数据的映射关系后,数据才能被准确的从数据源同步至数据目的地
关于此功能
Redis 数据节点作为数据目的地节点时,DataPipeline 支持 String、Hash 两种映射方式。
在 Hash 映射模式中,通常情况下游两种使用方式。
- 将数据源主键映射至 Field_Key 中,即 Hash Table 模式。
- 将数据源主键映射至 Hash_Key 中,Collum_Name 映射至 Field_Key,Collum_Value 映射至 Field_Value,即 Hash 行转列模式。
您可根据实际业务场景自行选择映射方式。
DataPipeline 数据采集组件读取半结构化数据后,需要对数据进行解析,提取数据元素;数据加载组件写入半结构化数据时,需要指定写入数据结构。
操作步骤
- 点击数据映射-表映射-字段映射按钮,进入字段映射 Tab。
- 针对 Redis 目的地,您可以选择目的地映射方式为 Hash 或 String。
- 选择 String 模式,进入字段映射页面,将自动根据数据源生成目的地字段。
- 点击结构定义按钮,使用目的地字段变量与数据表信息变量对 Key 与 Value 进行结构定义。
- 选择 Hash 模式,进入结构定义选择 Hash 类型。
- 选择 Hash_table 类型。
- HashKey 使用数据表信息变量拼接表名称。
- FieldKey 使用主键集合变量进行拼接。
- FieldValue 使用数据进行结构拼接定义。
- 选择 Hash_行转列模式。
- HashKey 使用数据表信息变量与主键集合变量拼接表名称。
- FieldKey 默认为字段名称变量。
- FieldValue 默认为字段值变量。
- 选择 Hash_table 类型。
- 通过高级清洗向结构定义中除数据源字段变量之外的其他变量赋值。
- 完成字段映射配置。
- 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作。
- 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务。
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。 NoSQL 类型数据节点的数据映射高级清洗功能与 RDBMS 类型数据节点的数据映射高级清洗功能一致,配置可参考:数据映射配置--RDBMS--配置清洗脚本。
映射规则设置
关于此功能
通过映射默认配置的方式,让用户能够快捷地在创建映射时向数据目的地添加默认字段与默认开启高级清洗脚本,优化操作流程,减少操作难度。
操作步骤
- 点击「映射规则设置」目的地端的按钮「字段相关设置」
- 选择向目的地添加默认字段:
- 当 Redis 作为数据目的地时,需要先选择映射类型 Hash 或 String;当您选择 Hash 后,需选择:Hash_Table 或 Hash_行转列。当您选择 Hash_行转列后,没有添加默认字段的功能。
- 选择开启高级清洗脚本:
- 系统默认高级清洗为关闭状态。如果此项设置被开启,高级清洗将默认在未来新添加的数据映射中开启。hover 在字段条目上显示垃圾桶 icon,可以删除该字段。
注意事项
- 添加默认字段后,如果新映射中源表映射到目的地有同名字段,则无法保存,在目的地表的字段映射中会报错,显示「字段名称重复」。
- 映射默认配置中默认字段的添加仅对某一条数据映射生效一次;再次修改生成的默认字段并保存后不再生成新的字段。
SequoiaDB 数据节点数据映射
数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。
关于此功能
SequoiaDB 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。
- 表映射
- 选择同步列表
- 选择语义映射规则
- 选择已有 Collection 或新建 Collection
- 字段映射
- 调整字段映射内容
- 定义写入数据结构
- SequoiaDB 数据节点只能作为数据目的地节点。
- 当配置 SequoiaDB 数据节点数据映射时,可能需要使用清洗脚本对数据进行清洗处理,结构转换写入数据目的地;清洗脚本的功能使用同 RDBMS 类型数据节点清洗脚本,详见数据映射配置-配置清洗脚本
配置表映射
配置 SequoiaDB 表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
SequoiaDB 作为数据目的地节点时,写入数据支持 BSON 数据结构,DataPipeline 将根据数据目的地字段映射的逻辑字段,自动生成一层的 BSON 结构进行写入。
操作步骤
- 点击表映射按钮,切换至表映射 Tab。
- 点击数据目的地按钮,切换至您需要配置的 SequoiaDB 数据目的地。
- 选择已有 Collection 或创建新 Collection。
- 为 Collection 指定 Collection Space(集合空间)。
- 点击字段映射按钮,进入字段映射页面进行字段映射配置。
- 完整准确的表映射是准确进行数据同步的基础,您需要谨慎操作。
- 新增同步列表中内容不会影响已有数据映射及使用已有数据映射的数据任务。 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。
配置字段映射
配置 SequoiaDB 字段映射是在界面中建立数据源表层级结构中字段与数据目的地表层级结构中的字段或数据的映射关系,建立字段或数据的映射关系后,数据才能被准确的从数据源同步至数据目的地。
关于此功能
SequoiaDB 作为数据目的地节点时,写入数据支持 BSON 数据结构,DataPipeline 将根据数据目的地字段映射的逻辑字段,自动生成一层的 BSON 结构进行写入。
操作步骤
- 点击数据映射-表映射-字段映射按钮,进入字段映射 Tab
- 针对 SequoiaDB 目的地,我们提供根据数据源表结构自动生成单层 BSON 结构的功能
- 通过高级清洗向单层 BSON 结构变量赋值
- 完成字段映射配置
- 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作。
- 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务。
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。
- NoSQL 类型数据节点的数据映射高级清洗功能与 RDBMS 类型数据节点的数据映射高级清洗功能一致,配置可参考:数据映射配置--RDBMS–配置清洗脚本。 由于 SequoiaDB 自身特性,写入数据时,SequoiaDB 会自动的为每条数据生成一个 id,详细信息可以参考 SequoiaDB 官方文档。
映射规则设置
关于此功能
通过映射规则设置的方式,让用户能够快捷地在创建映射时向数据目的地添加默认字段与默认开启高级清洗脚本,优化操作流程,减少操作难度。
操作步骤
- 点击「映射规则设置」目的地端的按钮「字段相关设置」
- 选择向目的地添加默认字段:
- 向本条数据映射所有映射的目的地集合添加默认字段。
- 当 SequoiaDB 作为数据目的地时,需填写字段名称、选择类型、选择唯一索引。
- 选择开启高级清洗脚本:
- 系统默认高级清洗为关闭状态。如果此项设置被开启,高级清洗将默认在未来新添加的数据映射中开启。hover 在字段条目上显示垃圾桶 icon,可以删除该字段。
注意事项
- 添加默认字段后,如果新映射中源表映射到目的地有同名字段,则无法保存,在目的地表的字段映射中会报错,显示「字段名称重复」。
- 映射默认配置中默认字段的添加仅对某一条数据映射生效一次;再次修改生成的默认字段并保存后不再生成新的字段。
Hive 数据节点数据映射
数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。
关于此功能
Hive 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。
◎ 表映射
- 数据映射配置--配置表映射
- Hive 源:
- 选择同步列表
- Hive 目的地:
- 选择已有表
- 创建新表
- 配置元数据配置
- 配置存储配置
◎ 字段映射
- 数据映射配置--配置字段映射
- 调整字段映射内容
- 定义写入数据结构
配置表映射
配置 Hive 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
Hive 数据节点作为源节点时,DataPipeline 支持支持单值分区表、分桶表的同步,单值分区表的分区键在 Hive 节点配置中完成。
Hive 数据节点作为目的地节点时,Hive 文件写入方式支持写入到目的地的 CSV、Parquet、Avro、ORC 类型文件,并且支持新建外部表、单值分区表。JDBC 写入方式支持将源端数据写入目的地端的 ORC 类型文件,并支持新建外部表、单值分区表、分桶表以及事务 ORC 表。
操作步骤
- 点击表映射按钮,切换至表映射 Tab。
- 点击数据源按钮,切换至您需要配置的 Hive、Inceptor 数据目的地。
- 点击选择同步列表按钮,选择数据源中您需要同步的表。 选择完成后数据目的地将会展现对应行。
- Hive 数据目的地支持新建表。
- 当写入方式为 Hive 文件写入时:
- 点击「新建外表」
- 选择数据库
- 完成「存储配置」
- 写入文件路径:必填项,填写相对路径
- 表格式定义:
- 文件格式:
- 选择CSV:需要配置字段分隔符、转义字符、文本围栏。CSV文件默认使用UTF-8编码方式。当您选择16进制ASCII码,DataPipeline在写入文件时将自动把输入的16进制ASCII码转为对应字符。
- 选择 Parquet:需要选择压缩格式
- 选择 Avro:需要选择压缩格式
- 选择 ORC:需要选择压缩格式
- 文件格式:
- 分区定义:Hive 支持定义(多层)单值分区,Hive 支持定义(多层)单值分区。您可以使用系统提供的函数与系统参数组成的表达式或者引用目的地表字段来自定义单值分区键,同时也可以引用目的地端字段名来定义范围分区键。
- 分区类型:可选择无、单值分区、范围分区
- 单值分区:点击添加,可选择表达式定义和字段定义
- 表达式定义:支持利用系统参数以及系统函数来组成表达式定义分区键
- 字段定义:支持选择目的地字段定义分区键。
- 注意:您需要先创建该表,保存字段映射中的配置,才能选择目的地字段。
- 分桶设置:
- 分桶数目:必填项
- 分桶键:支持选择目的地字段定义分桶键。
- 当写入方式为 Hive 文件写入时:
当文件格式为 CSV 时:
- HIve 字段分隔符只支持单个 ASCII 字符,不支持设置行分隔符
配置字段映射
配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。
字段映射关系配置
因在配置数据映射时可以在数据目的地选择已有表或新建表,配置字段映射也会根据表映射中所选内容而改变。
操作步骤
- 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
- 在每一行的数据目的地字段列中选择数据目的地表的字段:
- 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
- 如数据目的地没有您需要的数据表,您可以点击「创建新表」,跳转至字段映射 tab:
- 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
- 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
- 您可以修改数据目的地名称与字段属性;
- 在需要新建表的场景中,修改完字段映射后,点击创建目的地表以通过系统在数据目的地建表;
- 建表需要创建表权限;
- 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
- 通常情况下,生产环境建表需要您公司 DBA 创建表。
- 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
- 预留字段的映射没有相应的数据源字段信息;
- 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
- 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
- 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务
Hbase 数据节点数据映射
数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。
关于此功能
HBase 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。
◎ 表映射
- 选择同步列表
- 选择语义映射规则
- 选择已有表或创建新表
◎ 字段映射
- 创建新表时,系统会自动根据源表字段生成 HBase 字段映射,您可以根据需求修改列族、字段名称、类型。
注意事项:
- HBase 数据节点仅支持用作数据目的地节点。
- 您可以使用高级清洗功能设置 RowKey 和自定义预分区设置
配置表映射
配置 HBase 表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
配置数据表映射需要使用数据节点语义映射的配置内容,您可参照数据 节点策略配置--语义映射策略配置 完成该项配置。
操作步骤
- 点击基本配置。
- 点击数据目的地按钮,切换至您需要配置的 HBase 数据目的地。
- 选择「创建新表」或「选择已有表」。
- 指定表所在的命名空间。
- 点击字段映射按钮,进入字段映射页面进行字段映射配置。
注意事项
- HBase 数据节点仅支持用作数据目的地节点。
- 完整准确的表映射是准确进行数据同步的基础,您需要谨慎操作。
- 新增同步列表中内容不会影响已有数据映射及使用已有数据映射的数据任务。
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。
配置字段映射
配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。
关于此功能
因在配置数据映射时可以在数据目的地选择已有表或新建表,配置字段映射也会根据表映射中所选内容而改变。
操作步骤
- 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
- 通过高级清洗定义 rowkey 字段的生成逻辑;
- 在每一行的数据目的地字段列中选择数据目的地表的字段:
- 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
- 您可以为每一个 HBase 目的地字段分配列族
- 如数据目的地没有您需要的数据表,您可以点击「创建新表」,跳转至字段映射 tab:
- 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
- 若您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
- 您可以修改数据目的地名称与字段属性;
- 在需要新建表的场景中,修改完字段映射后,点击「创建目的地表」,系统将在数据目的地建表;
- 建表需要创建表权限;
- 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
- 通常情况下,生产环境建表需要您公司 DBA 创建表。
- 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
- 预留字段的映射没有相应的数据源字段信息;
- 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
注意事项
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务
- 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
- 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
- 字段映射中的 ROWKEY 需要通过高级清洗编辑生成逻辑赋值
文件类型数据节点数据映射
数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。
关于此功能
文件类型数据节点数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。
◎ 表映射
- 选择同步列表
- 写入文件配置
- 动态目录定义
- 新建文件大小限制
- 写入时间限制
- 创建新文件
◎ 字段映射
- 调整字段映射内容
- 定义写入数据结构
配置表映射
配置文件类型数据节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
- 文件类型数据数据节点作为源节点时,DataPipeline 支持使用参数来自定义动态目录名,将文件格式相同、文件名有一定规律的一组文件作为一个表来进行表映射,该定义在文件类型数据节点配置中完成。
- 文件类型数据节点作为目的地节点时,DataPipeline 支持使用参数来自定义生成动态目录名。支持利用系统参数以及系统函数来组成表达式定义目录名,同时也可以直接引用目的地参数来定义动态目录名。
- 文件类型数据节点作为目的地节点时,DataPipelin 支持按文件大小对文件进行切分,当用户设置了文件大小上限后,如果写入文件超出文件限制,系统将会按照文件上限生成多个文件,按照生成顺序以自增数字的形式从 1 开始添加文件名后缀 FTP 数据节点作为目的地节点时,DataPipelin 支持对文件写入时间进行限制,当用户设置了写入时间上限后,如果该批次写入时间超出写入时间上限,系统将会按照写入时间上限将读取到的数据写入文件并进入下一批次
操作步骤
- 点击表映射按钮,切换至表映射 Tab。
- 点击数据源按钮,切换至您需要配置的文件类型数据目的地。
- 点击选择同步列表按钮,选择数据源中您需要同步的文件目录。
- 选择完成后数据目的地将会展现对应行。
- 文件类型数据目的地支持新建表。 点击创建新文件,输入目的地文件目录,定义文件类型,配置相应文件类型的文件配置
- csv 文件:需要配置编码方式、字段分隔符、行分隔符、压缩格式、转义字符、文本围栏。字段分隔符与行分隔符支持指定字符串或16进制ASCII码为分隔符。当您选择16进制ASCII码,DataPipeline在写入文件时将自动把输入的16进制ASCII码转为对应字符。
- json 文件:需要配置编码方式、压缩格式 您也可以定义动态目录名,点击写入文件配置。
- 支持利用系统参数以及系统函数来组成表达式定义目录名,同时也可以直接引用目的地参数来定义动态目录名。 注意:在引用参数定义动态目录名时需要用"[$time]"。
配置字段映射
配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。
关于此功能
因在配置数据映射时可以在数据目的地选择已有表或新建表,配置字段映射也会根据表映射中所选内容而改变。
操作步骤
- 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
- 在每一行的数据目的地字段列中选择数据目的地表的字段:
- 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
- 如数据目的地没有您需要的数据表,您可以点击「创建新表」,跳转至字段映射 tab:
- 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
- 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
- 您可以修改数据目的地名称与字段属性;
- 在需要新建表的场景中,修改完字段映射后,点击创建目的地表以通过系统在数据目的地建表;
- 建表需要创建表权限;
- 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
- 通常情况下,生产环境建表需要您公司 DBA 创建表。
- 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
- 预留字段的映射没有相应的数据源字段信息;
- 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
- 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
- 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务
映射规则设置
关于此功能
通过映射规则设置的方式,让用户能够快捷地在创建映射时向数据目的地添加默认字段与默认开启高级清洗脚本,优化操作流程,减少操作难度。
操作步骤
- 点击「映射规则设置」按钮「字段相关设置」
- 选择向目的地添加默认字段:
- 向本条数据映射所有映射的目的地文件添加默认字段。
- 当文件类型数据节点(如:FTP)作为数据目的地时,需先选择文件类型。
- 选择开启高级清洗脚本:
- 系统默认高级清洗为关闭状态。如果此项设置被开启,高级清洗将默认在未来新添加的数据映射中开启。hover 在字段条目上显示垃圾桶 icon,可以删除该字段。
注意事项
- 添加默认字段后,如果新映射中源表映射到目的地有同名字段,则无法保存,在目的地表的字段映射中会报错,显示「字段名称重复」。
- 映射默认配置中默认字段的添加仅对某一条数据映射生效一次;再次修改生成的默认字段并保存后不再生成新的字段。
Hudi 数据节点数据映射
关于此功能
Hudi 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。
◎ 表映射
- 创建新表
- 配置存储配置
◎ 字段映射
- 创建新表时,系统会自动根据源表字段生成 Hudi 字段映射,您可以根据需求修改字段类型。
注意事项:
- Hudi 数据节点仅支持用作数据目的地节点。
配置表映射
配置 Hudi 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
Hudi 数据节点作为目的地节点时,Hudi Java Client 支持新建无分区表、单值分区表。支持配置表的存储路径、表存储类型、以及配置是否将数据同步到 Hive。目前可通过修改 BathPath 以及表名的方式写入已有表,但您需要确保同步数据的表结构与已有表的表结构一致。
操作步骤
- 点击表映射按钮,切换至表映射 Tab。
- 点击数据源按钮,切换至您需要配置的 Hudi 数据目的地。
- 点击选择同步列表按钮,选择数据源中您需要同步的表。选择完成后数据目的地将会展现对应行。
- Hudi 数据目的地支持新建表。
- 点击「创建新表」,系统自动将源端表名赋值到 Hudi 目的地表。
- 完成「存储配置」- 可视化配置模式
- 表存储类型:支持您配置表存储类型为“Copy On Write”或“Merge On Read”。
- BasePath:BasePath 由“根路径”,此处输入的相对路径,表名称共同组成。“根路径”为创建节点时配置的绝对路径。 此处配置为空时表示数据将存储于“节点处配置的根目录/$tablename”路径下。
- 分区设置:Hudi 支持定义(多层)单值分区。您可以使用系统提供的函数与系统参数组成的表达式或者引用目的地表字段来自定义单值分区键,同时也可以引用目的地端字段名来定义范围分区键。
- 分区类型:可选择无、单值分区
- 单值分区:点击添加,可选择表达式定义和字段定义
- 表达式定义:支持利用系统参数以及系统函数来组成表达式定义分区键。分区目录将按照您配置的分区顺序自动进行嵌套。
- 字段定义:支持选择目的地字段定义分区键。\ 注意:您需要先创建该表,保存字段映射中的配置,才能选择目的地字段。
- 参数设置:DataPipeline 支持您为每张表配置参数。\ 以下是并发写表的参数配置示例,如果您需要多个数据任务同时并发写表,则该表所在的每条映射都需要配置以下参数。
- 完成「存储配置」- SQL配置模式
- 可输入自定义SQL语句,完成存储配置
| KEY | VALUE | 说明 |
|---|---|---|
| hoodie.write.lock.provider | com.datapipeline.sink.connector.hudi.HoodieRedisLock | |
| hoodie.write.lock.redis.lock_key | xiaohu_BF_20220404 | 请配置实际 lock_key |
| hoodie.write.concurrency.mode | OPTIMISTIC_CONCURRENCY_CONTROL | |
| hoodie.cleaner.policy.failed.writes | LAZY | |
| hoodie.write.lock.client.num_retries | 5 | |
| hoodie.write.lock.wait_time_ms | 1000 | |
| hoodie.write.lock.redis.base_path | /user/xiaohu/hudi/xiaohu_BF_20220404 | 请配置实际 base_path |
| hoodie.metadata.enable | false | 当您选择 Hudi 0.11.0 版本时,必须在在数据映射-存储配置-参数设置中添加此配置,且必须置为 false |
配置字段映射
配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。
关于此功能
Hudi 目的地仅支持新建表,系统将根据默认的语义映射规则自动为您创建目的地字段与字段属性。
操作步骤
- 点击数据映射-表映射-字段映射,跳转至字段映射 tab;
- 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
- 您可以修改数据目的地名称与字段属性。
ClickHouse 数据节点数据映射
关于此功能
ClickHouse 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。
◎ 表映射
作为数据源
- 支持查看表的源数据信息:表所在的数据库、表名、注释
- 支持配置表映射关系
作为数据目的地
- 创建新表
- 指定数据库
- 存储配置
- 表引擎
- 排序键、分区建配置
- TTL配置
- 其他参数
- 选择已有表
◎ 字段映射
作为数据源
- 支持查看表的字段映射、精度、标度、NotNull 属性、主键、注释
- 支持配置字段映射关系
作为数据目的地
- 创建新表时,系统会自动根据源表字段生成 ClickHouse 字段映射,您可以根据需求修改字段类型。
配置表映射
配置 ClickHouse节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
数据表映射显示 ClickHouse 表的相关信息,如所在的虚拟集群、数据库、表名称、表的索引等。作为数据源,可配置 ClickHouse 表映射到其他目的地时的表名称、数据库、表类型等规则。在任务执行过程中,DataPipeline 根据用户配置的读取方式来采集源端数据。
ClickHouse 数据节点作为目的地节点时,支持新建表、选择已有表。支持配置新建表的表引擎、排序键、分区键、TTL与表参数。
操作步骤
手动配置映射
作为数据源
- 点击表映射按钮,切换至表映射 TAB
- 点击选择同步列表,选择需要同步的数据表,此时页面显示此表的表相关信息
- 根据目的地的支持情况,选择已有表或创建新表
- 配置“元数据配置”等配置
- 保存,完成表映射配置
作为数据目的地
- 点击表映射按钮,切换至表映射 Tab。
- 点击数据目的地按钮,切换至您需要配置的 ClickHouse 数据目的地。
- 点击选择同步列表按钮,选择数据源中您需要同步的表。选择完成后数据目的地将会展现对应行。
- ClickHouse 数据目的地支持新建表。
- 点击「创建新表」,系统自动将源端表名赋值到 ClickHouse 目的地表。
- 完成「存储配置」 - 可视化配置模式
- 表引擎:当前版本支持MergeTree、Replication MergeTree
- 排序键:选择表中字段添加为排序键
- 分区键:可选无分区键,可添加表中字段作为分区键
- TTL:表中数据的生命周期规则,选择字段进行配置,仅支持date、datetime类型
- Settings:其他表参数
- 完成「存储配置」- SQL配置模式
- 可输入自定义SQL语句,完成存储配置
注意事项
当前支持创建 Mergetree、Replication Mergetree表模型的数据表,不支持直接写入分布式表。
- DataPipeline 支持创建 ClickHouse 目的地数据表,创建表时需要指定 Sort keys(排序键),根据数据库特性,排序键不能为空。
- 当需要指定目的地表主键,主键需要设置为排序键,且位于排序键位置的前部。
- 建表操作需要注意上述配置的完整性,避免建表报错。
配置字段映射
配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。
关于此功能
ClickHouse 数据源显示字段的名称、类型、精度、标度、非空属性、主键、注释。
ClickHouse 数据目的地支持新建表、选择已有表。新建表过程中,支持对字段的名称、类型、精度、标度、非空属性、主键、注释进行编辑。
支持对字段进行表达式计算。
操作步骤
作为数据源
- 当数据源和目的地的表映射关系建立后,可进入字段映射页面
- 显示源表的所有字段名称、字段类型、精度、标度、非空属性、主键、注释信息
作为数据目的地
- 点击数据映射-表映射-新建表,跳转至字段映射 tab;
- 系统将根据已选的语义映射规则以及映射规则设置自动的为您创建目的地字段与字段属性;
- 您可以修改数据目的地名称与字段属性。
注意事项
- DataPipeline 支持创建 ClickHouse 目的地数据表,创建表时需要指定 Sort keys(排序键),根据数据库特性,排序键不能为空。
- 当需要指定目的地表主键,主键需要设置为排序键,且位于排序键位置的前部。
OSS 数据节点数据映射
数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。
关于此功能
OSS 数据节点数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。
◎ 表映射
- 选择同步列表
- 写入文件配置
- 动态目录定义
- 新建文件大小限制
- 写入时间限制
- 创建新文件
◎ 字段映射
- 调整字段映射内容
- 定义写入数据结构
配置表映射
配置 OSS 数据节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
- OSS 数据节点作为源节点时,DataPipeline 支持使用参数来自定义动态目录名,将文件格式相同、文件名有一定规律的一组文件作为一个表来进行表映射,该定义在文件类型数据节点配置中完成。
- OSS 数据节点作为目的地节点时,DataPipeline 支持使用参数来自定义生成动态目录名。支持利用系统参数以及系统函数来组成表达式定义目录名,同时也可以直接引用目的地参数来定义动态目录名。
- OSS 数据节点作为目的地节点时,DataPipelin 支持按文件大小对文件进行切分,当用户设置了文件大小上限后,如果写入文件超出文件限制,系统将会按照文件上限生成多个文件,按照生成顺序以自增数字的形式从 1 开始添加文件名后缀。OSS 数据节点作为目的地节点时,DataPipelin 支持对文件写入时间进行限制,当用户设置了写入时间上限后,如果该批次写入时间超出写入时间上限,系统将会按照写入时间上限将读取到的数据写入文件并进入下一批次。
:::color3
- OSS 数据节点作为目的地节点时,在配置同步列表前,需先在「映射规则设置」中,完成「文件相关设置」,否则直接添加表将会报错
:::
操作步骤
- 点击表映射按钮,切换至表映射 Tab。
- 点击数据源按钮,切换至您需要配置的文件类型数据目的地。
- 点击选择同步列表按钮,选择数据源中您需要同步的文件目录。
- 选择完成后数据目的地将会展现对应行。
- 文件类型数据目的地支持新建表。 点击创建新文件,输入目的地文件目录,定义文件类型,配置相应文件类型的文件配置
- csv 文件:目的地节点需要配置编码方式、字段分隔符、行分隔符、转义字符、文本围栏。
- avro 文件:目的地节点支持写入 avro 文件。需要配置压缩格式。
- parquet 文件:目的地节点支持写入 parquet 文件。需要配置压缩格式。
- 支持利用系统参数以及系统函数来组成表达式定义目录名,同时也可以直接引用目的地参数来定义动态目录名。 注意:在引用参数定义动态目录名时需要用"[$time]"
配置字段映射
配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。
操作步骤
- 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
- 点击「创建新文件」,跳转至字段映射 tab:
- 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
- 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
- 您可以修改数据目的地名称与字段属性;
- 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
- 预留字段的映射没有相应的数据源字段信息;
- 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
Elasticsearch 数据节点数据映射
关于此功能
Elasticsearch 数据节点数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。
◎ 表映射
数据映射配置-配置 Elasticsearch 数据节点表映射
- 选择同步列表
- 选择语义映射规则;
- 创建新索引;
- 选择已有索引;
◎ 字段映射
数据映射配置-配置 Elasticsearch 数据节点字段映射
- 创建新索引--调整字段映射内容
- 选择已有索引–选择字段映射
◎ 限制读取内容
数据映射配置-配置 Elasticsearch 数据节点限制读取内容
- 配置增量识别字段
配置表映射
配置 Elasticsearch 数据节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
- Elasticsearch 数据节点作为源节点时,DataPipeline 将自动读取索引类型名称。
- Elasticsearch 数据节点作为目的节点时,DataPipeline 为索引类型自动赋值为_doc。当 Elasticsearch 版本为 6.x,类型名称可编辑。当 Elasticsearch 版本为 7.x,类型名称禁止编辑。
- Elasticsearch 数据节点作为目的节点时,DataPipeline 为分片数量、副本数量自动赋值,支持手动编辑。当 Elasticsearch 版本为 6.x,分片数量默认值为 5,副本数量默认值为 1。Elasticsearch 版本为 7.x,分片数量默认值为 1,副本数量默认值为 1。
操作步骤
- 点击表映射按钮,切换至表映射 Tab。
- 点击数据源按钮,切换至您需要配置的文件类型数据目的地。
- 点击选择同步列表按钮,选择数据源中您需要同步的索引。
- 选择完成后数据目的地将会展现对应行。
配置字段映射
配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。
关于此功能
因在配置数据映射时可以在数据目的地选择已有表或新建表,配置「映射规则设置」-「字段相关设置」也会根据表映射中所选内容而改变。
操作步骤
- 点击字段映射按钮,切换至字段映射 Tab;
- 系统将根据已选的「语义映射规则」以及「映射规则设置」-「字段相关设置」自动的为您创建目的地字段与字段属性;
- 当 Elasticsearch 作为数据源和数据目的地时,字段中展示实际字段名称,以及 Elasticsearch _id。嵌套字段将拉平展示。如 一层字段名称.二层字段名称.三层字段名称。
使用说明
如何高效更新 ES 数据目的地数据?
数据源发生 update 或 delete 操作时,您可以根据实际使用场景,在以下两种数据更新方式中选择合适的更新方式。
| 更新方式 | 特点 | 配置方式 | 适用场景 |
|---|---|---|---|
| 采用页面配置的逻辑主键,根据逻辑主键数据检索 document 对应_id,再进行数据更新。 | 写入 update、delete 速度慢;_id 由 ES 自主生成 | 在字段映射指定某一字段为 ES 目的地逻辑主键 | 对更新速度要求较低,仅允许_id 由 ES 自主生成,保证_id 全局唯一性 |
| 利用 ES 写入相同_id 数据时历史数据会被新数据自动覆盖的逻辑 实现数据更新 | 写入 update、delete 速度快;_id 由用户指定 | 配置高级清洗,将数据源主键字段写入 ES _id。ES 端不配置逻辑主键。 | 数据源需要有主键,该主键字段的值多表全局唯一。 |
说明
关于 Elasticsearch 嵌套字段读取与写入:
- Elasticsearch 数据源存在嵌套字段时,数据写入目的地将拆分嵌套字段,以 M*N 形式写入。(M 为嵌套字段数据行数,N 为文档数量)
- Elasticsearch 数据目的地存在嵌套字段时,DataPipeline 会将数据还原为嵌套形式写入。
关于 Elasticsearch _id 读取与写入:
- Elasticsearch 作为数据源时,如果您不需要将 Elasticsearch _id 同步至数据目的地,不为_id 映射即可。
- Elasticsearch 作为数据目的地时,如果对应的数据源存在_id,DataPipeline 自动将 Elasticsearch 数据目的地_id 与 数据源的_id 映射 。如果 您不希望同步数据源 _id 数据到数据目的地_id,可手动删除目的地_id,由 Elasticsearch 自动为_id 数据。
- Elasticsearch 作为数据目的地时,如果对应的数据源不存在_id,DataPipeline 自动将 Elasticsearch 数据目的地生成_id。您可通过配置高级清洗将源端数据写入_id,或者手动删除目的地_id,由 Elasticsearch 自动为_id 数据。
限制读取内容
限制读取内容是对数据源中数据读取的限制配置,通常用于增量识别字段模式指定增量数据的获取。
关于此功能
DataPipeline 支持通过配置 Elasticsearch query 参数限定读取范围。目前对于 Elasticsearch 节点,DataPipeline 不支持通过 lastmax()函数获取增量数据。
操作步骤
在数据映射--表映射页面点击限制读取内容按钮;
或在数据映射--字段映射页面点击编辑读取条件,进入限制读取内容配置弹窗。
您可根据需求设置 Elasticsearch query 语句。
Hyperbase 数据节点数据映射
以下是本节中的文章:
配置 Hyperbase 数据节点表映射
配置 Hyperbase 数据节点字段映射
数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。
关于此功能
Hyperbase 数据节点数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。
◎ 表映射
- 创建新表;
- 选择已有表
◎ 字段映射
- 创建新表--调整字段映射内容
- 选择已有表–选择表
配置表映射
配置 Hyperbase 数据节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
- Hyperbase 数据节点作为目的节点时,DataPipeline 支持创建 Hpyerdrive 内表、创建 Hyperbase 内表,以及选择已有表。
- Hyperbase 数据节点作为目的节点时,您需要通过高级清洗定义 rowkey 字段的生成逻辑。
操作步骤
- 点击表映射按钮,切换至表映射 Tab。
- 选择「创建新表」或「选择已有表」
- 创建新表:
- 点击创建 Hpyerdrive 内表或创建 Hyperbase 内表按钮。
- 指定表所在的数据库。JDBC 写入方式通过 inceptor 将数据写入 Hyperbase,inceptor 的数据库与 Hyperbase 命名空间一一对应,请在此处选择表所在的 inceptor 数据库。
- 选择已有表:请选择数据库下对应的已有表。JDBC 写入方式仅支持选择内表。
配置字段映射
配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。
关于此功能
因在配置数据映射时可以在数据目的地选择已有表或新建表,配置字段映射也会根据表映射中所选内容而改变。
操作步骤
- 点击字段映射按钮,切换至字段映射 Tab;
- 通过高级清洗定义 rowkey 字段的生成逻辑;
- 在新建表的场景中
- 系统将根据默认「语义映射规则」以及「映射规则设置」-「字段相关设置」自动的为您创建目的地字段与字段属性;
- 您可根据实际情况修改字段名称与字段属性。
- 在选择已有表的场景中
- 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
- 您可以为每一个 Hyperbase 目的地字段分配列族。
说明
- 在创建新表时,您不需要手动创建 rowkey 字段。字段映射保存后,系统将自动为 Hyperbase 字段映射添加 rowkey 字段。rowkey 字段名称禁止修改,类型默认为 string。
2. 您需要在高级清洗配置 rowkey 字段写入逻辑。简单示例如下,将 column_1 字段值写入 rowkey。 1. public Map\<String, Object> process(Map\<String, Object> record) {\ record.put(":rowkey", record.get("column_1"));\ return record; 2. 请在 rowkey 字段名称前添加:,如以上示例。
Inceptor 数据节点数据映射
数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。
关于此功能
Inceptor 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。
◎ 表映射
- Inceptor 源:
- 选择同步列表
- Inceptor 目的地:
- 选择已有表
- 创建新表
- 配置存储配置
◎ 字段映射
- 调整字段映射内容
- 定义写入数据结构
配置表映射
配置 Inceptor 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
Inceptor 数据节点作为源节点时,DataPipeline 支持支持单值分区表、范围分区、分桶表的同步,单值分区表的分区键在 Inceptor 节点配置中完成。
Inceptor 数据节点作为目的地节点时,Inceptor 文件写入方式支持写入到目的地的 CSV、Parquet、Avro、ORC 类型文件,并且支持新建外部表、单值分区表、范围分区表。JDBC 写入方式选择已有表时,支持将源端数据写入目的地端的 ORC 类型文件,并且支持新建外部表、单值分区表、范围分区表、分桶表以及事务 ORC 表。JDBC 写入方式选择新建目的地表时,支持选择表的底层存储类型为 Hive、Search、Hyperbase。
操作步骤
- 点击表映射按钮,切换至表映射 Tab。
- 点击数据源按钮,切换至您需要配置的 Inceptor 数据目的地。
- 点击选择同步列表按钮,选择数据源中您需要同步的表。 选择完成后数据目的地将会展现对应行。
- Inceptor 数据目的地支持新建表。
- 当写入方式为 Inceptor 文件写入时:
- 点击「新建外表」
- 选择数据库
- 完成「存储配置」 - 可视化配置模式
- 写入文件路径:必填项,填写相对路径
- 表格式定义:
- 文件格式:
- 选择 csv:需要配置编码方式、字段分隔符、行分隔符、转义字符、文本围栏。字段分隔符与行分隔符支持指定字符串或16进制ASCII码为分隔符。当您选择16进制ASCII码,DataPipeline在写入文件时将自动把输入的16进制ASCII码转为对应字符。
- 选择 Parquet:需要选择压缩格式
- 选择 Avro:需要选择压缩格式
- 选择 ORC:需要选择压缩格式
- 文件格式:
- 分区定义:Inceptor 支持定义(多层)单值分区和(多层)范围分区,Hive 支持定义(多层)单值分区。您可以使用系统提供的函数与系统参数组成的表达式或者引用目的地表字段来自定义单值分区键,同时也可以引用目的地端字段名来定义范围分区键。
- 分区类型:可选择无、单值分区、范围分区
- 单值分区:点击添加,可选择表达式定义和字段定义
- 表达式定义:支持利用系统参数以及系统函数来组成表达式定义分区键
- 字段定义:支持选择目的地字段定义分区键。
- 注意:您需要先创建该表,保存字段映射中的配置,才能选择目的地字段。
- 范围分区:
- 分区键:支持选择目的地字段定义分区键,可添加多个分区键。
- 分区名:必填项,自定义分区名
- 分区范围:需要为每个分区键配置每个分区的分区范围,填写范围上限及下限,系统默认包含上限及下限
- 分桶设置:
- 分桶数目:必填项
- 分桶键:支持选择目的地字段定义分桶键。
- 完成「存储配置」 - SQL配置模式
- 使用自定义sql,可完成配置
- 当写入方式为 JDBC 时:
- 点击「新建内表」
- 选择数据库
- 完成「存储配置」
- 底层存储
- 选择 Hive:需要配置文件格式、压缩格式、分区类型
- 选择 Hyperbase:需要配置表类型,支持 Hyperbase 内表与 Hyperdrive 内表。
- 选择 Elasticsearch:需要配置索引分片数量、副本数量
- 底层存储
- 当写入方式为 Inceptor 文件写入时:
配置字段映射
配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。
关于此功能
因在配置数据映射时可以在数据目的地选择已有表或新建表,配置字段映射也会根据表映射中所选内容而改变。
操作步骤
- 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
- 在每一行的数据目的地字段列中选择数据目的地表的字段:
- 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
- 如数据目的地没有您需要的数据表,您可以点击「创建新表」,跳转至字段映射 tab:
- 系统将根据已选的「语义映射规则」和「映射规则设置」-「字段相关设置」自动的为您创建目的地字段与字段属性;
- 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
- 您可以修改数据目的地名称与字段属性;
- 在需要新建表的场景中,修改完字段映射后,点击创建目的地表以通过系统在数据目的地建表;
- 建表需要创建表权限;
- 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
- 通常情况下,生产环境建表需要您公司 DBA 创建表。
- 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
- 预留字段的映射没有相应的数据源字段信息;
- 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
- 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
- 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务
ArgoDB 数据节点数据映射
数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。
关于此功能
ArgoDB 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整。
◎ 表映射
- 作为数据目的地:
- 创建内表
- 选择数据库
- 定义存储配置
- 表配置
- 表类型
- 表格式定义
- 分桶配置分区配置
- 表类型
- 写入配置
- 临时外表文件写入路径
- 临时外表文件格式定义
- 表配置
- 选择已有表
- 定义存储配置(支持可视化配置模式和SQL配置模式)
- 自定义分区键
- 写入配置
- 临时外表文件写入路径
- 临时外表文件格式定义
- 定义存储配置(支持可视化配置模式和SQL配置模式)
- 创建内表
◎ 字段映射
- 调整字段映射内容
- 定义高级清洗
- 列表达式计算
配置表映射
配置 ArgoDB 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
ArgoDB 作为目的地节点时,ArgoDB 文件写入支持写入内表,暂不支持向外表写入数据。对于不同的内表引擎类型,支持情况如下表:
| 表类型 | 是否支持 |
|---|---|
| ORC 事务表 | 是 |
| ORC 非事务表 | 是 |
| HOLODESK 内表 | 是 |
| TEXTFILE 内表 | 否 |
| SEQUENCEFILE 内表 | 否 |
| RCFILE 内表 | 否 |
| PARQUET 内表 | 否 |
| HYPERDRIVE 内表 | 是 |
| HYPERBASE 内表 | 是 |
| ESDRIVE 内表 | 否 |
| SEARCH 内表 | 否 |
在任务执行过程中,DataPipeline 通过先向 HDFS 写入 CSV 文件,再将文件中的数据合并至目的地表的方式写入数据;因此,配置过程中需要对临时文件路径与临时文件格式进行定义。
操作步骤
手动配置映射
- 点击表映射按钮,切换至表映射 TAB
- 点击数据目的地按钮,切换至需要配置的 ArgoDB 目的地
- 点击选择同步列表,选择需要同步的数据表
- 选择已有数据表或创建新表
- 配置“存储配置”
- 保存,完成表映射配置
存储配置
- 点击存储配置,进入存储配置弹窗,对于不同表类型/新建表/选择已有表,配置内容不同
- 新建表
| 表类型 | 表格式定义 | 表存储位置 | 分桶配置 | 分区配置 | 表其他属性 | 写入配置 |
|---|---|---|---|---|---|---|
| ORC 事务表 | 压缩方式配置:不压缩(默认配置)、Zlib、Snappy | 可选则内表或者外表; 选择外表时需配置HDFS路径 | 分桶数目:必填分桶键:必填,支持多选 | 支持不分区或者单值分区单值分区下,支持表达式定义和字段定义两种方式来定义分区参数。(1)表达式定义指通过使用系统参数和系统函数来定义分区键参数(2)字段定义指通过指定目的地字段来定义分区键参数 | 通过KEY和VALUE的方式进行配置 | 临时外表文件写入路径:必填,相对路径,其上层路径为 ArgoDB 节点 HDFS 配置中写入根目录的路径临时表文件格式定义:如无数据冲突无需修改 |
| ORC 非事务表 | 压缩方式配置:不压缩(默认配置)、Zlib、Snappy | 可选则内表或者外表; 选择外表时需配置HDFS路径 | 分桶数目:非必填分桶键:非必填,支持多选注意:如果 Holodesk 表有 rowkey,则分桶键必须与 rowkey 一致。 | 同上 | 通过KEY和VALUE的方式进行配置 | 同上 |
| HOLODESK | 压缩方式配置:Snappy(默认配置)、Zlib、LZF、不压缩 | 仅支持内表 | 分桶数目:非必填分桶键:非必填,支持多选 | 同上 | 通过KEY和VALUE的方式进行配置 | 同上 |
| HYPERDRIVE | 无此配置 | 仅支持内表 | 分桶数目:非必填分桶键:非必填,单选 | 无此配置 | 通过KEY和VALUE的方式进行配置 | 同上 |
| HYPERBASE | 无此配置 | 通过KEY和VALUE的方式进行配置 | 分桶数目:非必填分桶键:非必填,单选 | 无此配置 | 通过KEY和VALUE的方式进行配置 | 同上 |
| TEXTFILE | 无此配置 | 仅支持外表,需配置HDFS路径和列分隔符 | 分桶数目:非必填分桶键:非必填,单选 | 仅支持单值分区配置,(1)表达式定义指通过使用系统参数和系统函数来定义分区键参数(2)字段定义指通过指定目的地字段来定义分区键参数 | 通过KEY和VALUE的方式进行配置 | 同上 |
| CSVFILE | 无此配置 | 仅支持外表,需配置HDFS路径。以及文件的编码方式、字段分隔符、行分隔符、行分隔符、文本围栏 | 分桶数目:非必填分桶键:非必填,单选 | 无此配置 | 通过KEY和VALUE的方式进行配置 | 同上 |
| ESDRIVE | 无此配置 | 仅支持内表 | 无此配置 | 无此配置 | 通过KEY和VALUE的方式进行配置 | 同上 |
- 选择已有表
- 当前页面仅展示 ArgoDB 内表和 Orc 事务表、Orc 非事务表、TEXTFILE、CSVFILE 的外表
- 暂不支持向其他类型的外表写入数据
| 表类型 | 表格式定义 | 分桶配置 | 分区配置 | 写入配置 |
|---|---|---|---|---|
| ORC 事务表 | 不可编辑 | 不可编辑 | 可编辑自定义分区键中的参数定义 | 临时外表文件写入路径:必填,相对路径,其上层路径为 ArgoDB 节点 HDFS 配置中写入根目录的路径临时表文件格式定义:如无数据冲突无需修改 |
| ORC 非事务表 | 不可编辑 | 不可编辑 | 同上 | 同上 |
| HOLODESK 内表 | 不可编辑 | 不可编辑 | 同上 | 同上 |
| HYPERDRIVE 内表 | 不可编辑 | 不可编辑 | 无此配置 | 同上 |
| HYPERBASE 内表 | 不可编辑 | 不可编辑 | 无此配置 | 同上 |
| TEXTFILE | 不可编辑 | 不可编辑 | 可编辑自定义分区键中的参数定义 | 同上 |
| CSVFILE | 不可编辑 | 不可编辑 | 无此配置 | 同上 |
映射规则设置(批量映射)
映射规则设置中,支持对数据映射进行自动映射配置,可以进行匹配已有表、创建新表、匹配优先,当不执行映射设置时可以选择不匹配表,默认选项为不匹配表。
映射规则设置中,可进行表相关设置、字段相关设置、高级清洗设置。
- 表相关设置:
- 创建新表:支持批量配置表名称创建规则、表类型、表格式定义、分桶设置、分区设置;也支持批量配置临时外表文件写入路径、临时外表文件格式定义。
- 分区设置中,仅支持通过表达式定义来定义分区
- 在分桶设置中,支持将源端主键对应的目的地字段设置为分桶键
- 匹配已有表:支持批量配置临时外表文件写入路径、临时外表文件格式定义
- 匹配优先
- 不匹配
- 创建新表:支持批量配置表名称创建规则、表类型、表格式定义、分桶设置、分区设置;也支持批量配置临时外表文件写入路径、临时外表文件格式定义。
- 字段相关设置:支持配置字段名称新建规则、字段名称匹配规则、新增字段创建规则。
- 当表相关设置中选择创建新表时,仅字段名称新建规则生效。
- 当表相关设置中选择匹配已有表时,字段名称匹配规则、新增字段创建规则。
- 高级清洗设置:支持批量为目的地表添加高级清洗
配置字段映射
配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。
关于此功能
因在配置数据映射时可以在数据目的地选择已有表或新建表,配置字段映射也会根据表映射中所选内容而改变。
操作步骤
- 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
- 在每一行的数据目的地字段列中选择数据目的地表的字段:
- 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
- 如数据目的地没有您需要的数据表,您可以点击「创建新表」,跳转至字段映射 tab:
- 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
- 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
- 您可以修改数据目的地名称与字段属性;
- 对于Holodesk、Hyperbase、Hyperdrive类型表,需要设置 Rowkey ,默认源表主键为Rowkey。建议将数据源主键或唯一索引配置为数据目的地 Rowkey。
- 在需要新建表的场景中,修改完字段映射后,点击创建目的地表以通过系统在数据目的地建表;
- 建表需要创建表权限;
- 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
- 通常情况下,生产环境建表需要您公司 DBA 创建表。
- 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
- 预留字段的映射没有相应的数据源字段信息;
- 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
注意事项
- 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
- 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务
PoalrDB-X 数据节点数据映射
数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。
关于此功能
PolarDB-X 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整。
◎ 表映射
- 作为数据目的地:
- 创建新表
- 选择数据库
- 选择字符集
- 定义索引配置
- 定义存储配置
- 选择已有表
- 创建新表
◎ 字段映射
- 调整字段映射内容
- 定义高级清洗
- 列表达式计算
配置表映射
配置 PolarDB 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。。
关于此功能
PolarDB 作为目的地节点时,支持通过创建新表或者选择数据库中存在的已有表来生成源表和目的地表的映射关系。在数据同步过程中,DataPipeline 通过连接 JDBC Driver 将数据写入目的地端。
操作步骤
手动配置映射
- 点击表映射按钮,切换至表映射 TAB
- 点击数据目的地按钮,切换至需要配置的 PolarDB 目的地
- 点击选择同步列表,选择需要同步的数据表
- 选择已有数据表或创建新表
- 配置“存储配置”
- 保存,完成表映射配置
存储设置
点击存储配置,进入存储配置弹窗,选择已有表时,无存储设置配置项;对于创建新表,配置内容如下
分库分表配置,参见 PolarDB 数据库官方文档
索引
支持配置全局二级索引和局部索引,注意由于DP并非是专业的建表工具,因此索引并未支持指定存储引擎,默认采用innoDB引擎,因此索引仅支持Btree。同时全局二级索引要求必须是分区键,详情请参考PolarDB 数据库官方文档
映射规则设置(批量映射)
映射规则设置中,支持对数据映射进行自动映射配置,可以进行匹配已有表、创建新表、匹配优先,当不执行映射设置时可以选择不匹配表。
- 表相关设置:
- 创建新表:支持批量配置表名称创建规则、匹配时是否忽略大小写
- 匹配已有表:支持配置表名称匹配规则、匹配时是否忽略大小写
- 匹配优先
- 不匹配
- 字段相关设置:支持配置字段名称新建规则、字段名称够匹配规则、新增字段创建规则、匹配过程中是否忽略大小写。
- 当表相关设置中选择创建新表时,仅字段名称新建规则生效。
- 当表相关设置中选择匹配已有表时,字段名称匹配规则、新增字段创建规则、匹配过程中是否忽略大小写生效
- 高级清洗设置:支持批量为目的地表添加高级清洗
配置字段映射
配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。
关于此功能
因在配置数据映射时可以在数据目的地选择已有表或创建新表,配置字段映射也会根据表映射中所选内容而改变。
操作步骤
- 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
- 在每一行的数据目的地字段列中选择数据目的地表的字段:
- 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
- 如数据目的地没有您需要的数据表,您可以点击「创建新表」,跳转至字段映射 tab:
- 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
- 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
- 您可以修改数据目的地名称与字段属性;
- 在需要新建表的场景中,修改完字段映射后,点击创建目的地表以通过系统在数据目的地建表;
- 建表需要创建表权限;
- 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
- 通常情况下,生产环境建表需要您公司 DBA 创建表。
- 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
- 预留字段的映射没有相应的数据源字段信息;
- 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
注意事项
- 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
- 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务
TDSQL MYSQL 数据节点数据映射
数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。
关于此功能
TDSQL MYSQL 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整。
◎ 表映射
- 作为数据目的地:
- 创建新表
- 选择数据库
- 选择字符集
- 定义索引配置
- 定义存储配置
- 选择已有表
- 创建新表
◎ 字段映射
- 调整字段映射内容
- 定义高级清洗
- 列表达式计算
配置表映射
配置 TDSQL MYSQL 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。。
关于此功能
TDSQL MYSQL 作为目的地节点时,支持通过创建新表或者选择数据库中存在的已有表来生成源表和目的地表的映射关系。在数据同步过程中,DataPipeline 通过连接 JDBC Driver 将数据写入目的地端。
操作步骤
手动配置映射
- 点击表映射按钮,切换至表映射 TAB
- 点击数据目的地按钮,切换至需要配置的 TDSQL MYSQL 目的地
- 点击选择同步列表,选择需要同步的数据表
- 选择已有数据表或创建新表
- 配置“存储配置”
- 保存,完成表映射配置
存储配置
- 点击存储配置,进入存储配置弹窗,选择已有表时,无存储配置配置项;对于创建新表和选择已有表,配置内容如下
- 集中部署
- 分区配置:分区规则及支持的字段类型,参见 TDSQL MYSQL 数据库官方文档
- 分布式部署
- 表类型
- TDSQL MYSQL分布式实例,支持创建分表(自动水平拆分的表、Shard表、一级分区表)、单表(普通表、Noshard表)、广播表。
- 支持创建 HASH 、RANGE、LIST 规则的分表
- TDSQL MYSQL 内核为MYSQL 5.7时,数据库仅支持创建 HASH规则 的分表
- 当分表规则是 HASH 规则时,分表键必须是主键和所有唯一索引的一部分。即:如果字段A被选为分表键,且其中一个唯一索引中不包含字段A,则无法创建表或者无法创建索引。
- 支持作为分表键的数据类型:
- 当分表规则为 HASH 时,支持 DATE,DATETIME,TINYINT, SMALLINT, MEDIUMINT, INT, BIGINT,CHAR,VARCHAR 类型的字段做分表键
- 当分表规则为 RANGE 或 LIST 时,支持 DATE,DATETIME,TINYINT, SMALLINT, MEDIUMINT, INT, BIGINT,CHAR,VARCHAR,TIMESTAMP 类型的字段做分表键
- 分区配置:分区规则及支持的字段类型,参见 TDSQL MYSQL 数据库官方文档
- 表类型
- 集中部署
映射规则设置(批量映射)
映射规则设置中,支持对数据映射进行自动映射配置,可以进行匹配已有表、创建新表、匹配优先,当不执行映射设置时可以选择不匹配表。
- 表相关设置:
- 创建新表:支持批量配置表名称创建规则、匹配时是否忽略大小写
- 匹配已有表:支持配置表名称匹配规则、匹配时是否忽略大小写
- 匹配优先
- 不匹配
- 字段相关设置:支持配置字段名称新建规则、字段名称够匹配规则、新增字段创建规则、匹配过程中是否忽略大小写。
- 当表相关设置中选择创建新表时,仅字段名称新建规则生效。
- 当表相关设置中选择匹配已有表时,字段名称匹配规则、新增字段创建规则、匹配过程中是否忽略大小写生效
- 高级清洗设置:支持批量为目的地表添加高级清洗
配置字段映射
配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。
关于此功能
因在配置数据映射时可以在数据目的地选择已有表或创建新表,配置字段映射也会根据表映射中所选内容而改变。
操作步骤
- 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
- 在每一行的数据目的地字段列中选择数据目的地表的字段:
- 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
- 如数据目的地没有您需要的数据表,您可以点击「创建新表」,跳转至字段映射 tab:
- 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
- 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
- 您可以修改数据目的地名称与字段属性;
- 在需要新建表的场景中,修改完字段映射后,点击创建目的地表以通过系统在数据目的地建表;
- 建表需要创建表权限;
- 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
- 通常情况下,生产环境建表需要您公司 DBA 创建表。
- 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
- 预留字段的映射没有相应的数据源字段信息;
- 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
注意事项
- 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
- 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务
StarRocks 数据节点数据映射
数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。
关于此功能
StarRocks 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整。
◎ 表映射
- 创建 OLAP 表
- 选择数据库
- 选择表数据模型
- 索引配置
- 定义存储设置 + 表配置:支持可视化配置模式和SQL配置模式 - 分桶设置 - 分区设置 - 表属性参数
- 选择已有表
- 定义存储设置
- 存储配置:不可修改
- 定义存储设置
◎ 字段映射
- 调整字段映射内容
- 定义高级清洗
- 列表达式计算
配置表映射
配置 StarRocks 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
StarRocks 作为目的地节点时,StarRocks 支持向 OLAP 表写入数据。支持在映射上配置不同的表数据模型,不同的表模型功能支持度略有差异。
在任务执行过程中,DataPipeline 通过调用 Stream Load 接口将源端数据导入到 StarRocks 中。支持在写入过程中开启事务,对于明细模型和聚合模型的表,开启事务对保证数据的最终一致性有很大帮助,但对写入性能有一定的影响。
操作步骤
手动配置映射
- 点击表映射按钮,切换至表映射 TAB
- 点击数据目的地按钮,切换至需要配置的 StarRocks 目的地
- 点击选择同步列表,选择需要同步的数据表
- 选择已有数据表或创建 OLAP 表
- 配置“存储配置”
- 保存,完成表映射配置
存储设置
- 点击存储配置,进入存储配置弹窗,对于创建 OLAP 表和选择已有表,配置内容不同
- 创建 OLAP 表
- 表配置
- 分桶配置:
- 分桶键:分桶键可以选择多个,且必须是 Key 键的一部分。分桶键有字段类型的要求,可以参考 StarRocks 官方文档或者咨询 StarRocks 官方。
- 分桶数量:支持自动分桶,也支持手动分桶。StarRocks 2.5 版本自动分桶时,需将 FE 动态参数 enable_auto_tablet_distribution 设置为 true。当分桶数量为空时,使用自动分桶数量。
- 分区配置:仅支持 Range 分区
- 分区键:仅支持 TINYINT, SMALLINT, INT, BIGINT, LARGEINT, DATE, DATETIME 类型。
- 分区范围:分区范围支持同时配置上下限,也支持仅配置上限。
- 表属性参数:是建表时的 properties 参数配置,可设置该表数据的初始存储介质 (storage_medium)、存储 降冷时间 (storage_cooldown_time) 、副本数 (replication_num)、动态分区等。具体配置项参见 StarRocks 官方文档。
- 分桶配置:
- 表配置
- 选择已有表
- 存储配置:不支持修改
- 创建 OLAP 表
映射规则设置(批量映射)
映射规则设置中,支持对数据映射进行自动映射配置,可以进行匹配已有表、创建新表、匹配优先,当不执行映射设置时可以选择不匹配表。
- 表相关设置:
- 创建新表:支持批量配置表名称创建规则、表数据模型、表属性参数;也支持批量配置是否开启事务
- 匹配已有表:支持配置表名称匹配规则、匹配时是否忽略大小写、是否开启事务
- 匹配优先
- 不匹配
- 字段相关设置:支持配置字段名称新建规则、字段名称够匹配规则、新增字段创建规则、匹配过程中是否忽略大小写。
- 当表相关设置中选择创建新表时,仅字段名称新建规则生效。
- 当表相关设置中选择匹配已有表时,字段名称匹配规则、新增字段创建规则、匹配过程中是否忽略大小写生效
- 高级清洗设置:支持批量为目的地表添加高级清洗
配置字段映射
配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。
关于此功能
因在配置数据映射时可以在数据目的地选择已有表或创建 OLAP 表,配置字段映射也会根据表映射中所选内容而改变。
操作步骤
- 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
- 在每一行的数据目的地字段列中选择数据目的地表的字段:
- 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
- Key列的元数据变化:刷新元数据时,支持识别 Key 顺序的 diff,在任一 Key上应用 diff 即可。
- 如数据目的地没有您需要的数据表,您可以点击「创建 OLAP 表」,跳转至字段映射 tab:
- 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
- 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
- 您可以修改数据目的地名称与字段属性;
- Key列的排序:您的点击顺序将会被用做 Key 的顺序
- Key 列的 Not Null 属性
- 主键模型下,Key 列必须非空,字段指定为 Key 列默认勾选 Not Null 属性,不支持取消。字段取消设置为 Key 列,不取消 Not Null 选择。
- 更新模型、明细模型、聚合模型下,Key 列允许为空,字段设置为 Key 列,默认不勾选 Not Null。
- 对于聚合模型的表,需要为每个字段指定聚合类型,不同聚合类型支持的字段类型如下:
- 支持的聚合类型
- SUM:求和,当字段类型为 TINYINT、SMALLINT、INT、BIGINT、LARGEINT、DECIMAL、DOUBLE、FLOAT时,此选项可选,其他字段类型下,此选项不可选。
- MAX:取最大值,当字段类型为 TINYINT、SMALLINT、INT、BIGINT、LARGEINT、DECIMAL、DOUBLE、FLOAT、CHAR、STRING、VARCHAR、DATE、DATETIME时,此选项可选
- MIN:取最小值,当字段类型为 TINYINT、SMALLINT、INT、BIGINT、LARGEINT、DECIMAL、DOUBLE、FLOAT、CHAR、STRING、VARCHAR、DATE、DATETIME时,此选项可选
- REPLACE:值替换,当字段类型非 HLL 和 BITMAP时,可选此项
- REPLACE_IF_NOT_NULL:仅对非空值替换,当字段类型非 HLL 和 BITMAP时,可选此项
- HLL 类型列:聚合类型固定显示为 HLL_UNION
- BITMAP 类型的列:固定显示为 BITMAP_UNION,注意仅支持数值类型的聚合。
- 当字段被设置为 Key 列时,不能指定聚合类型
- 支持的聚合类型
- 对于 HLL、BITMAP 两种字段类型,在写入目的地时,需指定值转换函数。
- 字段类型为 HLL,支持的值转换函数为 HLL_HASH
- 字段类型为 BITMAP,支持的值转换函数为 TO_BITMAP(默认值)、BITMAP_HASH
- 在需要新建表的场景中,修改完字段映射后,点击创建目的地表以通过系统在数据目的地建表;
- 建表需要创建表权限;
- 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
- 通常情况下,生产环境建表需要您公司 DBA 创建表。
- 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
- 预留字段的映射没有相应的数据源字段信息;
- 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
注意事项
- 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作
- 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务
Pamion 数据节点数据映射
数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多源异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。
关于此功能
Paimon 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本,可对数据映射进行更加特异化的调整。
◎ 表映射
- 作为数据目的地:
- 创建内表
- 表数据模型:下拉选择
- 主键表(默认值)
- 追加表
- 存储配置:下文介绍
- 元数据配置:注释
- 操作
- 字段映射
- 多对一关系
- 高级清洗入口
- 删除目的地表映射
- 选择数据库
- 表数据模型:下拉选择
- 选择已有表
- 创建内表
◎ 字段映射
- 调整字段映射内容
- 定义高级清洗
- 列表达式计算
配置表映射
配置 Paimon 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
Paimon 作为目的地节点时,Paimon 支持向内表写入数据。支持在映射上配置不同的表数据模型,不同的表模型功能支持度略有差异。
在任务执行过程中,DataPipeline 通过 Paimon Java API 在 HDFS 上创建 Paimon Catalog,并将数据写入到 HDFS 中。
操作步骤
手动配置映射
- 点击表映射按钮,切换至表映射 TAB
- 点击数据目的地按钮,切换至需要配置的 Paimon 目的地
- 点击选择同步列表,选择需要同步的数据表
- 选择已有表或创建内表
- 配置“存储配置”
- 保存,完成表映射配置
存储配置
- 点击存储配置,进入存储配置弹窗,对于创建内表和选择已有表,配置内容不同
- 创建内表
- 数据合并引擎,仅主键表有此配置项
- 存储文件格式
- ORC(默认值)
- PARQUET
- AVRO
- 定义分区配置
- 是否分区
- 默认关闭
- 支持用户开启,开启后,分区键必填。
- 分区键:
- 分区键选项为 Paimon 目的地字段。
- 支持添加多个分区键,支持删除任意一个分区键,当仅剩最后一个分区键时,不可删除。
- 分区键:
- 是否分区
- 分桶配置
- 分桶键,非必选。支持添加多个分桶键,支持删除任意一个分桶键。
- 分桶数量,非必填
- 参数设置:支持填写 Paimon 创建表时支持指定的所有参数
- 选择已有表
- 配置字段映射
- 创建内表
映射规则设置(批量映射)
映射规则设置中,支持对数据映射进行自动映射配置,可以进行匹配已有表、创建新表、匹配优先,当不执行映射设置时可以选择不匹配表。
- 表相关设置:
- 创建新表:支持批量配置表类型、数据合并引擎、存储文件类型、参数设置、表名称创建规则
- 匹配已有表:支持配置表名称匹配规则、匹配时是否忽略大小写
- 匹配优先
- 不匹配
- 字段相关设置:支持配置字段名称新建规则、字段名称够匹配规则、新增字段创建规则、匹配过程中是否忽略大小写。
- 当表相关设置中选择创建新表时,仅字段名称新建规则生效。
- 当表相关设置中选择匹配已有表时,字段名称匹配规则、新增字段创建规则、匹配过程中是否忽略大小写生效。
- 高级清洗设置:支持批量为目的地表添加高级清洗
配置字段映射
配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确地从数据源同步至数据目的地。
关于此功能
因在配置数据映射时可以在数据目的地选择已有表或创建内表,配置字段映射也会根据表映射中所选内容而改变。
操作步骤
- 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
- 在每一行的数据目的地字段列中选择数据目的地表的字段:
- 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
- 如数据目的地没有您需要的数据表,您可以点击「创建内表」,跳转至字段映射 tab:
- 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
- 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
- 您可以修改数据目的地名称与字段属性;
- 在需要新建表的场景中,修改完字段映射后,点击创建目的地表以通过系统在数据目的地建表;
- 建表需要 HDFS 目录文件的写入权限;
- 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
- 通常情况下,生产环境建表需要您公司 DBA 创建表。
- 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
- 预留字段的映射没有相应的数据源字段信息;
- 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
注意事项
- 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作。
- 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务。
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。
Gbase 8a 数据节点数据映射
数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。
关于此功能
GBase 8a 数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本键,可对数据映射进行更加特异化的调整。
◎ 表映射
- 作为数据源:
- 支持查看表的源数据信息:表所在的虚拟集群名、数据库、表名、索引、注释
- 支持配置表映射关系
- 作为数据目的地:
- 创建新表
- 选择数据库
- 索引配置
- 存储配置
- 定义分布列
- 定义分区
- 定义文件配置(仅文件写入方式定义此配置)
- 注释
- 选择已有表
- 创建新表
◎ 字段映射
- 作为数据源
- 支持查看表的字段映射、精度、标度、NotNull 属性、主键、注释
- 支持配置字段映射关系
- 作为数据目的地
- 调整字段映射内容
- 定义高级清洗
- 列表达式计算
配置表映射
配置 GBase 8a 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
Gbase 8a 作为数据源节点时,支持通过 JDBC 方式从 Gbase 8a 中采集全量数据和增量数据,数据表映射显示 Gbase 8a 表的相关信息,如所在的虚拟集群、数据库、表名称、表的索引等。可配置 Gbase 8a 表映射到其他目的地时的表名称、数据库、表类型等规则。在任务执行过程中,DataPipeline 根据用户配置的读取方式来采集源端数据。
GBase 8a 作为目的地节点时,GBase 8a 支持向行存表和列存表写入数据。
操作步骤
手动配置映射
作为数据源
- 点击表映射按钮,切换至表映射 TAB
- 点击选择同步列表,选择需要同步的数据表,此时页面显示此表的表相关信息
- 设置读取条件、全量并发分区规则
- 根据目的地的支持情况,选择已有表或创建新表
- 配置“存储设置”等配置
- 保存,完成表映射配置
作为数据目的地
- 点击表映射按钮,切换至表映射 TAB
- 点击数据目的地按钮,切换至需要配置的 GBase 8a 目的地
- 点击选择同步列表,选择需要同步的数据表
- 选择已有数据表或创建新表
- 配置“存储设置”
- 保存,完成表映射配置
写入配置
- 点击存储配置,进入存储配置弹窗,对于文件写入和 JDBC 写入,配置内容略有不同
- 创建新表
- 数据分布方式:定义分布列,点击加号选择分布列
- 定义分区配置:点击卡关开启分区配置,具体配置方法咨询 GBase 8a 官方
- 定义文件配置(仅文件写入方式定义此配置):
- HDFS 文件写入路径 :必填,此路径为相对于数据节点配置的写入目录的相对路径
- HDFS 文件格式定义:
- 文件格式:CSV
- 编码方式:固定显示为 UTF-8,不可修改
- 字段分隔符:必选,默认值 逗号
- 行分隔符:必选,默认值 换行
- 转义字符:固定显示为 \,置灰不可修改
- 文本围栏:必填,默认值 "。
- 注意
- 文本围栏请选择实际数据中不存在的字符,否则有数据异常风险。
- 文本围栏仅支持单个字符,不支持多字符文本围栏。
- 注意
- 选择已有表
- 定义文件配置(仅文件写入方式定义此配置),具体内容同上
- 创建新表
映射规则设置(批量映射)
映射规则设置中,支持对数据映射进行自动映射配置,可以进行匹配已有表、创建新表、匹配优先,当不执行映射设置时可以选择不匹配表。
- 表相关设置:
- 创建新表:支持批量配置表名称创建规则、写入规则
- 匹配已有表:支持配置表名称匹配规则、写入规则
- 匹配优先
- 不匹配
- 字段相关设置:支持配置字段名称新建规则、字段名称够匹配规则、新增字段创建规则、匹配过程中是否忽略大小写。\ 当表相关设置中选择创建新表时,仅字段名称新建规则生效。\ 当表相关设置中选择匹配已有表时,字段名称匹配规则、新增字段创建规则、匹配过程中是否忽略大小写生效
- 高级清洗设置:支持批量为目的地表添加高级清洗
配置字段映射
配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。
关于此功能
在配置数据映射时可以将数据源的字段映射至数据目的地,数据目的地可以选择已有表或创建新表,配置字段映射也会根据表映射中所选内容而改变。
操作步骤
作为数据源:
- 当数据源和目的地的表映射关系建立后,可进入字段映射页面
- 显示源表的所有字段名称、字段类型、精度、标度、非空属性、主键、注释信息
作为数据目的地:
- 点击数据映射-表映射-选择已有表,跳转至字段映射 tab;
- 在每一行的数据目的地字段列中选择数据目的地表的字段:
- 您可以为每一个数据源字段选择一个匹配的数据目的地字段;
- 如数据目的地没有您需要的数据表,您可以点击「创建新表」,跳转至字段映射 tab:
- 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
- 如您对数据目的地表进行了更改,可以点击刷新表按钮刷新目的地表结构;
- 您可以修改数据目的地名称与字段属性;
- 您可以定义目的地表的主键
- 在需要新建表的场景中,修改完字段映射后,点击创建目的地表以通过系统在数据目的地建表;
- 建表需要创建表权限;
- 系统提供导出建表语句功能,您可在创建目的地表弹窗点击导出建表语句按钮以导出建表语句;
- 通常情况下,生产环境建表需要您公司 DBA 创建表。
- 在配置数据目的地字段映射过程中,可以为清洗脚本输出的数据预留字段。
- 预留字段的映射没有相应的数据源字段信息;
- 预留字段字段名称需与清洗脚本输出数据的 scheme 中的列名称保持一致。
注意事项
- 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作。
- 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务。
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。
Doris/SelectDB 数据节点数据映射
数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。
关于此功能
Doris/SelectDB数据映射功能分为表映射和字段映射两个部分,通过数据结构定义与数据清洗脚本、列表达式计算,可对数据映射进行更加特异化的调整。
◎ 表映射
- 创建 OLAP 表
- 选择数据库
- 选择表数据模型 + 聚合模型 + 更新模型 + 明细模型
- 索引配置
- 存储配置 + 表配置 - 分区分桶设置 - 表属性参数
- 选择已有表
◎ 字段映射
- 调整字段映射内容
- 定义高级清洗
- 列表达式计算
Kafka 数据节点数据映射
数据映射配置是将数据源数据与数据目的地数据关联起来的步骤,是 DataPipeline 产品支持多元异构场景的核心,通过图形化的配置,您可以轻松地建立不同数据节点之间的数据映射,来为数据任务的运行做准备。
关于此功能
Kafka 数据映射功能分为表映射和字段映射两个部分,通过页面化配置定义STRING序列化器结构、高级清洗定义Avro序列化器结构,可对数据映射进行更加特异化的调整,我们将分两部分介绍数据映射。
◎ 表映射
- 作为数据源:
- 选择同步列表
- 选择语义映射规则
- 配置映射设置规则
- 作为数据目的地:
- 创建新Topic
- 选择已有Topic
- 存储配置
- 消息体结构配置(当数据格式为String时支持定义Key、Value的消息体结构)
- 分区策略配置
- 高级清洗
- 对数据进行清洗处理
- 定义Avro序列化器的数据结构
◎ 字段映射
- Kafka 数据节点作为数据源时,数据映射配置不支持行级别限制读取内容。
- 当配置 Kafka 数据节点数据映射时,可能需要使用清洗脚本对半结构化/非结构化数据进行解析,或对数据进行清洗处理,结构转换写入数据目的地;清洗脚本的功能使用同 RDBMS 类型数据节点清洗脚本,详见数据映射配置-配置清洗脚本。
配置表映射
配置 Kafka 节点表映射是在界面中建立数据源表层级结构与数据目的地表层级结构的映射关系,建立表层级结构映射关系后,才能对其中具体数据内容、数据字段映射进行配置,以完成映射配置。
关于此功能
- Kafka数据节点作为数据源或数据目的地时,数据往往是半结构化的,存储数据格式通常包含JSON、Avro等
- DataPipeline数据采集组件读取半结构化数据后,需要对数据进行解析,提取数据元素;数据加载组件写入半结构化数据时,需要指定写入数据结构
- Kafka数据节点中,存储的数据是经序列化后的数据,读取该部分数据时,需要对数据进行反序列化,反序列化过程将使用您在数据节点配置中选择的序列化/反序列化器;同样的,在写入Kafka数据节点时,需要对数据进行序列化,当选择已有Topic时,序列化过程将使用您在节点配置中选择的序列化/反序列化器;当新建Topic时,支持您为该Topic配置序列化器。
- 通常情况下,Kafka Topic 中Key与Value都可以写入数据,配置序列化器/反序列化器也是根据每个Topic的Key、Value进行区分。
- 在向Kafka数据节点写入数据过程中,当数据格式为JSON或String时,DataPipeline可以帮助您使用页面定义写入数据结构。您也可以使用清洗脚本功能,使用代码逻辑定义写入数据结构。当数据格式为Avro时,仅支持通过清洗脚本定义写入数据结构。
操作步骤-作为数据源节点
- 选择需要同步的Topic。
- 确认该Topic的序列化器配置是否正确。
- 注:Kafka数据源的序列化器设置可以在数据节点详情页面修改。
- 点击字段映射按钮,进入字段映射页面,确认Avro结构解析是否正确(如有)。
- 如Avro结构未正常解析,请检查序列化器配置、Schema Registry 连接配置是否正确,并检查Topic中是否有数据,Schema Registry中是否已注册该Topic的结构数据。
- 配置目的地映射。
操作步骤-作为数据目的地节点
- 点击表映射按钮,切换至表映射Tab。
- 点击数据目的地节点,切换至您需要配置的Kafka数据目的地。
- 添加目的地Topic。
- 创建新Topic:点击 创建新Topic。
- 输入Topic名称。Topic命名规则请参考官方指导:3-64个字符,仅允许包含英文,数字,"."," _","-",至少包含一个英文或数字。
- 输入分区数。请注意分区数量应小于broker数量。
- 输入副本数。请注意副本数量应小于broker数量。
- 选择Key序列化器、Value序列化器,Key与Value的序列化器仅支持选择相同的序列化器。
- 选择已有Topic:点击 选择已有Topic。
- 在Topic列表中选择数据写入的Topic。
- 您可以通过点击“刷新”按钮获取当前最新Topic列表。
- 创建新Topic:点击 创建新Topic。
- 配置存储配置
- 点击 存储配置 按钮,为Topic配置 分区策略、Producer参数、消息体结构、Topic参数。
- 消息体结构配置:当Kafka序列化器为Confluent Kafka String时,支持以页面图形化方式为Topic配置消息格式。
- 配置Key数据写入格式
- Key值默认写入数据源主键或唯一索引字段。
- 默认写入主键字段,当主键字段不存在将写入唯一索引字段。
- 您可根据实际业务场景重新定义 Key 数据结构,在 Key 中引用源表字段或采集元数据、系统元数据。
- 当样例数据符合 JSON 格式时,选择变量名称,变量将自动追加到样例数据。
- 您可通过勾选字段变量参数、采集元数据参数、系统元数据参数 配置参数写入。支持您在编辑器中对写入数据及数据格式进行编辑。
- 当数据写入格式为Json时,点击 JSON格式校验,将校验数据是否符合JSON格式。
- 点击 恢复默认,将恢复为Key的默认值。
- 查看右侧”样例数据“展示,查看Key的数据格式。
- 当您写入kafka目的地的数据需要以主键或表名称,或其他内容为分区依据时,需要配置key值。您可以通过存储配置-消息体结构配置中定义key值:勾选系统提供的字段,查看样例数据是否符合需求。
- Key值默认写入数据源主键或唯一索引字段。
- 配置Value数据写入格式
- 选择数据写入格式。
- Oracle GoldenGate格式:DataPieline支持将数据组织为Oracle GoldenGate标准格式写入数据目的地。
- 数据写入格式默认为Oracle GoldenGate格式。
- 默认仅写入after数据(即发生变更后的数据)。您可通过勾选配置将要写入的参数。
- 参数说明:
- before:表示更新前数据。当前支持采集以下数据节点的更新前数据:ORACLE、MySQL、GoldenDB、PostgreSQL、DB2、OceanBase、Gbase8c、GaussDB(for openguass)。当用户需要使用DB2的更新前数据时,需要先开启采集before数据的参数。开启后将对新建任务采集数据生效。当历史任务需要采集DB2更新前参数时,请先暂停数据任务,通过调用接口方式修改采集before数据的参数。具体配置请查看《部署前指南》。
- op_ts:当数据源读取方式为日志读取时,将写入数据源日志记录的数据提交时间。当数据源读取方式为JDBC时,将写入DataPipeline采集数据源数据的时间。
- current_ts:写入DataPipeline采集数据源数据的时间
- 开启「value 内容分层写入 Topic」开关,DataPipeline 写入 after 数据第一层为「after」,第二层为 after value。如果同时写入 before 数据,则 before 数据第一层为「before」,第二层为 before value。
- Debezium格式:DataPieline支持将数据组织为Debezium标准格式写入数据目的地。
- 选择 Debezium格式。
- 默认写入全部数据。您可通过勾选配置将要写入的参数。
- 参数说明:
- before数据:表示更新前数据。当前支持采集以下数据节点的更新前数据:ORACLE、MySQL、GoldenDB、PostgreSQL、DB2、OceanBase、Gbase8c、GaussDB(for openguass)。当用户需要使用DB2的更新前数据时,需要先开启采集before数据的参数。开启后将对新建任务采集数据生效。当历史任务需要采集DB2更新前参数时,请先暂停数据任务,通过调用接口方式修改采集before数据的参数。具体配置请查看《部署前指南》。
- ts_ms:写入DataPipeline采集数据源数据的时间。
- source.ts_ms:数据源日志记录的数据提交时间
- 自定义格式:支持自定义编辑写入的数据格式。
- 您可通过勾选字段变量参数、采集元数据参数、系统元数据参数 配置参数写入。支持您在编辑器中对写入数据及数据格式进行编辑。
- 当数据写入格式为Json时,点击 JSON格式校验,将校验数据是否符合JSON格式。
- 点击 恢复默认,将恢复为数据源全部字段。
- Oracle GoldenGate格式:DataPieline支持将数据组织为Oracle GoldenGate标准格式写入数据目的地。
- 查看右侧”样例数据“展示,查看Value的数据格式。
- 选择数据写入格式。
- 配置Key数据写入格式
- 当写入Topic为“创建新Topic”时,请点击“创建目的地表”,对目的地Topic进行创建。
- 手动点击“创建新topic”生成的Topic,或选择已有Topic
注意事项
- 完整准确的表映射是准确进行数据同步的基础,您需要谨慎操作。
- 新增同步列表中内容不会影响已有数据映射及使用已有数据映射的数据任务。
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。
- 写入Kafka Topic时,如您设置了消息key的值,程序将按照key值做hash,将数据写入所有目的地Topic分区;如您未设置消息的key值,程序将使用round robin方式轮询写入数据至所有分区。
配置字段映射
配置Kafka字段映射是在界面中建立数据源表层级结构中字段与数据目的地表层级结构中的字段或数据的映射关系,建立字段或数据的映射关系后,数据才能被准确的从数据源同步至数据目的地。
关于此功能
- Kafka数据节点作为数据源或数据目的地时,数据往往是半结构化的,存储数据格式通常包含JSON、Avro等
- DataPipeline数据采集组件读取半结构化数据后,需要对数据进行解析,提取数据元素;数据加载组件写入半结构化数据时,需要指定写入数据结构
- Kafka数据节点中,存储的数据是经序列化后的数据,读取该部分数据时,需要对数据进行反序列化,反序列化过程将使用您在数据节点配置中选择的序列化/反序列化器;同样的,在写入Kafka数据节点时,需要对数据进行序列化,序列化过程将使用您在节点配置中选择的序列化/反序列化器。
- 通常情况下,Kafka Topic 中Key与Value都可以写入数据,配置序列化器/反序列化器也是根据每个Topic的Key、Value进行区分。
- 在向Kafka数据节点写入数据过程中,DataPipeline可以帮助您使用页面定义写入数据结构,您也可以使用清洗脚本功能,使用代码逻辑定义写入数据结构。
操作步骤
Kafka数据源字段映射配置
- 点击数据映射-表映射-字段映射按钮,进入字段映射Tab。
- 当该Topic的Key、Value序列化器为String,源端字段列表默认为Key、Value两个实际字段。
- 1.字段映射与目的地字段的连线即代表该字段内容将被映射至目的地对应字段。
- 当该Topic的Key、Value序列化器中有任一为Avro。
- 1.DataPipeline将会对序列化器为Avro的Key或Value进行数据解析,程序会自行解析第一层半结构化数据并展示,字段名为“Key或Value”+“_”+"Avro结构中解析的字段名"。
Kafka数据目的地字段映射配置
- 点击数据映射-表映射-字段映射按钮,进入字段映射Tab。
- 数据源字段信息将会自动映射至目的地端。
注意事项
- 完整准确的字段映射是准确进行数据同步的基础,您需要谨慎操作。
- 新增同步列表中内容不会影响已有数据映射,与使用已有数据映射的数据任务。
- 修改表映射关系会影响使用该映射的相关数据任务,修改后相关数据任务将被暂停,需要您手动启动任务。
- 当前版本Kafka目的地写入Avro数据需要使用清洗脚本对数据结构进行定义。