跳到主要内容
版本:v4.10

配置 Elasticsearch 数据节点字段映射

配置字段映射是在界面中建立数据源表中字段与数据目的地表中字段的映射关系,建立字段映射关系后,数据才能被准确的从数据源同步至数据目的地。

关于此功能​

因在配置数据映射时可以在数据目的地选择已有表或新建表,配置字段映射也会根据表映射中所选内容而改变。

操作步骤​

  1. 点击字段映射按钮,切换至字段映射 Tab;
  2. 系统将根据已选的语义映射规则自动的为您创建目的地字段与字段属性;
    1. 当 Elasticsearch 作为数据源和数据目的地时,字段中展示实际字段名称,以及 Elasticsearch _id。嵌套字段将拉平展示。如 一层字段名称.二层字段名称.三层字段名称。

使用说明

如何高效更新 ES 数据目的地数据?

数据源发生 update 或 delete 操作时,您可以根据实际使用场景,在以下两种数据更新方式中选择合适的更新方式。

更新方式特点配置方式适用场景
采用页面配置的逻辑主键,根据逻辑主键数据检索 document 对应_id,再进行数据更新。写入 update、delete 速度慢;_id 由 ES 自主生成在字段映射指定某一字段为 ES 目的地逻辑主键对更新速度要求较低,仅允许_id 由 ES 自主生成,保证_id 全局唯一性
利用 ES 写入相同_id 数据时历史数据会被新数据自动覆盖的逻辑 实现数据更新写入 update、delete 速度快;_id 由用户指定配置高级清洗,将数据源主键字段写入 ES _id。ES 端不配置逻辑主键。数据源需要有主键,该主键字段的值多表全局唯一。

说明​

关于 Elasticsearch 嵌套字段读取与写入:

  1. Elasticsearch 数据源存在嵌套字段时,数据写入目的地将拆分嵌套字段,以 M*N 形式写入。(M 为嵌套字段数据行数,N 为文档数量)
  2. Elasticsearch 数据目的地存在嵌套字段时,DataPipeline 会将数据还原为嵌套形式写入。

关于 Elasticsearch _id 读取与写入:

  1. Elasticsearch 作为数据源时,如果您不需要将 Elasticsearch _id 同步至数据目的地,不为_id 映射即可。
  2. Elasticsearch 作为数据目的地时,如果对应的数据源存在_id,DataPipeline 自动将 Elasticsearch 数据目的地_id 与 数据源的_id 映射 。如果 您不希望同步数据源 _id 数据到数据目的地_id,可手动删除目的地_id,由 Elasticsearch 自动为_id 数据。
  3. Elasticsearch 作为数据目的地时,如果对应的数据源不存在_id,DataPipeline 自动将 Elasticsearch 数据目的地生成_id。您可通过配置高级清洗将源端数据写入_id,或者手动删除目的地_id,由 Elasticsearch 自动为_id 数据。