跳到主要内容
版本:v5.6

系统配置默认值

通过“系统配置默认值设置” 可以修改DataPipeline 数据融合产品中的配置选项的默认值。

关于此功能

当前版本的系统配置默认值包括“节点配置”,“映射配置“,“任务配置”

配置分类 Ⅰ配置分类 Ⅱ配置名称
节点配置策略配置语义映射策略
检查点策略
缓存策略
预警策略
日志策略
映射配置基础配置数据映射
策略配置结构变化策略
日志策略
任务配置限制配置读取限制
写入限制
策略配置订阅策略
执行超时策略
数据加载策略
索引同步策略
缓存策略
自动重启策略
错误队列策略
监控策略
预警策略
日志策略

节点配置-语义映射配置特别说明

提示
  • 语义映射共有三个层级
    • 系统层:系统默认的节点类型到节点类型的语义映射策略,用户自定义配置的语义映射将会在新建的节点上生成一条默认语义映射
    • 节点层:该节点作为数据源时,对一种数据目的地类型 - 版本的语义映射策略
    • 映射层:节点 A 到节点 B 的语义映射策略
  • 用户在系统设置中新增一条语义映射配置后,当用户新增此类数据源节点时,需默认生成一条语义映射规则。
    • 仅显示与当前源节点版本相匹配的字段类型、索引
    • 此规则默认命名:
      • 命名:默认规则。当节点有表模型或者表类型的区分时,加表模型后缀,如默认规则-主键模型
      • 支持修改
    • 此规则默认开启,支持用户关闭和删除
  • 若在系统设置中配置了语义映射,则升级后,需在节点中添加所有版本的语义映射。有些目的地节点除了版本外会区分表模型等,那么,需为每个版本的所有表模型添加默认语义映射。仅默认添加两层,即 mn,当存在第三层时(mn*p),程序不自动添加默认语义映射,需用户手动添加。

默认映射中带精度标度的字段类型一般情况下会与数据源字段的精度标度相同,部分数据库会根据字符特性做特殊处理。

  • 多条相同的数据源类型的语义映射条件,系统将会按照从上至下的顺序进行映射。

映射配置-基础配置-Kafka 目的地节点配置说明

映射配置-基础配置支持定义kafka目的地节点「写入设置」及新建Topic的参数。

配置内容与数据任务Kafka目的地配置参数相同,详见《配置 Kafka 数据节点表映射》章节。

当您在”系统配置默认值“中配置kafka目的地基础配置参数后,有以下两类参数会应用此配置:

  • 新建kafka目的地数据映射后,”映射设置“参数会应用系统配置默认值。(注:通过”映射设置“生成的映射,其参数将应用”映射设置“参数。)
  • 在数据映射手动点击”创建新Topic”、“选择已有Topic”生成的映射,“写入设置”的参数以及新建Topic的参数会应用系统配置默认值。
信息

应用场景:

当您需要为kafka目的地的参数配置统一的默认值时,可以在”系统配置默认值“/”映射配置-基础配置“配置该参数。如统一配置新建Topic分区数量、副本数量,配置Topic Value的消息体结构。

操作步骤

  1. 在“系统设置”页面,点击“系统参数及默认值”,点击“系统配置默认值”TAB
  2. 修改节点配置-语义映射配置
    1. 切换数据源与数据目的地类型,配置一对数据源到目的地的语义映射
    2. 可点击查看该数据源类型至目的地类型的全部类型映射默认值
  3. 修改映射默认配置
  4. 修改任务默认配置
  5. 保存配置
信息

保存的配置将对新创建的数据节点、数据映射、数据任务生效