跳到主要内容
版本:v5.6

用户自定义参数

关于此功能​

系统参数影响部分后台功能逻辑,用户可自定义系统级参数,将用户自定义参数应用于文件系统读取路径,满足调度传参场景。

画板

定义参数​

  • 参数名称:用于在其他地方引用参数时使用的。全局唯一
  • 参数描述:从业务上对于参数进行必要的说明
  • 参数赋值方式/来源:
    • 如上图参数赋值来源有内部赋值和外部赋值。
      • 其中外部赋值分为API赋值和节点赋值
        • 当选择API赋值时,值类型仅有字符串,用户需要定义API接口。具体的值,是由每次get/post时获取到的
        • 当选择节点赋值时,值类型也是字符串,这里需要定义节点,库, 表,字段,注意这里无法指定具体哪一行,因此建议该表只有一行,如果有多行时,通常情况下,会取该列的最小值。但是有时候可能会存在偏差。不推荐选择有多行的表。
      • 内部赋值这里有系统赋值和人工赋值两种,分别在不同的应用场景使用。这里统一为表达式赋值。
        • 当选择表达式定义的方式赋值时:
          • 数字,需要定义数字格式和自增规律
          • 时间,需要定义时间格式和时间的自增规则
          • 随机字符串
        • 不同的参数类型,在表达式定义时又有format可以定义。
赋值方式参数类型参数格式参数规则应用场景
API赋值字符串无要求无要求1. 文件路径定义(通常为路径的静态部分)
2. 批次完成标识(通常为路径的静态部分)
注意:如果每次获取的值不一样的话,则会变更路径
节点赋值字符串无要求无要求1. 文件路径定义(通常为路径的静态部分)
2. 批次完成标识(通常为路径的静态部分)
注意:如果每次获取的值不一样的话,则会变更路径
表达式定义数字JAVA 分隔符输入数字格式自增11. 文件路径定义(通常为动态路径)--文件类型节点作为源时,需要指定起点,实现增量读取
2. 批次完成标识
时间ISO 8601格式按最小时间单位,每个批次自增11. 文件路径定义(通常为动态路径--任务中指定该参数的起点,实现增量读取
2. 批次完成标识
当前系统时间1. 预警信息-自定义字段
2. 批次完成标识
当前系统时间+规则批次完成标识
标准Unxi时间戳当前系统时间预警信息-自定义字段
扩展Unix时间戳当前系统时间预警信息-自定义字段
随机字符串定义位数随机生成预警信息-自定义字段

外部赋值的主要应用场景:​

外部赋值,即参数的值是客观获取获得的。不因系统和用户定义来决定。因此外部赋值的方式,更加关注的是,这个值存储在哪,如何获取,主要的应用场景:在开发环境和生产环境中,有可能文件存储路径是不一样的,可以通过定义自定义参数。这样无需修改映射和任务,只需要从开发环境到生产环境迁移时,修改参数的赋值或者修改参数的取值数据源,即可直接平滑上线到生产环境。这样可以将路径的修改移动到第三方,业务应用将更加灵活。

内部赋值--表达式定义​

相较于外部赋值,内部赋值,关注的主要是参数的值的生成逻辑。因此这里可以看到需要关注的是参数的类型和不同参数类型的format,以及计算规则。

操作步骤​

添加参数​

  1. 在系统设置-系统参数及默认值-系统参数页面,点击添加参数按钮
  2. 输入参数名称与参数描述
  3. 选择参数类型
    1. 表达式定义
    2. API赋值
    3. 节点赋值
  4. 表达式定义类型参数定义
    1. 数字格式:支持用Java数字格式化的方式定义,常见的格式如:
      • %d表示实际长度的十进制整型数据
      • %04d表示在前面补0的至少四位的十进制整型数据,如:0001、0002、0003...
    2. 时间格式:支持用yyyy表示年份,MM表示月份,dd表示天,HH表示时,mm表示分,ss表示秒。中间允许使用’-‘以及来分隔,如:yyyy-MM-dd-HH-mm-ss。不支持冒号':'、空格' '、斜线'/'、反斜线’\’
    3. 随机数:生成的随机数,可配置随机数位数
  5. API赋值
    1. 支持POST、GET方法
    2. API返回内容不会做解析
    3. 可以通过定时设置定时向API获取内容,默认值每1分钟获取一次,同时支持CRON表达式配置更新频率
  6. 节点赋值
    1. 点击“选择节点/库/表/字段”按钮
    2. 根据引导选择数据节点、库表/实体、字段
    3. 修改定时更新设置,默认值每1分钟获取一次,同时支持CRON表达式配置更新频率
  7. 保存参数

删除参数​

  1. 在系统设置-系统参数及默认值-系统参数页面,点击删除按钮
  2. 确认删除

如参数被数据任务、节点、链路使用,删除参数可能导致无法解析引用的参数,参数被引用为常量

修改参数​

  1. 在系统设置-系统参数及默认值-系统参数页面,点击修改按钮
  2. 修改配置
  3. 保存

注:修改的参数配置在下次手动或自动获取参数后,参数值才会实际生效,修改完成请获取参数值

支持从数据节点选择字段的节点列表。

节点类型是否支持
Oracle支持
MySQL支持
MS SQL Server支持
PostgreSQL支持
Kafka不支持
IBM Db2支持
HashData支持
MongoDB不支持
OceanBase支持
TiDB支持
TeleDB支持
AWS RDS for PostgreSQL不支持
Maxcompute不支持
达梦支持
FTP不支持
SFTP不支持
HDFS不支持
阿里云 OSS不支持
Hive不支持
Inceptor不支持
API不支持
Elasticsearch不支持
自定义不支持
偶数 DB(4.17版本下线)不支持
GaussDB
(旧称为GaussDB(for openGauss))
支持
PolarDB-X支持
GoldenDB支持
DB2 for i (AS/400)支持
ArgoDB不支持
Vastbase支持
Gbase 8c支持
Gbase 8s支持
Gbase 8a支持
ClickHouse支持
MogDB支持
Doris/SelectDB支持
TDSQL MySQL支持
ELK(计划下线)不支持
StarRocks支持
TDSQL PostgreSQL支持
Greenplum支持
GaussDB DWS支持
TelePG支持
Amazon Redshift不支持
AnalyticDB PostgreSQL支持
Hologres支持
AnalyticDB for MySQL不支持
Open Gauss支持