版本:v4.18
用户自定义参数
关于此功能
系统参数影响部分后台功能逻辑,用户可自定义系统级参数,将用户自定义参数应用于文件系统读取路径,满足调度传参场景。

定义参数
- 参数名称:用于在其他地方引用参数时使用的。全局唯一
- 参数描述:从业务上对于参数进行必要的说明
- 参数赋值方式/来源:
- 如上图参数赋值来源有内部赋值和外部赋值。
- 其中外部赋值分为API赋值和节点赋值
- 当选择API赋值时,值类型仅有字符串,用户需要定义API接口。具体的值,是由每次get/post时获取到的
- 当选择节点赋值时,值类型也是字符串,这里需要定义节点,库, 表,字段,注意这里无法指定具体哪一行,因此建议该表只有一行,如果有多行时,通常情况下,会取该列的最小值。但是有时候可能会存在偏差。不推荐选择有多行的表。
- 内部赋值这里有系统赋值和人工赋值两种,分别在不同的应用场景使用。这里统一为表达式赋值。
- 当选择表达式定义的方式赋值时:
- 数字,需要定义数字格式和自增规律
- 时间,需要定义时间格式和时间的自增规则
- 随机字符串
- 不同的参数类型,在表达式定义时又有format可以定义。
- 当选择表达式定义的方式赋值时:
- 其中外部赋值分为API赋值和节点赋值
- 如上图参数赋值来源有内部赋值和外部赋值。
| 赋值方式 | 参数类型 | 参数格式 | 参数规则 | 应用场景 |
|---|---|---|---|---|
| API赋值 | 字符串 | 无要求 | 无要求 | 1. 文件路径定义(通常为路径的静态部分) 2. 批次完成标识(通常为路径的静态部分) 注意:如果每次获取的值不一样的话,则会变更路径 |
| 节点赋值 | 字符串 | 无要求 | 无要求 | 1. 文件路径定义(通常为路径的静态部分) 2. 批次完成标识(通常为路径的静态部分) 注意:如果每次获取的值不一样的话,则会变更路径 |
| 表达式定义 | 数字 | JAVA 分隔符输入数字格式 | 自增1 | 1. 文件路径定义(通常为动态路径)--文件类型节点作为源时,需要指定起点,实现增量读取 2. 批次完成标识 |
| 时间 | ISO 8601格式 | 按最小时间单位,每个批次自增1 | 1. 文件路径定义(通常为动态路径--任务中指定该参数的起点,实现增量读取 2. 批次完成标识 | |
| 当前系统时间 | 1. 预警信息-自定义字段 2. 批次完成标识 | |||
| 当前系统时间+规则 | 批次完成标识 | |||
| 标准Unxi时间戳 | 当前系统时间 | 预警信息-自定义字段 | ||
| 扩展Unix时间戳 | 当前系统时间 | 预警信息-自定义字段 | ||
| 随机字符串 | 定义位数 | 随机生成 | 预警信息-自定义字段 |
外部赋值的主要应用场景:
外部赋值,即参数的值是客观获取获得的。不因系统和用户定义来决定。因此外部赋值的方式,更加关注的是,这个值存储在哪,如何获取,主要的应用场景:在开发环境和生产环境中,有可能文件存储路径是不一样的,可以通过定义自定义参数。这样无需修改映射和任务,只需要从开发环境到生产环境迁移时,修改参数的赋值或者修改参数的取值数据源,即可直接平滑上线到生产环境。这样可以将路径的修改移动到第三方,业务应用将更加灵活。
内部赋值--表达式定义
相较于外部赋值,内部赋值,关注的主要是参数的值的生成逻辑。因此这里可以看到需要关注的是参数的类型和不同参数类型的format,以及计算规则。
操作步骤
添加参数
- 在系统设置-系统参数及默认值-系统参数页面,点击添加参数按钮
- 输入参数名称与参数描述
- 选择参数类型
- 表达式定义
- API赋值
- 节点赋值
- 表达式定义类型参数定义
- 数字格式:支持用Java数字格式化的方式定义,常见的格式如:
- %d表示实际长度的十进制整型数据
- %04d表示在前面补0的至少四位的十进制整型数据,如:0001、0002、0003...
- 时间格式:支持用yyyy表示年份,MM表示月份,dd表示天,HH表示时,mm表示分,ss表示秒。中间允许使用’-‘以及来分隔,如:yyyy-MM-dd-HH-mm-ss。不支持冒号':'、空格' '、斜线'/'、反斜线’\’
- 随机数:生成的随机数,可配置随机数位数
- 数字格式:支持用Java数字格式化的方式定义,常见的格式如:
- API赋值
- 支持POST、GET方法
- API返回内容不会做解析
- 可以通过定时设置定时向API获取内容,默认值每1分钟获取一次,同时支持CRON表达式配置更新频率
- 节点赋值
- 点击“选择节点/库/表/字段”按钮
- 根据引导选择数据节点、库表/实体、字段
- 修改定时更新设置,默认值每1分钟获取一次,同时支持CRON表达式配置更新频率
- 保存参数
删除参数
- 在系统设置-系统参数及默认值-系统参数页面,点击删除按钮
- 确认删除
如参数被数据任务、节点、链路使用,删除参数可能导致无法解析引用的参数,参数被引用为常量
修改参数
- 在系统设置-系统参数及默认值-系统参数页面,点击修改按钮
- 修改配置
- 保存
注:修改的参数配置在下次手动或自动获取参数后,参数值才会实际生效,修改完成请获取参数值
支持从数据节点选择字段的节点列表。
| 节点类型 | 是否支持 |
|---|---|
| Oracle | 支持 |
| MySQL | 支持 |
| MS SQL Server | 支持 |
| PostgreSQL | 支持 |
| Kafka | 不支持 |
| IBM Db2 | 支持 |
| HashData | 支持 |
| MongoDB | 不支持 |
| OceanBase | 支持 |
| TiDB | 支持 |
| TeleDB | 支持 |
| AWS RDS for PostgreSQL | 不支持 |
| Maxcompute | 不支持 |
| 达梦 | 支持 |
| FTP | 不支持 |
| SFTP | 不支持 |
| HDFS | 不支持 |
| 阿里云 OSS | 不支持 |
| Hive | 不支持 |
| Inceptor | 不支持 |
| API | 不支持 |
| Elasticsearch | 不支持 |
| 自定义 | 不支持 |
| 偶数 DB(4.17版本下线) | 不支持 |
| GaussDB (旧称为GaussDB(for openGauss)) | 支持 |
| PolarDB-X | 支持 |
| GoldenDB | 支持 |
| DB2 for i (AS/400) | 支持 |
| ArgoDB | 不支持 |
| Vastbase | 支持 |
| Gbase 8c | 支持 |
| Gbase 8s | 支持 |
| Gbase 8a | 支持 |
| ClickHouse | 支持 |
| MogDB | 支持 |
| Doris/SelectDB | 支持 |
| TDSQL MySQL | 支持 |
| ELK(计划下线) | 不支持 |
| StarRocks | 支持 |
| TDSQL PostgreSQL | 支持 |
| Greenplum | 支持 |
| GaussDB DWS | 支持 |
| TelePG | 支持 |
| Amazon Redshift | 不支持 |
| AnalyticDB PostgreSQL | 支持 |
| Hologres | 支持 |
| AnalyticDB for MySQL | 不支持 |
| Open Gauss | 支持 |