版本:v3.7
字段映射表达式计算
在字段映射-目的地字段配置中,可以使用表达式计算引用或计算数据值,赋值给目的地字段,同步至目的地。
关于此功能
可引用的表达式元素包括:
- 数据源表字段
- 数据源表字段是数据源表的字段,包含字段名称、字段类型信息
- 采集元数据
- 指采集增量数据过程中的元数据信息
| 字段名称 | 字段释义 | 数据类型 |
|---|---|---|
| DP_M_SOURCE_SCHEMA | 数据源Schema | STRING |
| DP_M_SOURCE_TABLE_NAME | 数据源表名称 | STRING |
| DP_M_SOURCE_COLUMN_NAME | 数据源字段名称 | STRING |
| DP_M_SOURCE_COLUMN_DATATYPE | 数据源字段类型 | STRING |
| DP_C_STREAM_POSITION | 根据数据源不同,采用SCN、LSN、Binlog Position等值 | STRING |
| DP_C_TIMESTAMP | 数据变更的时间戳,通常使用日志时间 | NUMBER |
| DP_C_COMMIT_TIMESTAMP | 该条数据所属的事务提交的时间戳 | NUMBER |
| DP_C_OPERATION | 操作类型,包括“I”、“U”、“D” | STRING |
- DataPipeline 系统元数据
- 指 DP 系统中的配置的元数据信息
| 字段名称 | 字段释义 | 数据类型 |
|---|---|---|
| DP_S_START_TIME | 任务激活时间 | NUMBER |
| DP_S_RELOAD_TIME | 重新同步时间 | NUMBER |
| DP_S_SOURCE_NODE_NAME | 源节点名 | STRING |
| DP_S_TARGET_NODE_NAME | 目的地节点名 | STRING |
| DP_S_TASK_NAME | 任务名 | STRING |
- 操作符
- 操作符使用逻辑类似 SQL 语言操作符,您可以在编辑区域内直接使用。
| 字段名称 | 字段释义 |
|---|---|
| IN | 同SQL 操作符IN |
| LIKE | 模糊查找 |
| CASE | 分条件值处理样例1:WHEN when 2 then monthwhen 1 then month end |
| REGEXP | 正则匹配 |
| AND | 表示“且” |
| OR | 表示“或” |
| << | 按位左移。x << n将 x 向左移动 n 位。 |
| >> | 按位右移。 x >> n 将 x 向右移动 n 位。 |
| < | 小于 |
| <= | 小于等于 |
| > | 大于 |
| >= | 大于等于 |
| == | 等于 |
| - | 减 |
| % | 使用除法表达式的余数作为值。 %SALARY/7(将 Salary 列的值除以 7,并将表达式的余数用作列值)。 |
| / | 除 |
| * | 乘 |
- 功能/函数
| 函数名 | 返回类型 | 参数列表 | 计算逻辑 |
|---|---|---|---|
| length(x) | NUMBER | x:STRING | 计算x的长度 |
| like(x,y) | BOOLEAN | x:STRINGy:STRING | 判断x字符串中是否包含模式yy支持的通配符:1、"_"代表匹配1个任意字符,常用于充当占位符;2、"%"代表匹配0个或多个任意字符。 |
| typeof(x) | STRING | x:任意类型 | 返回存储x解析后的数据类型, 可能的值:STRING, NUMBER, BOOLEAN, ARRAY, BYTE_ARRAY, DATE, NULL |
| dateToStr(x, y) | STRING | x:DATEy:STRING | 返回x经过y格式化之后的字符串y支持的模式字符:yyyy:年MM:月dd:日hh:1~12小时制(1-12)HH:24小时制(0-23)mm:分ss:秒S:毫秒E:星期几D:一年中的第几天F:一月中的第几个星期(会把这个月总共过的天数除以7)w:一年中的第几个星期W:一月中的第几星期(会根据实际情况来算)a:上下午标识k:和HH差不多,表示一天24小时制(1-24)K:和hh差不多,表示一天12小时制(0-11)z:表示时区 |
| strToDate(x, y) | DATE | x:STRINGy:STRING | 把符合y格式的字符串x转为DATE类型y支持的模式字符同函数 dateToStr(x, y) |
| numToDate(x) | DATE | x:NUMBER | 把时间戳数值转为日期 |
| currentTime() | DATE | 返回当前时间 | |
| ifnull(x,y) | x:任意类型y:任意类型 | 返回x,y 中不为 null 的数据, 类型与不空的数据一致,如果x,y都为 null 则返回 null,如果都不空则返回第一个 | |
| nullif(x,y) | x:任意类型y:任意类型 | 如果参数不同,则函数返回其第一个参数的副本,如果参数相同,则返回 NULL | |
| coalesce(x,y...) | x,y :任意类型,个数必须大于1 | 返回第一个不为null的参数值,全为null 则返回 null | |
| max(x,y...) | NUMBER | x,y:NUMBER, 个数必须大于1 | 返回最大值 |
| min(x,y...) | NUMBER | x,y:NUMBER, 个数必须大于1 | 返回最小值 |
| random() | NUMBER | 介于 -9223372036854775808 和 +9223372036854775807 之间的伪随机整数 | |
| round(x,y) | NUMBER | x,y:NUMBER | 返回x精确到y位的四舍五入值,y 为整数 |
| hex(x) | STRING | x:NUMBER | 把数字x转为对应的十六进制字符串 |
| abs(x) | NUMBER | x:NUMBER | 返回x的绝对值 |
操作步骤
- 在字段映射页面,点击“Fx”按钮,进入表达式计算页面
- 输入表达式
- 可用自动补全与自动格式帮助提升编码效率
- 编辑或获取样例数据
- 您可以抽取数据源的一条数据或手动输入样例数据,将样例数据作为表达式试运行的样例,以此校验运行结果是否正确
- 点击试运行
- 在表达式编辑过程中,系统会根据您输入的内容进行自动补全; 编辑框提供“自动格式”、“清除内容”、“保存脚本”功能; 点击试运行,系统会解析您的表达式语句,并处理样例数据并返回结果,如您的表达式输入不正确,系统会提示错误。
- 验证运行结果
- 激活表达式
- 保存配置
表达式计算的逻辑作用于高级清洗之前,旨在通过更加简单的类SQL语言处理数据,代替部分高级清洗功能;\ 表达式计算与高级清洗可同时使用;