跳到主要内容
版本:v4.10

表达式计算

在字段映射-目的地字段配置中,可以使用表达式计算引用或计算数据值,赋值给目的地字段,同步至目的地。

关于此功能​

可引用的表达式元素包括:

  • 数据源表字段
    • 数据源表字段是数据源表的字段,包含字段名称、字段类型信息
  • 采集元数据
    • 指采集增量数据过程中的元数据信息
字段名称字段释义数据类型
DP_M_SOURCE_SCHEMA数据源SchemaSTRING
DP_M_SOURCE_TABLE_NAME数据源表名称STRING
DP_M_SOURCE_COLUMN_NAME数据源字段名称STRING
DP_M_SOURCE_COLUMN_DATATYPE数据源字段类型STRING
DP_C_STREAM_POSITION根据数据源不同,采用SCN、LSN、Binlog Position等值STRING
DP_C_TIMESTAMP数据变更的时间戳,通常使用日志时间NUMBER
DP_C_COMMIT_TIMESTAMP该条数据所属的事务提交的时间戳NUMBER
DP_C_OPERATION操作类型,包括“I”、“U”、“D”STRING
  • DataPipeline 系统元数据
    • 指 DP 系统中的配置的元数据信息
字段名称字段释义数据类型
DP_S_START_TIME任务激活时间NUMBER
DP_S_RELOAD_TIME重新同步时间NUMBER
DP_S_SOURCE_NODE_NAME源节点名STRING
DP_S_TARGET_NODE_NAME目的地节点名STRING
DP_S_TASK_NAME任务名STRING
  • 操作符
    • 操作符使用逻辑类似 SQL 语言操作符,您可以在编辑区域内直接使用。
字段名称字段释义
IN同SQL 操作符IN
LIKE模糊查找
CASE分条件值处理样例1:WHEN when 2 then monthwhen 1 then month end
REGEXP正则匹配
AND表示“且”
OR表示“或”
<<按位左移。x << n将 x 向左移动 n 位。
>>按位右移。 x >> n 将 x 向右移动 n 位。
<小于
<=小于等于
>大于
>=大于等于
==等于
-减
%使用除法表达式的余数作为值。 %SALARY/7(将 Salary 列的值除以 7,并将表达式的余数用作列值)。
/除
*乘
  • 功能/函数
函数名返回类型参数列表计算逻辑
length(x)NUMBERx:STRING计算x的长度
like(x,y)BOOLEANx:STRINGy:STRING判断x字符串中是否包含模式yy支持的通配符:1、"_"代表匹配1个任意字符,常用于充当占位符;2、"%"代表匹配0个或多个任意字符。
typeof(x)STRINGx:任意类型返回存储x解析后的数据类型, 可能的值:STRING, NUMBER, BOOLEAN, ARRAY, BYTE_ARRAY, DATE, NULL
dateToStr(x, y)STRINGx:DATEy:STRING返回x经过y格式化之后的字符串y支持的模式字符:yyyy:年MM:月dd:日hh:1~12小时制(1-12)HH:24小时制(0-23)mm:分ss:秒S:毫秒E:星期几D:一年中的第几天F:一月中的第几个星期(会把这个月总共过的天数除以7)w:一年中的第几个星期W:一月中的第几星期(会根据实际情况来算)a:上下午标识k:和HH差不多,表示一天24小时制(1-24)K:和hh差不多,表示一天12小时制(0-11)z:表示时区
strToDate(x, y)DATEx:STRINGy:STRING把符合y格式的字符串x转为DATE类型y支持的模式字符同函数 dateToStr(x, y)
numToDate(x)DATEx:NUMBER把时间戳数值转为日期
currentTime()DATE返回当前时间
ifnull(x,y)x:任意类型y:任意类型返回x,y 中不为 null 的数据, 类型与不空的数据一致,如果x,y都为 null 则返回 null,如果都不空则返回第一个
nullif(x,y)x:任意类型y:任意类型如果参数不同,则函数返回其第一个参数的副本,如果参数相同,则返回 NULL
coalesce(x,y...)x,y :任意类型,个数必须大于1返回第一个不为null的参数值,全为null 则返回 null
max(x,y...)NUMBERx,y:NUMBER, 个数必须大于1返回最大值
min(x,y...)NUMBERx,y:NUMBER, 个数必须大于1返回最小值
random()NUMBER介于 -9223372036854775808 和 +9223372036854775807 之间的伪随机整数
round(x,y)NUMBERx,y:NUMBER返回x精确到y位的四舍五入值,y 为整数
hex(x)STRINGx:NUMBER把数字x转为对应的十六进制字符串
abs(x)NUMBERx:NUMBER返回x的绝对值

操作步骤​

  1. 在字段映射页面,点击“Fx”按钮,进入表达式计算页面
  2. 输入表达式
    1. 可用自动补全与自动格式帮助提升编码效率
  3. 编辑或获取样例数据
    1. 您可以抽取数据源的一条数据或手动输入样例数据,将样例数据作为表达式试运行的样例,以此校验运行结果是否正确
  4. 点击试运行
    1. 在表达式编辑过程中,系统会根据您输入的内容进行自动补全; 编辑框提供“自动格式”、“清除内容”、“保存脚本”功能; 点击试运行,系统会解析您的表达式语句,并处理样例数据并返回结果,如您的表达式输入不正确,系统会提示错误。
  5. 验证运行结果
  6. 激活表达式
  7. 保存配置

表达式计算的逻辑作用于高级清洗之前,旨在通过更加简单的类SQL语言处理数据,代替部分高级清洗功能;
表达式计算与高级清洗可同时使用;