版本:v4.19
配置清洗脚本
清洗脚本是系统提供的在数据同步过程中,用于复杂数据处理场景的工具,清洗脚本需要在字段映射配置中添加高级清洗字段功能一并使用。
关于此功能
我们支持使用 java 语言编写清洗脚本,通过自定义清洗脚本,您可以实现时间数据格式处理,添加 DML 标识和简单合并计算数据等功能。
操作步骤
◎ 编写与保存清洗脚本
- 点击清洗脚本图标按钮,进入清洗脚本编辑弹窗;
- 使用 Java 语言编写清洗脚本;
- 点击存入脚本库,保存已编辑内容。
◎ 样例数据与试运行
样例数据指从数据源中获取后,经系统处理,待写入数据目的地的数据。
样例数据的获取逻辑如下:
首先创建一个并发数为 1 的独立虚拟业务,(如果是 Kafka,则取第一个 partition),任务按照全量+增量的同步方式,从表的首行或者第一个 partition 的 earliest 作为读取起点,以 1000 为 size 大小全量抓取第一个 fetch。如果数据充足,大于需要展示的个数,则展示前 M 个。如果数据不足,则进入增量同步模式,当增量获取数据大于要求展示的个数停止,或者连续 20s 无新增数据停止,随后按照需要展示所抓取到的数据。
试运行指使用已编辑的清洗脚本测试处理样例数据。
- 在清洗脚本编辑弹窗,点击获取样例数据,可以根据筛选条件获取当前表的样例数据;
- 样例数据为 Json 格式;
- 点击试运行即使用上方编写好的清洗脚本,对数据进行处理:
- 清洗后的数据将打印在试运行窗口内;
- 任务运行过程中,清洗脚本输出的数据会被写入至数据目的地;
- 我们会根据清洗脚本输出数据中的字段名称与目的地表的字段名称做对比,完全一致的会进行写入;
- 您可以通过对比样例数据与试运行的输出数据进行对比,判断清洗脚本是否存在处理逻辑错误。
提示
注意表映射配置高级清洗时,其映射关系和赋值全部由高级清洗完成。因此在高级清洗中,会负责对映射关系进行重建,并做转换处理和赋值。因此为了减少一定程度的工作量,赋值的逻辑如下:
- 高级清洗脚本里指定赋值逻辑的,就按照转换逻辑处理
- 高级清洗里未指定的,会按照名称匹配,目的地的字段会按照名称去源端匹配相同名称的字段
- 如果匹配上,就走直接赋值的逻辑
- 如果未匹配上,则不赋值,以null写到目的地,若目的地有默认值,则实际查看到的是默认值,若无默认值,则为null。
◎ 使用脚本库
脚本库指包含系统预置与用户保存脚本的文件。
- 点击脚本库按钮进入脚本库选择弹窗;
- 输入脚本库名称可以搜索脚本库;
- 选择脚本库列表中的脚本或默认模板中的脚本;
- 选择完成后脚本将被替换至清洗脚本编辑框;
- 系统默认模板及使用方法介绍详见清洗脚本配置样例。
警告
- 清洗脚本处理程序会调用 sink 端服务器来进行数据计算,根据计算逻辑的复杂程度占用部分服务器资源。
- 系统中任务运行资源占用模式为争抢模式,清洗脚本的运行同样包含在任务运行的范畴内,资源配置及程序资源使用说明详见数据任务配置-资源组配置。