跳到主要内容
版本:v4.16

项目分组

关于此功能​

项目分组是一个管理概念,往往在企业内部会根据职能或者业务范围对节点进行分组,并且进行授权。方便用户可以快速的查看到自己有权限的节点。

对于该功能有几部分的处理:

  • 取消了项目上的权限,项目对于所有的用户均可见。项目里的节点上的权限决定用户是否可以看到。
  • 对于项目的操作,增加了创建,编辑,删除三个操作,这三个权限仅管理员可以操作。这将更加贴合企业内部管理的场景。
  • 项目组,增加默认分组设置。节点在创建时,可以选择项目组,这样更加直观。而不是靠原有的默认逻辑,在哪里创建就在哪个分组里。降低了用户的使用门槛。
  • 如果删除了某个分组,该分组里的节点将自动移动到默认分组里,如果删除的分组就是默认分组,则转到系统创建的未分组里。
  • 优化了移动分组功能。在卡片和列表页均支持移动,并且将功能显性展示。

操作步骤​

列表及卡片页均增加了分组的展示以及分组的操作。

创建新的节点时,增加了项目组的设置。并且默认值为默认分组。

添加数据节点

关于此功能​

新增数据节点的时候,您需要配置节点的基本信息,包括数据节点,定义节点的名称、描述、类型以及该类型节点的连接配置项等信息。点击新建节点弹窗的顶端「查看配置规则」可以查看不同数据节点的配置要求,包括数据节点的版本要求、权限要求和其他要求。

操作步骤​

1.在数据节点列表页点击「新建数据节点」按钮,弹出新增数据节点弹窗。首先配置数据节点的名称、描述和类型。

  • 名称:是该节点在系统的唯一标识。
  • 描述:您可添加描述信息,例如描述节点功能便于使用。
  • 类型:在已支持的数据节点类型中选择,支持的数据节点类型与版本详见1.2 支持的数据源与数据目的地 。
  1. 当用户选择数据节点类型之后,我们会根据用户选择的不同类型数据节点显示不同的配置模板。详细配置请参考各个节点的配置说明。

3.配置完相关类型节点的连接配置项之后,点击「保存」按钮,跳转到该数据节点详情界面。

可用性校验

关于此功能​

可用性校验提供数据库连接校验和权限校验的功能。您可以通过可用性校验同时实现连接验证和权限验证,即同时测试数据库能否连接成功以及数据库权限校验是否通过,以获得支持/可用的连接模式信息(读取模式+写入模式统称)。

操作步骤​

  1. 您可以在节点的基本配置中点击「可用性校验」按钮进行可用性校验。校验结果将记入日志。
  2. 校验将先检测数据库连接情况。数据库连接成功后,进入权限验证;数据库如连接失败,将提示您数据库连接失败,不进入权限验证。 当校验时间超过 3 分钟,将以弹窗形式提示您「节点可用性校验超时,请重新操作。」校验结果除了「超时」的状态以外均用右上角提示窗展示。
  3. 可用性校验后,连接模式将显示哪些读取模式和写入模式可用。
  4. 您也可以在完成节点基本配置后,通过保存后的提示弹窗进行上述可用性校验流程。(如果您在配置节点后已进行了可用性校验,后立即保存,将不弹出是否进行可用性校验提示弹窗。)

◎ 连接验证

  • 数据库连接验证失败的两种情况:
    • 节点未找到服务器,请检查服务器地址和端口或用户名
    • 节点用户名或密码输入有误,请重新输入

◎ 权限验证

  • 权限验证失败的两种情况:
    • 执行 SQL 语句失败,权限验证失败
    • 执行 SQL 语句成功,权限缺失,权限验证失败
  • 具体权限信息:
节点类型连接模式用户权限执行的SQL语句执行SQL失败的结果提示执行SQL成功,权限缺失的结果提示
MySQL获取版本信息获取DB版本信息select version()数据库连接成功,获取数据库版本信息失败!
JDBC-读取模式相关视图和表的 select 权限SHOW GRANTS数据库连接成功,获取权限信息查询失败 – 检查缺失权限失败!数据库连接成功,权限验证失败,缺少权限:SELECT
数据库连接成功,权限验证失败,缺少权限:REPLICATION SLAVE, REPLICATION CLIENT
MySQLBINLOG-读取模式相关视图和表的 select 权限, replication slave, replication client版本校验大于8数据库连接成功,该版本不支持binlog
SHOW VARIABLES LIKE 'log_bin'数据库连接成功,获取参数log_bin失败 – 缺少SELECT权限!数据库连接成功,权限验证失败,未开启log_bin=on
SHOW VARIABLES LIKE 'binlog_format'数据库连接成功,获取参数binlog_format失败 – 缺少SELECT权限!数据库连接成功,权限验证失败,未开启binlog_format=row
JDBC-写入模式SELECT 权限, CREATE OBJECT 权限, ALTER/ INSERT / UPDATE / DELETE TABLE;SHOW GRANTS数据库连接成功,获取权限信息查询失败 – 缺少SELECT权限数据库连接成功,权限验证失败,缺少权限:ALTER,DELETE,CREATE,UPDATE,INSERT
Oracle获取版本信息获取DB版本信息SELECT DISTINCT VERSION FROM product_component_version数据库连接成功,获取数据库版本信息查询失败!
JDBC-读取模式相关视图和表的 select 权限null
DataPipeline Oracle采集代理-读取模式需要DBA权限; agent的web控制台需要sysdba的角色用户url请求:getTopicPrefix数据库连接成功,备端状态获取失败!数据库连接成功,权限验证失败:请求系统信息失败
数据库连接成功,权限验证失败:Oracle采集代理目的地端已经绑定了另一个topic前缀
SELECT supplemental_log_data_min,supplemental_log_data_all FROM v$database数据库连接成功,检查logminer log level失败!数据库连接成功,权限验证失败: supplemental_log_data_min,supplemental_log_data_all
select * from v$locked_object where rownum = 1数据库连接成功,Oracle采集代理获取查询v$locked_object权限失败
select * from dba_objects where rownum = 1数据库连接成功,Oracle采集代理获取查询dba_objects失败
select * from v$database where rownum = 1
数据库连接成功,Oracle采集代理获取查询v$database失败
LogMiner-读取模式select any transaction, logmining, execute on dbms_logmnr_d, execute on dbms_logmnr, execute on dbms_flashback, create session, resource, select any dictionary, flashck any table, execute_catalog_role, 以及相关视图和表的 select 权限非SQL校验数据库连接成功,权限验证失败:该版本不支持Logminer
SELECT GRANTED_ROLE FROM USER_ROLE_PRIVSnull数据库连接成功,缺少权限: EXECUTE_CATALOG_ROLE
SELECT PRIVILEGE FROM user_sys_privs数据库连接成功,权限验证失败,缺少权限:user_sys_privs
SELECT table_name FROM user_tab_privs u WHERE u.privilege='EXECUTE'数据库连接成功,权限验证失败,缺少权限:user_tab_privs
SELECT LOG_MODE FROM v$database数据库连接成功,检查log_mode失败!数据库连接成功,权限验证失败:LOG_MODE不是ARCHIVELOG
SELECT supplemental_log_data_min,supplemental_log_data_all FROM v$database数据库连接成功,检查logminer log level失败!数据库连接成功,权限验证失败: supplemental_log_data_min,supplemental_log_data_all
SELECT name FROM v$archived_log WHERE STATUS = 'A' %s AND rownum=1 ORDER BY name DESC AND name is NOT NULL数据库连接成功,检查v$archived_log失败!数据库连接成功,权限验证失败:v$archived_log为空
SELECT name FROM v$archived_log WHERE STATUS = 'A' %s AND rownum=1 ORDER BY name DESC AND name NOT IN (%s)
execute CALL sys.dbms_logmnr.add_logfile(logfilename=>'%s',options=>dbms_logmnr.new)数据库连接成功,LogMiner添加日志文件失败!
execute CALL sys.dbms_logmnr.start_logmnr(Options => DBMS_LOGMNR.DICT_FROM_ONLINE_CATALOG)数据库连接成功,LogMiner解析日志文件失败!
JDBC-写入模式CREATE SESSION, RESOURCE, SELECT ON V_$SESSIONnull
MS SQL Server获取版本信息获取DB版本信息select @@version数据库连接成功,获取数据库版本信息失败!
JDBC-读取模式要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例: SequenceID),更新时间戳(例: UpdatedAt)null
Change Tracking-读取模式用户权限:select on table, view change tracking on table, view change tracking on schema非SQL校验数据库连接成功,权限验证失败:版本不支持CT
SELECT DB_NAME(database_id) each_db_name FROM sys.change_tracking_databases数据库连接成功,查询数据库是否开启CT失败!数据库连接成功,权限验证失败:数据库未开启CT
select NAME from master.dbo.sysdatabases数据库连接成功,查询database失败!数据库连接成功,权限验证失败:不存在支持CT的表
"" SELECT tbl.table_name table_name,convert(nvarchar(2000), prop.value) comment FROM [%1s].[INFORMATION_SCHEMA].[TABLES] tbl LEFT JOIN [%1s].[INFORMATIONSCHEM__A].[TABLES]tblLEFTJOIN[s].[sys].[extended_properties] prop ON prop.major_id = object_id(tbl.table_schema + '.' + tbl.table_name) AND prop.minor_id = 0 WHERE tbl.TABLE_CATALOG='%1s' and tbl.table_schema = '%2s′andtbl.tableschema=′s'""数据库连接成功,获取表名信息查询失败!
select NAME from %s.sys.schemas
"" select schema_name = object_schema_name(ind.object_id) , table_name = t.name, index_name = ind.name, column_name = col.name, column_position = ic.index_column_id, collation = ic.is_descending_key, is_unique = ind.is_unique, index_type = ind.type_desc, is_primary_key = ind.is_primary_key from [%1s].sys.indexes ind inner join [%1s].sys.indexesindinnerjoin[s].sys.index_columns ic on ind.object_id = ic.object_id and ind.index_id = ic.index_id inner join ( select b.name
as datatype, a.name, a.object_id, a.column_id, a.system_type_id,a.user_type_id from [%1s].sys.columns a join [%1s].sys.columnsajoin[s].sys.types b on a.system_type_id = b.system_type_id and a.user_type_id = b.user_type_id) col on ic.object_id = col.object_id and ic.column_id = col.column_id inner join [%1s].sys.tables t on ind.object_id = t.object_id where ind.is_disabled = 0 and ind.object_id in (%2s].sys.tablestonind.objectid=t.objectidwhereind.isdisabled=0andind.objectidin(s) ""
JDBC-写入模式用户权限:insert / update / delete / alter / exec / create / references / select on schema / alter any connectionselect 'BLANK',0 UNION ALL select '%1s',Has_perms_by_name(DB_NAME(),'DATABASE','%1s′,Haspermsbynam__e(DBNAME(),′DATABAS__E′,′s')数据库连接成功,获取权限信息查询失败 --检查缺失权限失败!数据库连接成功,权限验证失败,缺少权限:ALTER,DELETE,CREATE,UPDATE,INSERT
SELECT * FROM [%s].[sys].[schemas] WHERE [schema_id]<=2 OR [schema_id] BETWEEN 5 AND 16383数据库连接成功,获取权限信息查询失败!
KafkaKafka客户端-读取模式具备需要进行读取topic的消费权限
Kafka客户端-写入模式具备需要进行写入 TOPIC 的生产权限;当您需要创建TOPIC时,需要具备TOPIC的创建权限;当您需要为TOPIC标记删除时,需要具备TOPIC 的删除权限。
PostgreSQL获取版本信息获取DB版本信息SHOW server_version数据库连接成功,获取数据库版本信息失败!
JDBC-读取模式相关视图和表的 select 权限
wal2json-读取模式PostgreSQL replication 角色、PostgreSQL login 角色,需要同步的表的 select权限非SQL校验数据库连接成功,权限验证失败:版本不支持wal2json
QianBaseQianBaseCDC-读取模式查看是否开启Rangefeed功能SHOW CLUSTER SETTING kv.rangefeed.enabled
JDBC-读取模式相关视图和表的 SELECT 权限
IBM Db2IBM Db2采集代理-读取模式相应数据库的Date access 角色
TiDBJDBC-写入模式select, create object, insert, update, delete, drop, truncate, select on mysql.*SELECT t.Select_priv,t.Insert_priv,t.Update_priv, t.Delete_priv,t.Create_priv,t.Alter_priv,t.Drop_priv FROM mysql.db t WHERE t.host='%s' AND t.user='%s' AND t.db='%s' LIMIT 1数据库连接成功,获取权限信息查询失败! -- 检查缺失权限失败!数据库连接成功,权限验证失败,缺少权限:Select_priv,Insert_priv,Delete_priv,Create_priv, Update_priv,Alter_priv,Drop_priv
Greenplum获取版本信息获取DB版本信息SHOW server_version数据库连接成功,获取数据库版本信息失败
JDBC-写入模式select, create object, insert, update, delete, drop, truncateselect HAS_SCHEMA_PRIVILEGE('%s', 'CREATE')数据库连接成功,检查权限失败!数据库连接成功,权限验证失败,缺少权限:CREATE_SCHEMA,USAGE_SCHEMA
select HAS_SCHEMA_PRIVILEGE('%s', 'USAGE')
SequoiaDBJDBC-写入模式SequoiaDB对于用户的DML,DDL,DQL等操作并没有明确的权限划分,因此每个用户都具有相同权限,数据管理员(安装时创建,默认为sdbadmin)以及用户列表 SDB_LIST_USERS 中的所有用户 都可以在DataPipeline中新建数据节点。null
RedshiftJDBC-写入模式空
RedisRedis客户端-写入模式空
HudiHudi Java ClientCREATE TABLE, UPSERT, INSERT, BULK INSERT, DELETE
达梦JDBC-读取模式相关视图和表的 SELECT 权限SELECT PRIVILEGE FROM USER_SYS_PRIVS;数据库连接成功,获取权限信息查询失败 – 检查缺失权限失败!数据库连接成功,权限验证失败,缺少权限:SELECT
JDBC-写入模式CREATE、INSERT、UPDATE、DELETE、DROP、TRUNCATE 权限SELECT PRIVILEGE FROM USER_SYS_PRIVS;数据库连接成功,获取权限信息查询失败 --检查缺失权限失败!数据库连接成功,权限验证失败,缺少权限:ALTER,DELETE,CREATE,UPDATE,INSERT、DROP、TRUNCATE
需要SELECT ON V_$SESSION 权限用于处理死锁导致的任务中断
HDFSHDFS客户端根目录要存在; 根目录的读写权限fileSystem.exists(path)HDFS连接成功,无法判断路径是否存在HDFS连接成功,权限验证失败,缺少权限:读
HDFS连接成功,权限验证失败,缺少权限:写
阿里云OSSAliyunOSS-SDK数据读取:需要拥有bucket 的private 或者 PublicReadWrite 或者 public-read权限。
数据写入:需要拥有对 bucket 的 Private 或者 PublicReadWrite 权限。
FTPFTP客户端空
GaussDB (for openGauss)
JDBC相关pg_user表的select 权限select count(1) from pg_user数据节点「数据节点名称」中的数据库「数据库名称」未找到服务器,请检查服务器地址和端口或用户名数据库连接成功,节点缺失权限: pg_user表的访问权限
逻辑复制REPLICATION权限,对pg_user表有SELECT权限,对源端业务数据库有 SELECT 权限。select * from pg_create_logical_replication_slot(复制槽名称, 'mppdb_decoding') 尝试创建复制槽,无论成功与否,都会清理本次创建的,不会留下无用的复制槽。数据库连接成功,权限验证失败,节点缺失权限 replication:详细信息请到「节点日志」查看
Datahub写入数据需要Topic的 CREATE,LIST,GET,UPDATE权限暂无暂无暂无
PolarDB-XJDBC-读取模式相关视图和表的 select 权限SHOW GRANTS数据库连接成功,获取权限信息查询失败 – 检查缺失权限失败!数据库连接成功,权限验证失败,缺少权限:SELECT
BINLOG-读取模式相关视图和表的 select 权限, replication slave, replication clientSHOW GRANTS数据库连接成功,权限验证失败,缺少权限:REPLICATION SLAVE, REPLICATION CLIENT
SHOW VARIABLES LIKE 'log_bin'数据库连接成功,获取参数log_bin失败 – 缺少SELECT权限!数据库连接成功,权限验证失败,未开启log_bin=on
SHOW VARIABLES LIKE 'binlog_format'数据库连接成功,获取参数binlog_format失败 – 缺少SELECT权限!数据库连接成功,权限验证失败,未开启binlog_format=row
VastbaseJDBC相关pg_user表的select 权限select count(1) from pg_user数据节点「数据节点名称」中的数据库「数据库名称」未找到服务器,请检查服务器地址和端口或用户名数据库连接成功,节点缺失权限: pg_user表的访问权限
逻辑复制REPLICATION权限,对pg_user表有SELECT权限,对源端业务数据库有 SELECT 权限。select * from pg_create_logical_replication_slot(复制槽名称, 'mppdb_decoding') 尝试创建复制槽,无论成功与否,都会清理本次创建的,不会留下无用的复制槽。数据库连接成功,权限验证失败,节点缺失权限 replication:详细信息请到「节点日志」查看
Gbase 8cJDBC相关pg_user表的select 权限select count(1) from pg_user数据节点「数据节点名称」中的数据库「数据库名称」未找到服务器,请检查服务器地址和端口或用户名数据库连接成功,节点缺失权限: pg_user表的访问权限
逻辑复制REPLICATION权限,对pg_user表有SELECT权限,对源端业务数据库有 SELECT 权限。select * from pg_create_logical_replication_slot(复制槽名称, 'mppdb_decoding') 尝试创建复制槽,无论成功与否,都会清理本次创建的,不会留下无用的复制槽。数据库连接成功,权限验证失败,节点缺失权限 replication:详细信息请到「节点日志」查看

注意事项​

  • 未通过可用性校验的节点可以被链路选择。
  • 在数据链路里配置读取方式时,未进行或未通过可用性校验的节点在运行任务中可能会报错,请您谨慎选择。

修改数据节点

关于此功能​

编辑数据节点是指修改已存在的数据节点的配置内容,您可以对数据节点的名称、描述以及每种节点类型对应的连接参数进行修改,您也可以修改节点的策略配置,保证数据任务稳定运行。

操作步骤​

◎ 编辑节点的名称和描述

  1. 点击数据节点列表 → 查看详情,进入数据节点详情界面。
  2. 点击页面顶部节点名称旁边的「编辑」按钮,弹出编辑弹窗,可以修改节点的名称和描述。
  3. 编辑完节点名称和描述,点击弹窗右下角「保存」按钮即应用配置信息并下发到节点的相关链路和相关任务。

◎ 编辑节点的连接配置信息

  1. 点击数据节点列表 → 查看详情,进入数据节点详情界面。
  2. 点击页面底部基本配置信息模块右上角「编辑」,弹出编辑弹窗,可以修改每种节点类型对应的连接参数。
    1. 注:如果该数据节点有相关数据任务正在运行中,则无法编辑数据节点的连接配置信息。
  3. 修改配置信息后,您可以点击弹窗左下角的「连接验证」检查当前页面修改的配置信息是否能连接成功。
  4. 点击「保存」即应用配置信息并下发到节点的相关数据链路和相关数据任务

◎ 编辑节点的权限

  1. 点击数据节点列表 → 查看详情,进入数据节点详情界面。
  2. 在顶部节点信息的参与人
    1. 添加/删除参与人(用户或组)

注意事项​

警告
  • 初次配置数据节点的时候您需要慎重选择数据节点的类型,选择完成保存后,系统将不允许修改数据节点的类型。
  • 如果该数据节点有相关任务正在运行中,则无法编辑数据节点的名称和描述,如果想要编辑该节点,您需要先暂停与节点相关的数据任务。
  • 权限说明:
    • 用户与用户组权限共存时取最大权限,查看与编辑权限共存时取编辑权限,如下表所示:
    • 将下表中用户与组权限对调,实际权限结果是一样的
权限情况用户组实际权限
情况1编辑编辑编辑
情况2查看编辑编辑
情况3无编辑编辑
情况4无查看查看

激活数据节点

数据节点有「活动」和「挂起」两个状态,用户可以自定义管理节点状态。激活数据节点指在系统管理节点状态的层级将数据节点状态由「挂起」变为「活动」,激活后的数据节点可被链路选择。

关于此功能​

激活数据节点需要数据节点状态为挂起,当您激活数据节点,系统将会提示您节点的相关数据链路和相关数据任务也可被激活。

操作步骤​

  1. 点击数据节点列表或者数据节点详情页,点击激活数据节点开关。
  2. 弹出激活确认弹窗,显示节点的相关数据链路和数据任务也可被激活提示以及连接和权限验证结果。
  3. 点击确定即激活该数据链路。

注意事项​

信息

激活数据节点是在系统管理层级上对节点的操作,激活数据节点会做节点的连接和权限验证以提示用户,验证失败也不会影响激活节点,但会影响数据任务实际运行。

挂起数据节点

数据节点有「活动」和「挂起」两个状态,用户可以自定义管理节点状态。挂起数据节点指在系统管理节点状态的层级将数据节点状态由「活动」变为「挂起」,挂起后的数据链路在管理上呈现不可用状态。

关于此功能​

挂起数据节点会同时挂起节点相关的数据链路和数据任务,挂起节点后,节点的相关数据链路和相关数据任务也被挂起,并且不可被激活。

操作步骤​

  1. 点击数据节点列表或者数据节点详情页,点击挂起数据节点开关。
  2. 弹出挂起确认弹窗,显示节点相关的数据链路和数据任务。
  3. 挂起数据节点将会同步挂起节点相关数据链路和数据任务。
  4. 点击「挂起」即挂起数据链路。
  5. 系统会异步执行挂起相关数据链路和数据任务的操作。

注意事项​

警告
  • 挂起数据节点后,相关数据链路和相关数据任务将被异步挂起,故可能出现挂起任务失败的情况;未成功挂起的任务将会继续运行,直到您手动将其暂停。

删除数据节点

关于此功能​

删除数据节点指将已经配置好的数据节点删除,删除后将不可恢复。

操作步骤​

  1. 点击数据节点列表界面,每一个数据节点的右侧有「删除」按钮,您也可以勾选节点进行批量删除操作。
  2. 当数据节点有相关数据任务和相关数据链路时,无法删除该节点,「删除」按钮置灰,勾选按钮置灰。此时,您需要在数据节点详情界面找到数据节点的相关任务以及相关链路,并且删除相关任务、相关链路之后,才能删除该数据节点。
  3. 如果「删除」按钮是可点状态,点击「删除」按钮弹出二次确认提示,在二次确认窗口点击删除,及删除数据节点。

注意事项​

危险
  • 当数据节点有相关数据任务和相关数据链路时,无法删除该节点,如果想要删除该节点,需要先删除该节点的相关数据任务和相关数据链路。
  • 已被删除的数据节点不可恢复。

查看节点日志

关于此功能​

DataPipeline 会收集并记录数据节点的配置变更、状态变更、可用性校验结果等信息,持久化于系统内部 Elasticsearch 节点,并提供日志页面查看功能。

操作步骤​

  1. 在数据链路详情页面,点击日志进入日志查看页面
  2. 通过时间、日志级别、日志业务分类对日志进行筛选 查看日志
    1. 筛选选项可选任一、所有条件满足,逻辑等同于 SQL 查询条件中的 OR、AND
  3. 查看日志。
  4. 如您需要下载日志,点击下载,即可获得文本格式日志数据。