版本:v4.15
版本说明
支持 ArgoDB 5.2、6.0 版本
读取方式
| 读取方式 | 场景 | 权限要求 | 对应功能 |
|---|---|---|---|
| JDBC | 批量同步场景,全量初始化 | 数据库的 SELECT 权限 | 1、选表以及视图,读取数据 2、任务运行,读取权限 |
写入方式
说明:
- 使用 API 方式写入数据时,表类型推荐为 Rowkey 表,由于其 Rowkey 的覆盖机制,多次插入重复的值不会影响最终结果,无需额外实现容错机制。如果采用非 Rowkey 表,当客户端程序异常退出导致 Checkpoint 未提交,可能因重复消费而导致数据重复。
- 通过 ArgoDB 写入 Hyperbase 表或 Hyperdrive 表前,需要单独安装 Hyperbase 产品。
- API 写入方式是 ArgoDB 6.0的新特性,如需使用 API 写入请先确认ArgoDB是否支持。
| 读取方式 | 场景 | 权限要求 | 对应功能 |
|---|---|---|---|
| HDFS写入 | 写入 | 写入设置中设置的外表写入文件路径读取和写入权限。 同步数据库的 CREATE,SELECT 权限,同步表的 INSERT,UPDATE,DELETE,OWNERSHIP 权限。 | 1、选表以及视图,读取数据 2、任务运行,读取权限 |
| API 写入 | 写入 | 同步数据库的 CREATE,SELECT 权限,同步表的 INSERT,UPDATE,DELETE,OWNERSHIP 权限。 | 1、创建表 2、任务运行,读取写入权限 3、选表,写入数据 4、清空目的地表 5、删除重建表,结构变化 |
节点特性
数据类型
| 序号 | 官网支持类型 | 作为源支持情况 | 作为目的地支持情况 |
|---|---|---|---|
| 1 | INT | ✔️ | ✔️ |
| 2 | TINYINT | ✔️ | ✔️ |
| 3 | SMALLINT | ✔️ | ✔️ |
| 4 | BIGINT | ✔️ | ✔️ |
| 5 | float | ✔️ | ✔️ |
| 6 | DOUBLE | ✔️ | ✔️ |
| 7 | DECIMAL(m,n) | ✔️ | ✔️ |
| 8 | DECIMAL | ✔️ | ✔️ |
| 9 | NUMBER | ✔️ | ✔️ |
| 10 | NUMBER(m,n) | ✔️ | ✔️ |
| 11 | NUMERIC(m,n) | ✔️ | ✔️ |
| 12 | BOOLEAN | ✔️ | ✔️ |
| 13 | STRING | ✔️ | ✔️ |
| 14 | CHAR(n) | ✔️ | ✔️ |
| 15 | VARCHAR(n) | ✔️ | ✔️ |
| 16 | VARCHAR2(n) | ✔️ | ✔️ |
| 17 | DATE | ✔️ | ✔️ |
| 18 | TIMESTAMP | ✔️ | ✔️ |
| 19 | TIME | ✔️ | ✔️ |
| 20 | BLOB | ✔️ | ✔️ |
| 21 | CLOB | ✔️ | ✔️ |
表
说明:
- ArgoDB 6.0 版本API 写入仅支持 HOLODESK 存储类型的表
- ESDRIVE 建表时填写的 Hdfs 的存储路径会增加自动增加库名和表名
| 序号 | 官网表类型 | 内外表 | JDBC读取 | HDFS 写入 | API写入 |
|---|---|---|---|---|---|
| 1 | TEXTFILE | 内表 | ❌ | ❌ | |
| 2 | TEXTFILE | 外表 | ✔️ | ❌ | |
| 3 | ORC | 内表 | ✔️ | ❌ | |
| 4 | ORC | 外表 | ✔️ | ❌ | |
| 5 | ORC_TRANSACTION | 内表 | ✔️ | ❌ | |
| 6 | ORC_TRANSACTION | 外表 | ✔️ | ❌ | |
| 7 | CSVFILE | 外表 | ✔️ | ❌ | |
| 8 | EXCEL/JSON | 外表 | ❌ | ❌ | |
| 9 | FWCFILE | 外表 | ❌ | ❌ | |
| 10 | SEQUENCEFILE | 内表 | ❌ | ❌ | |
| 11 | SEQUENCEFILE | 外表 | ❌ | ❌ | |
| 12 | RCFILE | 内表 | ❌ | ❌ | |
| 13 | RCFILE | 外表 | ❌ | ❌ | |
| 14 | HOLODESK | 外表 | ✔️ | ✔️ | |
| 15 | PARQUET | 内表 | ❌ | ❌ | |
| 16 | PARQUET | 外表 | ❌ | ❌ | |
| 17 | HYPERDRIVE(Hyperbase) | 内表 | ✔️ | ❌ | |
| 18 | HYPERDRIVE (Hyperbase) | 外表 | ❌ | ❌ | |
| 19 | ESDRIVE | 内表 | ✔️ | ❌ | |
| 20 | ESDRIVE | 外表 | ❌ | ❌ | |
| 21 | SEARCH | 内表 | ❌ | ❌ | |
| 22 | SEARCH | 外表 | ❌ | ❌ |
压缩
DataPipeline 对表的压缩的支持情况如下
| 表类型 | 压缩 |
|---|---|
| holodesk | Snappy、zlib、lzf、不压缩 |
| orc事务表 | zlib、snappy |
| orc非事务表 | zlib、snappy |
对分区分桶的支持
说明:ArgoDB 的分区键不支持特殊字符,写入数据时,ArgoDB分区键中包含特殊字符时,会导致任务暂停。调整源端数据后,根据任务进度重新执行任务。
DataPipeline 对表的分区分桶的支持情况如下
| 表类型 | 分桶 | 分区 |
|---|---|---|
| HOLODESK | 分桶键(支持多个)、分桶数量 | 单值分区,范围分区不支持 |
| HYPERDRIVE(Hyperbase) | 分桶键、分桶数量 | 不支持 |
| ORC事务表 | 分桶键(支持多个)、分桶数量 | 单值分区,范围分区不支持 |
| ORC非事务表 | 分桶键(支持多个)、分桶数量 | 单值分区,范围分区不支持 |
| TEXTFILE | 分桶键、分桶数量 | 单值分区,范围分区不支持 |
| CSVFILE | 分桶键、分桶数量 | 单值分区,范围分区不支持 |
| ESDRIVE | 不支持 | 不支持 |
视图
DataPipeline 不支持对 ArgoDB 视图的读取
索引
在DataPipeline平台中不支持在 ArgoDB 中创建和展示索引
DML
说明:esdrive表做目标端时 update配置为insert时会覆盖之前的数据,结果看还是update
DDL
说明:
- ArgoDB 不支持清空外表,使用同步前清空表和正在同步的表被清空俩个功能时设计到外表时会导致ArgoDB 报错DataPipeline平台的相关任务停止。
- esdrive必须有_id字段 目前程序会自己添加一个字段 但是需要非空 需要客户用高级清洗赋值
- csv,esd表不支持删列
- Argodb做目标端 ddl 新增字段的 COMMENT 属性无法被同步
添加 ArgoDB 节点操作步骤
新建弹窗界面选择了 ArgoDB 节点类型之后,显示 ArgoDB 的基本信息配置模板:
连接配置:
- 名称:必填,50字符限制,是该数据源在 DataPipeline 的唯一标识,不允许重复
- 描述:非必填
- 项目:必选,默认为「未分组」
- 类型:必选
- 版本:必选
- JDBC连接配置
- 服务器地址 & 端口:必填,支持填写多个
- 数据库:必选,当您选择用户权限所有库时,在链路和任务中可以使用连接用户有权限的所有数据库;当您指定数据库后,在链路和任务中仅能使用指定的数据库
- 认证类型:必选,支持信任认证、LDAP 认证、Kerberos 认证
- JDBC 连接参数:非必填,输入 ArgoDB JDBC 连接支持的所有连接参数
- ArgoDB 文件连接配置
信息
当 ArgoDB 需要作为数据目的地时,请输入「HDFS 连接配置」配置项。DataPipeline 将以文件写入方式将数据写入 ArgoDB。
- HDFS 配置:作为数据目的地时必填,需上传 hdfs-site.conf、core-site.conf
- 写入根目录:作为数据目的地时必填,需填写绝对路径
- HDFS 用户名:作为数据目的地时必填
- 认证类型:必选,支持信任认证和 Kerberos 认证
- HDFS 连接参数:非必填,输入 HDFS 连接支持的所有连接参数
注意事项
警告
- 同一个资源组下只能有一个 Kerberos 配置(KDC 相同)