Gbase 8a
DataPipeline 支持通过 JDBC 从 Gbase 8a 中采集数据,支持通过 JDBC 和 文件写入两种方式将数据加载到 Gbase 8a 中。
JDBC 读取模式通过 JDBC Driver 连接到数据库并读取源端数据,该读取模式支持定时增量同步和定时全量同步。
JDBC 写入模式通过 JDBC Driver 将数据写入目的地端。对目的地执行 INSERT、UPDATE 或 DELETE 操作时,直接执行 SQL 命令将数据加载到 Gbase 8a。对目的地执行 Merge 操作时,DataPipeline 会创建 Gbase 8a 临时表,先将数据写入临时表,再通过 Gbase 8a 的 Merge 语法将临时表的数据导入目标表。
文件写入:对目的地执行 INSERT 操作时,DataPipeline 会先数据写入 HDFS,再通过 LOAD SQL 将 HDFS 文件数据导入目标表。对目的地执行 UPDATE 或 DELETE 操作时,会采用 JDBC 的方式对目标表进行更新。对目的地执行 Merge 操作时,如果下游为分区表或者下游主键/分布键的值需要被更新,DataPipeline 会在数据库执行 DELETE & INSERT,如果更新的是下游的非主键或分布键,DataPipeline 会创建 Gbase 8a 临时表,先将数据写入临时表,再通过 Gbase 8a 的 Merge 语法将临时表的数据导入目标表。
相较于 JDBC 写入,文件写入方式在数据插入阶段性能较好,尤其是数据量大时效果明显。但也有一定的使用限制,由于 Gbase 8a 的 LOAD SQL 语法不支持加载 BLOB、BINARY、VARBINARY 类型,因此含这三类数据类型的表不适合选择此方式。
使用此节点需要注意的是,
- Gbase 8a 数据库支持主键语法,但主键没有唯一约束的含义。DataPipeline 仅使用主键作为数据更新条件使用。
- Gbase 8a 数据库中表名大小写不敏感
- Gbase 8a 节点默认不映射上游数据库的索引
配置要求
在进行配置之前,请务必检查您的 GBase 8a 数据节点是否符合平台要求,参考如下:
| 要求 | 详情 |
|---|---|
| 版本要求 | 1. 数据源 JDBC 读取支持 GBase 8a 9.5.x 版本 2. 数据目的地 JDBC 写入支持 GBase 8a 9.5.x 版本 3. 数据目的地文件写入支持 GBase 8a 9.5.x 版本,需要 Hadoop 2.x 版本的 HDFS |
| 权限要求 | JDBC 读取: + 为用户授予 SHOW DATABASES 权限 + 为用户授予系统表 gbase.user,gbase.db,information_schema.SCHEMATA,information_schema.TABLES,information_schema.columns,gbase.table_distribution,information_schema.VC,gbase.vcs_priv 的SELECT权限 + 为用户授予采集库和表的 SELECT 权限 JDBC写入: + 为用户授予 SHOW DATABASES,CREATE TEMPORARY TABLES 权限 + 为用户授予系统表 gbase.user,gbase.db,information_schema.SCHEMATA,information_schema.TABLES,information_schema.columns,system.tables,gbase.table_distribution,information_schema.VC 的SELECT权限 + 为用户授予采集库和表的 SELECT,ALTER,INSERT,UPDATE,DELETE,DROP,INDEX,CREATE 权限 文件写入: + 为用户授予 SHOW DATABASES 权限 + 为用户授予系统表 gbase.user,gbase.db,information_schema.SCHEMATA,information_schema.TABLES,information_schema.columns,system.tables,gbase.table_distribution,information_schema.VC,gbase.vcs_priv 的SELECT权限 + 为用户授予采集库和表的 SELECT,ALTER,INSERT,UPDATE,DELETE,DROP,INDEX,CREATE,FILE 权限 + HDFS 写入目录的读写权限 |
| 其他要求 | JDBC读取模式: + 如果要用 JDBC 模式同步增量数据,则要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新时间戳(例: UpdatedAt) HDFS 配置要求: + HDFS 中集成了 Kerberos 安全认证情况下,GBase 8a MPP Cluster 节点部署 Kerberos客户端后,即可以执行加载 Kerberos 认证下的 HDFS 文件。加载操作需完成如下配置: - 设置 gbase_hdfs_auth_mode=kerberos,指定使用 Kerberos 认证方式连接 HDFS。 - 设置 gbase_hdfs_protocol=rpc,指定使用 RPC 协议连接HDFS。 - 设置 gbase_hdfs_principal="xxx",指定 Kerberos 认证主体。 - 设置 gbase_hdfs_keytab='xxx',指定 keytab 文件路径。 |
授权语句
# JDBC 读取数据库授权语句
use vc <vc_name>;
GRANT SHOW DATABASES ON *.*.* TO <username>;
GRANT SELECT ON <vc_name>.<database_name>.* TO <username>;
GRANT SELECT ON gbase.user TO <username>;
GRANT SELECT ON gbase.db TO <username>;
GRANT SELECT ON gbase.table_distribution TO <username>;
GRANT SELECT ON gbase.vcs_priv to <username>;
# JDBC 写入数据库授权语句
use vc <vc_name>;
GRANT SHOW DATABASES,CREATE,FILE TEMPORARY TABLES ON *.*.* TO <username>;
GRANT CREATE ON <vc_name>.<database_name> TO <username>;
GRANT SELECT,ALTER,INSERT,UPDATE,DELETE,DROP,INDEX ON <vc_name>.<database_name>.* TO <username>;
GRANT SELECT ON gbase.user TO <username>;
GRANT SELECT ON gbase.db TO <username>;
GRANT SELECT ON gbase.table_distribution TO <username>;
GRANT SELECT ON gbase.vcs_priv to <username>;
#文件写入数据库授权语句
use vc <vc_name>;
GRANT SHOW DATABASES ON *.*.* TO <username>;
GRANT CREATE ON <vc_name>.<database_name> TO <username>;
GRANT SELECT,ALTER,INSERT,UPDATE,DELETE,DROP,INDEX ON <vc_name>.<database_name>.* TO <username>;
GRANT SELECT ON gbase.user TO <username>;
GRANT SELECT ON gbase.db TO <username>;
GRANT SELECT ON gbase.table_distribution TO <username>;
GRANT SELECT ON gbase.vcs_priv to <username>;
#文件写入 HDFS 目录授权语句
hdfs dfs -chmod -R 777 <dir_name>
操作步骤
新建弹窗界面选择了 GBase 8a 节点类型之后,显示 GBase 8a 的基本信息配置模板:
连接配置:
- 通用配置
- 名称:必须填写,50字符限制,是该数据源在 DataPipeline 的唯一标识,不允许重复
- 描述:选填
- 项目:必选,默认为「未分组」
- 类型:必选
- 版本:必选
- 时区:必选,默认是 +8:00,即东八区
- 服务器地址:必填,允许输入多个,以英文逗号分隔(例:123.207.123.213:5432,123.207.123.214:5433)
- 端口:必填
- 虚拟集群:支持用户指定虚拟集群,用户不指定时,将连接数据库配置的默认虚拟集群。注意:填写时需区分大小写。
- 数据库:必填,默认「用户权限的所有库」,此处的用户权限所有库指的是指定的虚拟集群下的用户有权限的所有数据库,也支持用户指定数据库
- 认证类型:必选,支持口令认证
- JDBC 连接参数:输入 GBase 8a JDBC 连接支持的所有连接参数
- 文件连接配置:不使用文件写入方式时可不配置
- HDFS 配置(上传文件):必填,上传 core-site .xml、hdfs-site .xml 文件
- 写入根目录:必填,此处用于写临时文件,需填写绝对路径
- HDFS 用户名:必填
- 认证类型:必选,默认为信任认证,当选择 KERBEROS 认证时,必须上传 krb5.conf、HDFS Keytab 文件,并填写 HDFS Principal
- HDFS 连接参数:输入 HDFS 连接支持的所有连接参数
支持的数据类型
| 字段类型 | 是否支持 | 备注 | |
|---|---|---|---|
| 1 | TINYINT | 支持 | |
| 2 | SMALLINT | 支持 | |
| 3 | INT | 支持 | |
| 4 | BIGINT | 支持 | |
| 5 | FLOAT | 支持 | |
| 6 | DOUBLE | 支持 | |
| 7 | DECIMAL | 支持 | |
| 8 | NUMERIC | 支持 | |
| 9 | CHAR | 支持 | |
| 10 | VARCHAR | 支持 | |
| 11 | TEXT | 支持 | |
| 12 | BLOB | 支持 | 文件写入不支持 |
| 13 | BINARY | 支持 | 文件写入不支持 |
| 14 | VARBINARY | 支持 | 文件写入不支持 |
| 15 | LONGBLOB | 支持 | |
| 16 | DATE | 支持 | |
| 17 | DATETIME | 支持 | |
| 18 | TIME | 支持 | |
| 19 | TIMESTAMP | 支持 |