版本:v5.7
版本说明
支持 Google Bigquery 说明如下:
| 节点 | 版本要求 | 权限要求 | 其他要求 |
|---|---|---|---|
| 数据源节点 | 支持 JDBC 读取 Google Bigquery云数仓 | + 相关表和视图的 select 权限 | + 要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例:SequenceID),更新时间戳(例:UpdatedAt) |
| 目的地节点 | 支持 JDBC 写入 Google Bigquery云数仓 | + 创建/修改/删除表等 (DDL):bigquery.tables.create, bigquery.tables.update, bigquery.tables.delete; + 插入、更新、删除数据 (DML): bigquery.tables.updateData; + 读取表结构、元数据: bigquery.tables.get, bigquery.tables.list, bigquery.datasets.get; + 执行查询/作业: bigquery.jobs.create |
读取方式
| 读取方式 | 场景 | 权限要求 | 对应功能 |
|---|---|---|---|
| JDBC | + 批量同步场景 + 全量初始化 + 定时增量读取 | + 相关表和视图的 select 权限 | 1. 选择同步表 2. 任务运行 3. 元数据读取、表数据读取 4. 部分DDL操作读取 |
写入方式
| 读取方式 | 场景 | 权限要求 | 对应功能 |
|---|---|---|---|
| JDBC | + 数据写入 | + 创建/修改/删除表等 (DDL):bigquery.tables.create, bigquery.tables.update, bigquery.tables.delete; + 插入、更新、删除数据 (DML): bigquery.tables.updateData; + 读取表结构、元数据: bigquery.tables.get, bigquery.tables.list, bigquery.datasets.get; + 执行查询/作业: bigquery.jobs.create | 1. 创建目的地表 2. 选择目的地表 3. 任务运行,读取写入权限 4. 表数据写入 5. 执行 DDL 操作 |
节点特性
数据类型
| 序号 | BigQuery 类型 | JDBC 映射类型 | JDBC读取 | JDBC写入 |
|---|---|---|---|---|
| 1 | INT64 | BIGINT | ✔️ | ✔️ |
| 2 | FLOAT64 | DOUBLE | ✔️ | ✔️ |
| 3 | NUMERIC | NUMERIC | ✔️ | ✔️ |
| 4 | BIGNUMERIC | NUMERIC | ✔️ | ✔️ |
| 5 | BOOL | BOOLEAN | ✔️ | ✔️ |
| 6 | STRING | VARCHAR | ✔️ | ✔️ |
| 7 | BYTES | VARBINARY | ✔️ | ✔️ |
| 8 | DATE | DATE | ✔️ | ✔️ |
| 9 | TIME | TIME | ✔️ | ✔️ |
| 10 | DATETIME | TIMESTAMP | ✔️ | ✔️ |
| 11 | TIMESTAMP | TIMESTAMP | ✔️ | ✔️ |
| 12 | GEOGRAPHY | VARCHAR | ✔️ | ✔️ |
| 13 | JSON | VARCHAR | ✔️ | ✔️ |
| 14 | INTERVAL | VARCHAR | ✔️ | ✔️ |
| 15 | ARRAY | ARRAY | ❌ | ❌ |
| 16 | STRUCT | STRUCT | ❌ | ❌ |
| 17 | RANGE | VARCHAR | ❌ | ❌ |
表和视图
| 序号 | 表类型 | JDBC 读取 | JDBC 写入 |
|---|---|---|---|
| 1 | 普通表 | ✔️ | ✔️ |
| 2 | 分区表 | ✔️ | ❌ |
| 3 | 聚簇表 | ✔️ | ❌ |
| 序号 | 视图类型 | JDBC 读取 | JDBC 写入 |
|---|---|---|---|
| 1 | 逻辑视图 | ✔️ | ❌ |
| 2 | 物化视图 | ✔️ | ❌ |
| 3 | 授权视图 | ✔️ | ❌ |
DML(数据加载策略)
| 逻辑主键 | 源操作 | 目的地操作 | 说明 |
|---|---|---|---|
| 逻辑主键表 | insert | + insert + merge + ignore | 由于 BigQuery 不支持主键以及唯一索引,在使用 MERGE 实现Upsert时,需要确保 ON 条件中使用的列(即逻辑主键)的组合在源端是真正唯一的。如果源端数据本身在这个逻辑主键上就有重复,MERGE 的行为虽然可预测,但可能结果不是我们想要的。 |
| 无逻辑主键表 | insert | + insert + ignore |
DDL
| 可获取的DDL操作 - JDBC 读取 | 可执行的DDL操作 - JDBC 写入 |
|---|---|
| 新增列 | 新增列 |
| 删除表 | 删除表 |
| 删除列 | 删除列 |
| 修改列 | 修改列 |
添加 Google BigQuery 节点操作步骤
新建弹窗界面选择了 Google BigQuery 节点类型之后,显示 Google BigQuery 的基本信息配置模板:
- 基础配置:用户可根据需求配置基础信息
- 名称:必填
- 描述:选填
- 项目:可选择分组,默认为「默认分钟」
- 类型:选择类型「Google BigQuery」
- 版本:该节点为云数仓,无需指定版本号。因此版本选择为「Google BigQuery」
- 时区:支持指定时区,使用time_zone参数指定,所有查询都会使用此时区
- 时区值格式:时区值使用 IANA 时区数据库的命名格式,例如:
Asia/Shanghai(中国标准时间)America/New_York(美国东部时间)Europe/London(伦敦时间)UTC(协调世界时)
- 时区值格式:时区值使用 IANA 时区数据库的命名格式,例如:
- 连接信息
- 主机:输入BigQuery主机信息
- 如
[https://www.googleapis.com/bigquery/v2](https://www.googleapis.com/bigquery/v2) - 必填
- 如
- 认证方式:本次仅提供“服务账号密钥 (Service Account Key)认证”
- 服务账号密钥认证
- 项目ID:Google Cloud 项目的唯一标识符
- 如
my-bigquery-project-123456 - 必填
- 如
- 数据集:
- 用户权限的所有数据集
- 指定某一个数据集,输入数据集名称
- 必填
- 服务账号邮箱:服务账号的唯一标识
- 格式为
[name@project.iam.gserviceaccount.com](mailto:name@project.iam.gserviceaccount.com) - 选填
- 格式为
- 服务账号密钥:提供密钥文件上传按钮
- 点击按钮:选择密钥文件进行上传,可删除后重新上传
- 必填
- 用户名和密码:输入可访问该数据节点的用户名和密码
- 必填
- 主机:输入BigQuery主机信息
- 连接参数:用户可根据需求添加JDBC连接参数