跳到主要内容
版本:v5.7

版本说明

支持 Google Bigquery 说明如下:

节点版本要求权限要求其他要求
数据源节点支持 JDBC 读取 Google Bigquery云数仓+ 相关表和视图的 select 权限+ 要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号(例:SequenceID),更新时间戳(例:UpdatedAt)
目的地节点支持 JDBC 写入 Google Bigquery云数仓+ 创建/修改/删除表等 (DDL):bigquery.tables.create, bigquery.tables.update, bigquery.tables.delete;
+ 插入、更新、删除数据 (DML): bigquery.tables.updateData;
+ 读取表结构、元数据: bigquery.tables.get, bigquery.tables.list, bigquery.datasets.get;
+ 执行查询/作业: bigquery.jobs.create

读取方式

读取方式场景权限要求对应功能
JDBC+ 批量同步场景
+ 全量初始化
+ 定时增量读取
+ 相关表和视图的 select 权限
1. 选择同步表
2. 任务运行
3. 元数据读取、表数据读取
4. 部分DDL操作读取

写入方式

读取方式场景权限要求对应功能
JDBC+ 数据写入+ 创建/修改/删除表等 (DDL):bigquery.tables.create, bigquery.tables.update, bigquery.tables.delete;
+ 插入、更新、删除数据 (DML): bigquery.tables.updateData;
+ 读取表结构、元数据: bigquery.tables.get, bigquery.tables.list, bigquery.datasets.get;
+ 执行查询/作业: bigquery.jobs.create
1. 创建目的地表
2. 选择目的地表
3. 任务运行,读取写入权限
4. 表数据写入
5. 执行 DDL 操作

节点特性

数据类型​

序号BigQuery 类型JDBC 映射类型JDBC读取JDBC写入
1INT64BIGINT✔️✔️
2FLOAT64DOUBLE✔️✔️
3NUMERICNUMERIC✔️✔️
4BIGNUMERICNUMERIC✔️✔️
5BOOLBOOLEAN✔️✔️
6STRINGVARCHAR✔️✔️
7BYTESVARBINARY✔️✔️
8DATEDATE✔️✔️
9TIMETIME✔️✔️
10DATETIMETIMESTAMP✔️✔️
11TIMESTAMPTIMESTAMP✔️✔️
12GEOGRAPHYVARCHAR✔️✔️
13JSONVARCHAR✔️✔️
14INTERVALVARCHAR✔️✔️
15ARRAYARRAY❌❌
16STRUCTSTRUCT❌❌
17RANGEVARCHAR❌❌

表和视图​

序号表类型JDBC 读取JDBC 写入
1普通表✔️✔️
2分区表✔️❌
3聚簇表✔️❌
序号视图类型JDBC 读取JDBC 写入
1逻辑视图✔️❌
2物化视图✔️❌
3授权视图✔️❌

DML(数据加载策略)​

逻辑主键源操作目的地操作说明
逻辑主键表insert+ insert
+ merge
+ ignore
由于 BigQuery 不支持主键以及唯一索引,在使用 MERGE 实现Upsert时,需要确保 ON 条件中使用的列(即逻辑主键)的组合在源端是真正唯一的。如果源端数据本身在这个逻辑主键上就有重复,MERGE 的行为虽然可预测,但可能结果不是我们想要的。
无逻辑主键表insert+ insert
+ ignore

DDL​

可获取的DDL操作 - JDBC 读取可执行的DDL操作 - JDBC 写入
新增列新增列
删除表删除表
删除列删除列
修改列修改列

添加 Google BigQuery 节点操作步骤

新建弹窗界面选择了 Google BigQuery 节点类型之后,显示 Google BigQuery 的基本信息配置模板:

  • 基础配置:用户可根据需求配置基础信息
    • 名称:必填
    • 描述:选填
    • 项目:可选择分组,默认为「默认分钟」
    • 类型:选择类型「Google BigQuery」
    • 版本:该节点为云数仓,无需指定版本号。因此版本选择为「Google BigQuery」
    • 时区:支持指定时区,使用time_zone参数指定,所有查询都会使用此时区
      • 时区值格式:时区值使用 IANA 时区数据库的命名格式,例如:
        • Asia/Shanghai(中国标准时间)
        • America/New_York(美国东部时间)
        • Europe/London(伦敦时间)
        • UTC(协调世界时)
  • 连接信息
    • 主机:输入BigQuery主机信息
      • 如 [https://www.googleapis.com/bigquery/v2](https://www.googleapis.com/bigquery/v2)
      • 必填
    • 认证方式:本次仅提供“服务账号密钥 (Service Account Key)认证”
      • 服务账号密钥认证
    • 项目ID:Google Cloud 项目的唯一标识符
      • 如 my-bigquery-project-123456
      • 必填
    • 数据集:
      • 用户权限的所有数据集
      • 指定某一个数据集,输入数据集名称
      • 必填
    • 服务账号邮箱:服务账号的唯一标识
      • 格式为 [name@project.iam.gserviceaccount.com](mailto:name@project.iam.gserviceaccount.com)
      • 选填
    • 服务账号密钥:提供密钥文件上传按钮
      • 点击按钮:选择密钥文件进行上传,可删除后重新上传
      • 必填
    • 用户名和密码:输入可访问该数据节点的用户名和密码
      • 必填
  • 连接参数:用户可根据需求添加JDBC连接参数