跳到主要内容
版本:v4.15

配置要求

在进行配置之前,请务必检查您的Hologres 数据节点是否符合平台要求,参考如下:

要求详情
版本要求仅支持作为数据目的地。版本支持:阿里云 Hologres 2.2
权限要求JDBC 写入:CREATE TABLE、ALTER TABLE、DROP TABLE、CREATE INDEX、TRUNCATE TABLE、INSERT、DELETE、UPDATE、SELECT
其他要求暂无

操作步骤

新建弹窗界面选择了阿里云Hologres节点类型之后,显示阿里云Hologres 的基本信息配置模板:

  • 版本:Hologres 2.2
  • 时区设置:设置会话时区
  • 服务器地址:输入连接数据节点的域名或 IP 地址。
  • 端口:输入连接数据节点的端口值
  • Schema 名称:要求选择默认配置或自定义写入地址
  • 用户名和密码:输入可访问该节点的用户名和密码
  • 通信加密方式:支持SSL协议
  • 连接参数

注意事项

信息
  • 阿里云Hologres类型的数据节点仅用作数据目的地节点。

写入配置

当前该节点支持JDBC方式进行写入

节点特性

数据类型​

支持的字段类型

序号字段类型
1INTEGER
2BIGINT
3BOOLEAN
4REAL
5DOUBLE_PRECISION
6DECIMAL(p,s)
7TEXT
8TIMESTAMPTZ
9DATE
10TIMESTAMP
11CHAR
12VARCHAR(p)
13SERIAL
14SMALLINT
15JSON
16JSONB
17BYTEA
18BIT
19VARBIT
20INTERVAL
21TIMETZ
22TIME
23INET
24MONEY
25OID
26UUID

表特性​

表存储类型:支持列存表,行存表,行列共存表

支持以KV的参数配置方式,对表属性进行相关设置,参数配置参考Hologres 官方文档。

建表表相关属性设置

参数说明列存表行存表行列共存表建议值建表后,是否可修改
orientation表存储格式。column(默认值)rowrow,columncolumn否,如需修改请重新建表。
table_groupTable Group。默认为default table group。默认为default table group。默认为default table group。默认即可。否,如需修改请重新建表或者Resharding。
distribution_key分布键。默认为主键,根据业务场景修改。默认为主键。默认为主键。主键的子集,建议只选择一列。否,如需修改请重新建表。
clustering_key聚簇索引。默认为空。默认为主键。默认为空。建议最多选择一列,且仅支持asc序。否,如需修改请重新建表。
event_time_column分段键。默认为第一个非空时间戳字段。不支持。默认为第一个非空时间戳字段。建议时间戳字段。否,如需修改请重新建表。
bitmap_columns位图索引。按需使用。不支持。按需使用。建议用于等值比较的列,一般10列以下。是,详情请参见ALTER TABLE。
dictionary_encoding_columns比特编码。按需使用。不支持。按需使用。建议低基数列,一般10列以下。是,详情请参见ALTER TABLE。
time_to_live_in_seconds表数据生命周期。按需使用。按需使用。按需使用。默认即可,无需设置。是,详情请参见ALTER TABLE。

其他限制:

Hologres节点使用的注意事项:

  1. 由于Hologres是离线数仓,因此分区表创建完以后,需要经过T+1的时间才能在系统表中查询到,而Hologres向分区表写数据需要分区表名称信息,因此对于动态分区建议提前做好规划。
    1. 动态分区,子表创建不会创建当前日期之前的分区,从当前日期开始,按照设置的分区数(默认为4)往后创建
    2. 静态分区,分区信息填写不完整会导致写入失败,需要填分区字段以及所有要用到的分区名和分区值
  2. 对于离线数仓,通常会在分库分表的入仓场景中被使用,此时如果上游分库分表有结构变化,需要客户在业务上酌情使用并处理,尤其是同一个任务中如果都要执行truncate 结构变化,可能会导致丢数,其他结构变化操作(除新增字段外)都可能会导致多表字段的冲突。

索引特性​

Hologres 当前仅支持主键索引及索引映射。

其余的索引请参考表特性相关内容介绍,在建表时创建。

DML说明​

作为数据目的地,支持的加载方式有insert,update,delete,ignore,merge

DML类型语法使用限制
Insertcopy:copy语法参考
plain COPY table_name [ ( column_name [, ...] ) ] FROM STDIN [ [ WITH ] ( option [, ...] ) ]
+ 无论目的地是否指定了逻辑主键,皆可以使用。
+ 如果是分区表,Hologres只支持导入数据至分区表子表,不支持导入数据至分区表父表。
+ 写入数据中如果包含二进制数据,会被转为 base64 或者 hex 格式写入,可以通过页面配置。
UpdateUpdate:
plain UPDATE <table> [ * ] [ [ AS ] <alias> ] SET { <column> = { <expression> } \| ( <column> [, ...] ) = ( { <expression> } [, ...] ) } [, ...] [ FROM <from_list> ] [ WHERE <condition> ]
需要指定逻辑主键。
且不支持Update Distribution Key
Mergeinsert on conflct(upsert):
sql INSERT INTO <table_name> [ AS <alias> ] [ ( <column_name> [, ...] ) ] { VALUES ( { <expression> } [, ...] ) [, ...] \| <query> } [ ON CONFLICT [ conflict_target ] conflict_action ] where conflict_target is pk ON CONSTRAINT constraint_name and conflict_action is one of: DO NOTHING DO UPDATE SET { <column_name> = { <expression> } \| ( <column_name> [, ...] ) = ( { <expression> } [, ...] ) \| } [, ...] [ WHERE condition ]
要求必须包含主键
Ignore无要求

DDL说明​

Hologres作为数据目的地,支持支持的DDL方式及类型

JDBC写入方式:

DDL类型选项及配置说明
数据源删除正在同步的表暂停
持续扫描并保留数据目的地表和数据
删除映射并保留数据目的地表和数据
数据源清空正在同步的表的数据暂停
忽略,不在目的地清空数据
自动在目的地清空同步的表的数据
数据源正在同步的表新增字段暂停
忽略新增字段
为新增字段建立映射并同步新增字段
数据源正在同步的表中字段被删除暂停
删除映射并保留目的地表中字段和数据,并写入空值
删除映射并删除目的地表中字段和数据
数据源正在同步的表中的字段被重命名暂停
忽略,不在目的地重命名该字段
字段重命名该字段
数据源正在同步的字段变化(字段类型,精度,标度)暂停
忽略,按照当前字段映射继续同步