版本:v5.2
配置要求
在进行配置之前,请务必检查您的Hologres 数据节点是否符合平台要求,参考如下:
| 要求 | 详情 |
|---|---|
| 版本要求 | 仅支持作为数据目的地。版本支持:阿里云 Hologres 2.2 |
| 权限要求 | JDBC 写入:CREATE TABLE、ALTER TABLE、DROP TABLE、CREATE INDEX、TRUNCATE TABLE、INSERT、DELETE、UPDATE、SELECT |
| 其他要求 | 暂无 |
操作步骤
新建弹窗界面选择了阿里云Hologres节点类型之后,显示阿里云Hologres 的基本信息配置模板:
- 版本:Hologres 2.2
- 时区设置:设置会话时区
- 服务器地址:输入连接数据节点的域名或 IP 地址。
- 端口:输入连接数据节点的端口值
- Schema 名称:要求选择默认配置或自定义写入地址
- 用户名和密码:输入可访问该节点的用户名和密码
- 通信加密方式:支持SSL协议
- 连接参数
注意事项
信息
- 阿里云Hologres类型的数据节点仅用作数据目的地节点。
写入配置
当前该节点支持JDBC方式进行写入
节点特性
数据类型
支持的字段类型
| 序号 | 字段类型 |
|---|---|
| 1 | INTEGER |
| 2 | BIGINT |
| 3 | BOOLEAN |
| 4 | REAL |
| 5 | DOUBLE_PRECISION |
| 6 | DECIMAL(p,s) |
| 7 | TEXT |
| 8 | TIMESTAMPTZ |
| 9 | DATE |
| 10 | TIMESTAMP |
| 11 | CHAR |
| 12 | VARCHAR(p) |
| 13 | SERIAL |
| 14 | SMALLINT |
| 15 | JSON |
| 16 | JSONB |
| 17 | BYTEA |
| 18 | BIT |
| 19 | VARBIT |
| 20 | INTERVAL |
| 21 | TIMETZ |
| 22 | TIME |
| 23 | INET |
| 24 | MONEY |
| 25 | OID |
| 26 | UUID |
表特性
表存储类型:支持列存表,行存表,行列共存表
支持以KV的参数配置方式,对表属性进行相关设置,参数配置参考Hologres 官方文档。
| 参数 | 说明 | 列存表 | 行存表 | 行列共存表 | 建议值 | 建表后,是否可修改 |
|---|---|---|---|---|---|---|
| orientation | 表存储格式。 | column(默认值) | row | row,column | column | 否,如需修改请重新建表。 |
| table_group | Table Group。 | 默认为default table group。 | 默认为default table group。 | 默认为default table group。 | 默认即可。 | 否,如需修改请重新建表或者Resharding。 |
| distribution_key | 分布键。 | 默认为主键,根据业务场景修改。 | 默认为主键。 | 默认为主键。 | 主键的子集,建议只选择一列。 | 否,如需修改请重新建表。 |
| clustering_key | 聚簇索引。 | 默认为空。 | 默认为主键。 | 默认为空。 | 建议最多选择一列,且仅支持asc序。 | 否,如需修改请重新建表。 |
| event_time_column | 分段键。 | 默认为第一个非空时间戳字段。 | 不支持。 | 默认为第一个非空时间戳字段。 | 建议时间戳字段。 | 否,如需修改请重新建表。 |
| bitmap_columns | 位图索引。 | 按需使用。 | 不支持。 | 按需使用。 | 建议用于等值比较的列,一般10列以下。 | 是,详情请参见ALTER TABLE。 |
| dictionary_encoding_columns | 比特编码。 | 按需使用。 | 不支持。 | 按需使用。 | 建议低基数列,一般10列以下。 | 是,详情请参见ALTER TABLE。 |
| time_to_live_in_seconds | 表数据生命周期。 | 按需使用。 | 按需使用。 | 按需使用。 | 默认即可,无需设置。 | 是,详情请参见ALTER TABLE。 |
其他限制:
Hologres节点使用的注意事项:
- 由于Hologres是离线数仓,因此分区表创建完以后,需要经过T+1的时间才能在系统表中查询到,而Hologres向分区表写数据需要分区表名称信息,因此对于动态分区建议提前做好规划。
- 动态分区,子表创建不会创建当前日期之前的分区,从当前日期开始,按照设置的分区数(默认为4)往后创建
- 静态分区,分区信息填写不完整会导致写入失败,需要填分区字段以及所有要用到的分区名和分区值
- 对于离线数仓,通常会在分库分表的入仓场景中被使用,此时如果上游分库分表有结构变化,需要客户在业务上酌情使用并处理,尤其是同一个任务中如果都要执行truncate 结构变化,可能会导致丢数,其他结构变化操作(除新增字段外)都可能会导致多表字段的冲突。
索引特性
Hologres 当前仅支持主键索引及索引映射。
其余的索引请参考表特性相关内容介绍,在建表时创建。
DML说明
作为数据目的地,支持的加载方式有insert,update,delete,ignore,merge
| DML类型 | 语法 | 使用限制 |
|---|---|---|
| Insert | copy:copy语法参考plain COPY table_name [ ( column_name [, ...] ) ] FROM STDIN [ [ WITH ] ( option [, ...] ) ] | + 无论目的地是否指定了逻辑主键,皆可以使用。 + 如果是分区表,Hologres只支持导入数据至分区表子表,不支持导入数据至分区表父表。 + 写入数据中如果包含二进制数据,会被转为 base64 或者 hex 格式写入,可以通过页面配置。 |
| Update | Update:plain UPDATE <table> [ * ] [ [ AS ] <alias> ] SET { <column> = { <expression> } \| ( <column> [, ...] ) = ( { <expression> } [, ...] ) } [, ...] [ FROM <from_list> ] [ WHERE <condition> ] | 需要指定逻辑主键。 且不支持Update Distribution Key |
| Merge | insert on conflct(upsert):sql INSERT INTO <table_name> [ AS <alias> ] [ ( <column_name> [, ...] ) ] { VALUES ( { <expression> } [, ...] ) [, ...] \| <query> } [ ON CONFLICT [ conflict_target ] conflict_action ] where conflict_target is pk ON CONSTRAINT constraint_name and conflict_action is one of: DO NOTHING DO UPDATE SET { <column_name> = { <expression> } \| ( <column_name> [, ...] ) = ( { <expression> } [, ...] ) \| } [, ...] [ WHERE condition ] | 要求必须包含主键 |
| Ignore | 无要求 |
DDL说明
Hologres作为数据目的地,支持支持的DDL方式及类型
JDBC写入方式:
| DDL类型 | 选项及配置 | 说明 |
|---|---|---|
| 数据源删除正在同步的表 | 暂停 | |
| 持续扫描并保留数据目的地表和数据 | ||
| 删除映射并保留数据目的地表和数据 | ||
| 数据源清空正在同步的表的数据 | 暂停 | |
| 忽略,不在目的地清空数据 | ||
| 自动在目的地清空同步的表的数据 | ||
| 数据源正在同步的表新增字段 | 暂停 | |
| 忽略新增字段 | ||
| 为新增字段建立映射并同步新增字段 | ||
| 数据源正在同步的表中字段被删除 | 暂停 | |
| 删除映射并保留目的地表中字段和数据,并写入空值 | ||
| 删除映射并删除目的地表中字段和数据 | ||
| 数据源正在同步的表中的字段被重命名 | 暂停 | |
| 忽略,不在目的地重命名该字段 | ||
| 字段重命名该字段 | ||
| 数据源正在同步的字段变化(字段类型,精度,标度) | 暂停 | |
| 忽略,按照当前字段映射继续同步 |