版本:v2.7
配置PostgreSQL数据源
配置PostgreSQL数据源
在进行配置之前,请务必检查您的PostgreSQL数据源是否符合平台要求,参考如下:
| 数据源类型 | 版本要求 | 用户权限要求 | 其他要求 | ||
|---|---|---|---|---|---|
| PostgreSQL(实时) | WAL2JSON:POSTGRESQL 9.4、9.5、9.6版本的单实例非只读数据库; DECODERBUFS:POSTGRESQL 9.6版本的单实例非只读数据库; | PostgreSQL replication角色、PostgreSQL login角色,需要同步的表的select/update权限; | PostgreSQL-decoderbufs、PostgreSQL-wal2json两种插件满足实时同步,无法支持PostgreSQL RDS | ||
| PostgreSQL(定时) | POSTGRESQL 9.4、9.5、9.6版本 | 相关视图和表的 select 权限 | 要求需要同步的表拥有增量识别字段,用于同步增量数据;选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号 (例:SequenceID),更新时间戳 (例: UpdatedAt) |
确认完毕后,点击「新建数据源」,选择「PostgreSQL」进行新建操作:
参数介绍
- 数据源名称:是该数据源在DataPipeline的唯一标识
- 服务器地址:输入连接数据源的域名或IP地址。IP地址如192.168.2.11;域名如 data-pipeline.cye55uthbqll.cn-north-1.redshift.amazonaws.com.cn。
- 端口:输入连接数据源的端口值
- 数据库名称:要求连接数据库的名称
- Schema目录:要求输入数据源读取目录地址
- 选项一:dbo(默认)
- 选项二:用户可输入自定义选项
- 提示文案:请输入自定义Schema(多个Schema可用英文逗号分隔)
允许输入多个Schema。
- 用户名和密码:输入可访问该数据源的用户名和密码
- 高级设置
- 元数据管理:开关控制开启和关闭,默认为开启
- 提示文案:开启后,该数据源允许编辑和查看元数据信息
- 元数据管理:开关控制开启和关闭,默认为开启
- 数据打点设置
- 当数据源没有wal2json/decoderbufs权限时,系统无法对数据进行打点;当数据源有wal2json/decoderbufs权限时,系统会根据用户设置对数据进行打点。
- 打点频率,系统会根据用户设置的打点频率对数据进行打点,用户可以设置分钟、小时频率,默认为10分钟,支持cron表达式。
- 打点范围,系统会根据用户设置的打点范围保留数据日志情况,用户可以设置小时、天,默认为3天。
- 当数据源没有wal2json/decoderbufs权限时,系统无法对数据进行打点;当数据源有wal2json/decoderbufs权限时,系统会根据用户设置对数据进行打点。
- 点击连接后将验证数据源连接配置并同时检验数据源版本、权限等信息;
- 成功连接后将会自动打开该数据源的详情页:
- 详情页将展示该数据源的版本、权限信息以及支持的读取模式、元数据管理、打点频率和打点范围等信息;
- 点击重新连接,系统将重新按照配置内容重新连接数据源检测各个信息。
