跳到主要内容
版本:v2.7

配置PostgreSQL数据源

配置PostgreSQL数据源

在进行配置之前,请务必检查您的PostgreSQL数据源是否符合平台要求,参考如下:

数据源类型版本要求用户权限要求其他要求
PostgreSQL(实时)WAL2JSON:POSTGRESQL 9.4、9.5、9.6版本的单实例非只读数据库;
DECODERBUFS:POSTGRESQL 9.6版本的单实例非只读数据库;
PostgreSQL replication角色、PostgreSQL login角色,需要同步的表的select/update权限;PostgreSQL-decoderbufs、PostgreSQL-wal2json两种插件满足实时同步,无法支持PostgreSQL RDS
PostgreSQL(定时)POSTGRESQL 9.4、9.5、9.6版本相关视图和表的 select 权限要求需要同步的表拥有增量识别字段,用于同步增量数据;选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号 (例:SequenceID),更新时间戳 (例: UpdatedAt)

确认完毕后,点击「新建数据源」,选择「PostgreSQL」进行新建操作:

参数介绍

  • 数据源名称:是该数据源在DataPipeline的唯一标识
  • 服务器地址:输入连接数据源的域名或IP地址。IP地址如192.168.2.11;域名如 data-pipeline.cye55uthbqll.cn-north-1.redshift.amazonaws.com.cn。
  • 端口:输入连接数据源的端口值
  • 数据库名称:要求连接数据库的名称
  • Schema目录:要求输入数据源读取目录地址
    • 选项一:dbo(默认)
    • 选项二:用户可输入自定义选项
    • 提示文案:请输入自定义Schema(多个Schema可用英文逗号分隔)
      允许输入多个Schema。
  • 用户名和密码:输入可访问该数据源的用户名和密码
  • 高级设置
    • 元数据管理:开关控制开启和关闭,默认为开启
      • 提示文案:开启后,该数据源允许编辑和查看元数据信息
  • 数据打点设置
    • 当数据源没有wal2json/decoderbufs权限时,系统无法对数据进行打点;当数据源有wal2json/decoderbufs权限时,系统会根据用户设置对数据进行打点。
      • 打点频率,系统会根据用户设置的打点频率对数据进行打点,用户可以设置分钟、小时频率,默认为10分钟,支持cron表达式。
      • 打点范围,系统会根据用户设置的打点范围保留数据日志情况,用户可以设置小时、天,默认为3天。
  • 点击连接后将验证数据源连接配置并同时检验数据源版本、权限等信息;
  • 成功连接后将会自动打开该数据源的详情页:
    • 详情页将展示该数据源的版本、权限信息以及支持的读取模式、元数据管理、打点频率和打点范围等信息;
    • 点击重新连接,系统将重新按照配置内容重新连接数据源检测各个信息。