跳到主要内容
版本:v2.7

配置MySQL数据源

配置MySQL数据源

在进行配置之前,请务必检查您的Mysql数据源是否符合平台要求,参考如下:

数据源类型版本要求用户权限要求其他要求
MySQL(实时)5.5 或5.6或5.7版本的非只读数据库(只支持INNODB引擎,集群架构只支持MHA)相关视图和表的 select 权限,
replication slave,
replication client
1.BINLOG修改为ROW模式:
MYSQL BINLOG MODE = 'ROW'
BINLOG_ROW_IMAGE = 'FULL'(此参数在mysql5.6及以上版本需要设置)
2.BINlOG保留时间建议>=72小时 ;
3.不支持只读从库;
查看 BINLOG配置手册
MySQL(定时)5.5 或5.6或5.7版本(只支持INNODB引擎)相关视图和表的 select 权限要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号 (例:SequenceID),更新时间戳 (例: UpdatedAt)

确认完毕后,点击「新建数据源」,选择「Mysql」进行新建操作:

参数介绍

  • 数据源名称:是该数据源在DataPipeline的唯一标识。
  • 服务器地址:输入连接数据源的域名或IP地址。IP地址如192.168.2.11;域名如 data-pipeline.cye55uthbqll.cn-north-1.redshift.amazonaws.com.cn。
  • 端口:输入连接数据源的端口值。
  • 数据库名称:要求连接数据库的名称。
  • 用户名和密码:输入可访问该数据源的用户名和密码。
  • 高级设置
    • 元数据管理:开关控制开启和关闭,默认为开启
      • 开启后,该数据源允许编辑和查看元数据信息
    • 数据打点设置
      • 当数据源没有BINLOG权限时,系统无法对数据进行打点;当数据源有binlog权限时,系统会根据用户设置对数据进行打点
        • 打点频率,系统会根据用户设置的打点频率对数据进行打点,用户可以设置分钟、小时频率,默认为10分钟,支持cron表达式。
        • 打点范围,系统会根据用户设置的打点范围保留数据日志情况,用户可以设置小时、天,默认为3天。
  • 点击连接后将验证数据源连接配置并同时检验数据源版本、权限等信息;
  • 成功连接后将会自动打开该数据源的详情页:
    • 详情页将展示该数据源的版本、权限信息以及支持的读取模式、元数据管理、打点频率和打点范围等信息;
    • 点击重新连接,系统将重新按照配置内容重新连接数据源检测各个信息。


注意事项:

  • 如MySQL数据库开启GTID则为必填项,需要填写Binlog Position、Binlog 文件名称、GTID 才能指定读取起点。
  • Mysql 的实时处理模式下,暂时无法读取字段类型为 GEOMETRY 的数据,具体请参照下表,如果存在对应类型的数据,请选择定时模式进行同步。 | GEOMETRY字段 | | --- | | POINT | | LINESTRING | | POLYGON | | GEOMETRY | | MULTIPOINT | | MULTILINESTRING | | MULTIPOLYGON | | GEOMETRYCOLLECTION |