版本:v2.7
配置MySQL数据源
配置MySQL数据源
在进行配置之前,请务必检查您的Mysql数据源是否符合平台要求,参考如下:
| 数据源类型 | 版本要求 | 用户权限要求 | 其他要求 | ||
|---|---|---|---|---|---|
| MySQL(实时) | 5.5 或5.6或5.7版本的非只读数据库(只支持INNODB引擎,集群架构只支持MHA) | 相关视图和表的 select 权限, replication slave, replication client | 1.BINLOG修改为ROW模式: MYSQL BINLOG MODE = 'ROW' BINLOG_ROW_IMAGE = 'FULL'(此参数在mysql5.6及以上版本需要设置) 2.BINlOG保留时间建议>=72小时 ; 3.不支持只读从库; 查看 BINLOG配置手册 | ||
| MySQL(定时) | 5.5 或5.6或5.7版本(只支持INNODB引擎) | 相关视图和表的 select 权限 | 要求需要同步的表拥有增量识别字段,用于同步增量数据。选择的字段必须为可排序,例如数字或时间类型,推荐的字段类型一般为随数据更新而自增的字段,如:更新序列号 (例:SequenceID),更新时间戳 (例: UpdatedAt) |
确认完毕后,点击「新建数据源」,选择「Mysql」进行新建操作:
参数介绍
- 数据源名称:是该数据源在DataPipeline的唯一标识。
- 服务器地址:输入连接数据源的域名或IP地址。IP地址如192.168.2.11;域名如 data-pipeline.cye55uthbqll.cn-north-1.redshift.amazonaws.com.cn。
- 端口:输入连接数据源的端口值。
- 数据库名称:要求连接数据库的名称。
- 用户名和密码:输入可访问该数据源的用户名和密码。
- 高级设置
- 元数据管理:开关控制开启和关闭,默认为开启
- 开启后,该数据源允许编辑和查看元数据信息
- 数据打点设置
- 当数据源没有BINLOG权限时,系统无法对数据进行打点;当数据源有binlog权限时,系统会根据用户设置对数据进行打点
- 打点频率,系统会根据用户设置的打点频率对数据进行打点,用户可以设置分钟、小时频率,默认为10分钟,支持cron表达式。
- 打点范围,系统会根据用户设置的打点范围保留数据日志情况,用户可以设置小时、天,默认为3天。
- 当数据源没有BINLOG权限时,系统无法对数据进行打点;当数据源有binlog权限时,系统会根据用户设置对数据进行打点
- 元数据管理:开关控制开启和关闭,默认为开启
- 点击连接后将验证数据源连接配置并同时检验数据源版本、权限等信息;

- 成功连接后将会自动打开该数据源的详情页:
- 详情页将展示该数据源的版本、权限信息以及支持的读取模式、元数据管理、打点频率和打点范围等信息;
- 点击重新连接,系统将重新按照配置内容重新连接数据源检测各个信息。

注意事项:
- 如MySQL数据库开启GTID则为必填项,需要填写Binlog Position、Binlog 文件名称、GTID 才能指定读取起点。
- Mysql 的实时处理模式下,暂时无法读取字段类型为 GEOMETRY 的数据,具体请参照下表,如果存在对应类型的数据,请选择定时模式进行同步。 | GEOMETRY字段 | | --- | | POINT | | LINESTRING | | POLYGON | | GEOMETRY | | MULTIPOINT | | MULTILINESTRING | | MULTIPOLYGON | | GEOMETRYCOLLECTION |