跳到主要内容
版本:v5.2

5.2 FAQ

系统配置过程中与运行过程中的常见问题分析与解释。

问题:什么是语义映射,什么是数据映射,他们有什么区别?​

语义映射是解决源到目的地的异构数据库中元数据的映射关系。数据映射则是解决源的数据对象到目的地的数据对象的映射关系。因此语义映射本质上是处理数据库方言之间的映射。

规则类型语义映射规则数据映射配置规则
作用对象从源端的元数据到目的地的元数据的映射关系从源端的数据对象到目的地的数据对象的映射配置
作用范围可配置的语义映射
+ 字段类型的映射
+ 索引映射(主键,唯一索引)
+ 特性映射
无需配置的语义映射,使用默认配置规则
+ 注释
+ 索引(普通索引)
+ 字符集
+ 非空约束

无需配置表示为在数据映射生成时的默认规则。
+ 表映射
+ 字段映射
+ 高级清洗配置
+ 源端读取的配置
- 读取范围
- 增量读取条件
- 并发读取
+ 目的地端写入配置
- 逻辑主键

由上表可以看出,语义映射处理的是元数据,是吧源端数据对象具备这样的元数据属性的情况,映射到目的地端,而数据映射则处理的是数据对象。

问题:当开启底层服务,kakfa和zk 开启Plain认证后有哪些限制?​

首先:当开启Plain认证后,节点高可用,Oracle-agent, Ob-Agent,Db2-CDC的kafka相关功能暂不支持

问题:当链路中配置的映射模型和实际表不一样时,有哪些方式可以更新?​

首先:当链路中的表的模型和客观实际表不一样时,需要在链路中点击刷新,并且应用Diff。否则可能会造成内部数据不一致,有可能会导致部分DDL无法执行。

问题:在创建目的地表同时创建索引的场景,如果表创建成功索引创建失败,会出现目的地表“未创建”的标识,如何修正?​

按如下操作步骤将“未创建”的标识去掉

  1. 删除目的地的表映射
  2. 点击目的地右上角的“刷新”按钮,刷新元数据
  3. 从已有表中选择之前创建的表

问题:Docker 安装的集群部署方式?​

DataPipeline 产品是采用 docker 容器的部署方式,支持 docker 集群;单机是 docker compose 部署,集群是 docker swarm 部署。

问题:DataPipeline 的并发任务是线程还是进程?​

当前支持进程模型和线程模型两种。可以通过配置文件进行设置修改。

Manager 的参数 task_exclusive 为 true 或者false。

为true时,使用进程模型,为false为线程模型。默认值为false。

问题:生产环境配置推荐及回答?​

一个 32G 节点是 30 个任务上限;生产环境建议 Kafka 使用至少两个副本;实际吞吐量受到上下游多重因素影响,我们只能给出的是 Kafka 的理论值,也就是平台的理论吞吐上限;多节点的主要优势在于高可用和同时运行的任务数多。

问题:一般项目使用上 DataPipeline 的服务是统一管理还是私有化部署?若是私有化部署若要升级怎么操作?​

DataPipeline 是私有化部署产品,升级操作可以参考最新版本的产品文档中部署相关部分。

问题:DataPipeline 的 Kafka 如果与客户目前使用的 Kafka 版本不一样,是否需要适配?​

DataPipeline 的 Kafka 作为消息系列缓存在系统内部使用,与您使用的 Kafka 节点没有关联关系,不需要适配。

问题:在从节点上装 MySQL,对单表导入 1000 万数据对任务有影响吗?​

在使用 DataPipeline 的集群上,从节点安装数据库会占用 cpu、内存、磁盘、IO 等资源,如果数据量比较大的情况下,最好单独找一台服务器装,以便不会对任务的性能造成影响。

问题:数据源多个表是否可以写到目的地一张表?​

允许单个或多个任务的多张表往一个数据目的地表同步数据。通常多张表写到同一张表的时候,需要对于结构和数据做一些特殊处理。不推荐进行删列或者修改字段类型变小的情况。此时可能因为其他表的进度不统一会出现结构不一致报错的情况,对于数据而言,如果出现主键冲突,建议通过加载策略进行处理。

问题:数据节点连接失败怎么办?​

检查节点连接信息是否填写正确;检查本地网络是否可以 ping 通节点地址;检查节点端口是否开启;检查 SSL、Kerberos 等认证信息是否需要更新。

问题:DataPipeline 如何应对 Mysql 数据库表和字段名称大小写不敏感问题?

当前Datapipeline并没有读取和处理lower_case_table_names的参数,因此如果作为目的地的时候,可以根据特性映射里的是否忽略大小写来处理。作为源的话,无需特别处理。

问题:数据源 Mysql 的实时处理模式下,暂时无法读取哪些字段类型?​

请参考节点节点支持详情文档-MySQL

问题:Mysql 数据源实时处理模式下,暂不支持哪些语句操作的同步?​

Mysql 实时处理模式下,暂不支持下列语句:TRUNCATE 语句不会同步删除目的地数据 MySql 级联删除不会删除目的地数据 Mysql 级联更新不会更新目的地数据

问题:Oracle 实时模式为 LogMiner 时,为什么还需要设置读取频率?​

当数据源为 Oracle 时,LogMiner 实时读取模式会采用定时查询方式读取增量,所以需要用户去设置一定的读取频率,用户设置读取频率越大相对来说数据延迟性也就越大,但读取频率过小时,会对系统造成一定的压力,因此,需要用户根据实际情况设置相对合理的读取频率,目前 DataPipeline 会默认读取频率为 60 秒。

问题:SQL Server 数据源读取方式选择 Change Tracking 时需要注意什么?​

您需要启动 Change Tracking, 查看官方参考文档 。请在同步前开启同步表的 Change Columns Updates,若您未主动开启,系统会自动开启。请确保在选择同步表时选择存在主键的表,Change Tracking 的读取方式需要基于主键捕获数据更新,若不存在主键,将无法被选择。

问题:时区问题需要注意什么?​

当 MySQL 源端有字段为 timestamp,字段值为 0000-00-00 00:00:00,无法同步到 MySQL 目的地,需要用户在清洗脚本中进行数据时区的转换。\ 目前 DataPipeline 读取源端表结构时会默认将 0000-00-00 00:00:00 转换成 1970-01-01 00:00:00.000000000 +00:00\ 但是 1970-01-01 00:00:00.000000000 +00:00 是世界时区,需要用户根据实际的需求使用清洗脚本进行清洗,如:转换成中国时区。

问题:行级的物理删除,使用 Change Tracking 的方式,是否获取的到?DataPipeline 会如何处理这类的数据?​

当已同步的数据在数据源被删除(需要同步表存在主键,否则无法获取数据源数据删除信息),DataPipeline 提供三种方式:同步,删除目的地数据;忽略,保留目的地数据;同步,保留增量数据,并按照 merge 模式处理。选择 merge 模式处理,需要在写入设置完成以下步骤:\ 各个同步表开启高级清洗。\ 在脚本库中选择「DML.java」脚本库。\ 在目的地表结构增加「dml」新字段,用于标识:insert、update、delete

问题:MySQL 增量数据同步任务可以同步视图吗?​

Binlog 读取模式无法同步视图,JDBC 读取模式可以同步视图。

问题:各种类型的数据源同步数据到 TIDB 目的地时,需要注意哪些事项?​

首先,系统验证 TIDB 不同级别的权限,因此需要验证 mysql.db/mysql.user/mysql.table_privs 三张表的 SELECT 权限。\ 其次,用户需要确认 TIDB 的同步表是否有 SELECT 权限,如果 TIDB 里表没有 SELECT 权限的话,同步表时,系统无法检测到重名的表,无权限的表同步到目的地会导致任务报错,因此用户在使用 TIDB 目的地同步表时要保证目的地的表具有 SELECT 权限才可以。

问题:Redshift 并发数设置是 50,DataPipeline 对 100 个表并发插入的方案?对 Redshift 性能的影响?DataPipeline 对大数据量并发插入 Redshift 的处理方式?​

DataPipeline 会根据 Redshift 的最优的性能来设置 Redshift 的并发数,没有一个固定值 50 个并发同时写就是最优的写入方案。我们可以进行 100 张表的并发写入,单高并发对 DataPipeline 服务器内存、磁盘有很大的消耗,根据测试环境配置并发数量。DataPipeline 是通过 Redshift 客户端写入到 Redshift,大量并发的情况下会影响性能,所以在测试时需要根据源端、目的地端配置及性能对写入并发进行设置。DataPipeline 先将数据写成文件,当文件到一定 size 的时候 load 到 Redshift。

问题:kafka 目的地支持设置新的分区吗?​

对于新建的topic支持进行分区设置,已有的topic,则是读取partition,并且默认采用round robin的方式均匀写入,

问题:多个表结构不一致的表,可以同步至 kafka 的同一个 topic 吗?​

目前在 DataPipeline 中,如果在一个数据任务中,同步多个表结构不一致的表,到 kafka 目的地的一个 topic 中,会出现数据源变化错误,导致任务无法正常运行。\ 该情况有两种解决方案:创建多个任务,每个任务包含一个将要同步的表,目的地可以是相同的 kafka topic,任务会正常运行。

问题:任务设置中读取频率的实现原理是什么样的?​

DataPipeline 定时频率需要指定定时时间间隔,从上一个次执行读取数据开始计时,当本次执行完成读写后才会开启下次执行。如,设置定时频率为 60 分钟,从 1 点钟开始执行任务,如果 60 分钟内完成了读写,则 2 点会开始执行下一次的读写,若没有在 60 分钟内完成读写,则系统会等待写入完成后才开始执行下一次,也就是系统无法按照 60 分钟的读取频率来实现批次读取。

问题:采用增量同步的情况,新建同步任务时,源端的数据表有大量的存量数据,如何通过产品实现数据同步的一致性的?​

如数据源增量数据获取方式为日志获取,则在任务配置中,选择开启全量初始化,并在全量初始化配置中选择清空数据目的地数据,在增量数据同步之前,会先同步全量数据,保证数据一致性。如增量数据获取方式为增量识别字段方式,则需要您在数据映射-读取限制配置中仅设置增量识别字段限制,任务运行时,会先同步全量数据,全量数据同步完毕后会按照增量识别字段进行增量同步,保证数据一致性。

问题:数据源端基于日志的实时模式,是源库推送还是我们做捕获?​

Oracle(归档日志)、MS SQL Server(Change Tracking)是通过扫描的方式,DataPipeline 主动去捕获日志信息;Mysql(binlog)、PostgreSQL(wal2json)是通过源库自带的日志机制进行主动推送;

问题:关系型数据库,如 MySQL,如果出现大量的数据修改,BinLog 日志如何抓取,如何实现及时的消费?​

如果大数据量会出现数据堆积的状况,消费就有一定的延迟,但是只要 binlog 日志不被删除,消费速度比读取速度快的话就会追上数据。

问题:读取与写入的速率限制是按照任务还是按照表?​

目前 DataPipeline 是按照并发进行限制的,也就是按照表做限制,每一张表的读取和写入速率不会超过用户设置的速率。

问题:读取与写入的速率限制原理是?​

速率在任务执行过程中是一个平均指标,即限制单位时间内读取或写入数据的数据量即可以理解为对平均速率的限制,故数据节点读取或写入速率可能会超过平均值,但从任务整体执行的周期内,一般情况下,不会增加数据节点负载。

问题:我们的无侵入性是如何实现的?是完全无侵入性,还是侵入性很小?是否无侵入性就意味着源端服务器没有访问请求的压力,那目的端写入是否还存在压力?​

DataPipeline 对源侵入性是指无需在数据源端去按照 Agent 进行实时数据读取,DataPipeline 采用的方式都是基于数据库本身自带的能力来实现的,如:MySQL 用的是 binlog;Oracle 用的 logminer;sql server 用的 change tracking 的方式;但对于 Oracle 节点的读取,我们推荐使用 Agent 模式进行读取,可以使用相对小的源端服务器资源换取成倍的同步速率增长。

问题:动态限速的策略是什么?​

根据配置的缓存大小,当估算堆积数据 (所有数据- 已消费数据) 的数据量大于总缓存的 90%(可以后台配置) 则会停止读取。根据配置的检查时间间隔,直到下一次检查时间,重新计算是否允许读取。估算方式:单条数据大小 = [过去数据的平均字节数(已读取的数据占比/已读取的数据量)+ 140 字节]安全系数 (安全系数:也是根据占用的缓存比例计算,剩余缓存比例越小,安全系数越大)安全系数的计算方式:占用的缓存比例在 0 - 70%之间 ,固定是环境变量配置的值,默认 1.5;超过 70%之后,1.5 + (已占用的缓存比例 - 固定 70%) 2

问题:如果任务激活后进行重新同步,目的地数据会清空吗?​

目前用户在选择表进行重新同步时,支持用户去选择是否要清理目标表的数据, 如果选择清理目标表的数据,则点击重新同步,目的地数据将被会清空后重新导入。如果选择不清理目标表的数据,则点击重新同步,目的地数据将被不会被清空,目的地按主键去重,若无主键则会存在重复数据。

问题:如何设置数据读取条件 where 语句?有哪些注意事项?​

若用户设置了 where 语句,DataPipeline 向数据源读取数据时会执行数据读取条件,在读取端直接过滤部分数据;请根据数据源类型输入相对应的 SQL 语句作为数据读取条件。一个数据表映射只能设置一个 where 语句,where 语句中可以包含多个字段的条件。当使用 where 语句设置增量识别字段作为增量数据获取手段时,数据任务第一次运行将会同步全量数据,全量数据同步完成后,会根据增量识别字段判断数据增量,进行同步。

问题:暂停运行中的数据任务,修改映射,取消表后又新加入此表,DataPipeline 对于此表的处理策略是什么样的?​

激活任务时,将按照新增映射处理,按照当前任务执行配置,重新同步该表。

问题:表结构中的精度和标度是什么意思?​

精度与标度在不同数据节点中的表述方式不同。MySQL 节点,精度:Length ,标度:DecimalsOracle 节点,精度:Size ,标度:ScaleMS SQL Sever 节点,精度:Size ,标度:ScalePostgreSQL 节点,精度:Length ,标度:Decimals

问题:数据源端支持哪些字符集类型?​

数据源读取使用 jdbc driver,除非要进行手动编码转换,一般不需要特别关注数据库的字符集类型。写入方面,目前产品对于部分节点支持配置字符集,对于不支持定义表字符集,采用库默认字符集。如果出现字符范围不匹配,有可能出现乱码。如果源库和目标库的默认编码一致,不会出现这个问题。

问题:选择增量识别为主键,如何保证源端和目标的数据一致性呢,如果该记录有修改,系统是怎么处理的?​

增量识别字段应为自增字段或时间戳类型,这样我们可以通过增量字段来判断哪些数据进行了变更,一般 update 数据不会更新主键,所以不建议用主键做自增字段。

问题:数据目的地 ODS 有大量无主键表,同步时 DataPipeline 是如何处理的?​

在数据映射中,如果需要进行update,delete,merge等操作,提交sql时,需要一个查询条件,来定义condition是什么,因此如果数据库支持对应的语法,可以通过指定逻辑主键的方法实现。如果数据库不支持该语法,则只能使用insert或者load的方式,此时不需要主键,因此有可能会造成重复数据。

问题:DataPipeline 是否支持将不同的数据表(在不同的数据库中,但是表结构一致,同时有主键和唯一性识别的字段),导入同一个目的端表?​

DataPipeline 支持同步表结构相同的表到目的地,但是数据源表的主键不能重复,否则数据会被覆盖。如果有唯一性识别字段,可以把这唯一性设置为新的主键,避免出现主键冲突的问题。

问题:哪些数据错误会进入错误队列?​

您可以根据数据的错误类型名称和具体的错误信息来了解导致进入错误队列的原因,例如:「RULE_ERROR」,当您看到这个错误,就代表着数据内容因为无法匹配清洗规则而进入了错误队列。例如,当您设置了「Column > 0」的过滤规则,而数据源「Column」字段值为 NULL,平台无法进行过滤,导致了这些所有值为 NULL 的数据进入错误队列。具体的清洗规则规范您可以点击查看数据清洗

。其他类型的错误您可以具体查看下方的错误信息详情来定位具体的错误来源,如果您对这些信息存在疑问,欢迎联系我们的技术团队帮您定位问题。

问题:错误队列里的原始数据是指源端读取的原始数据还是说经过清洗规则后的数据?​

目前 DataPipeline 支持的错误队列里的原始数据是指清洗之前读取的原数据。当用户设置了清洗脚本时,但进入了错误队列的数据是指没有清洗过的原始数据。

问题:部分表已读取已写入等都为 0,但完成进度为 100%?​

这是由于这部分表为空表,已读取和已写入等数据反应了数据表真实情况。我们默认把空表视作已完成全量,若您的任务选择了同步增量数据,则后续有新增数据时,这些数据将会实时更新。

问题:任务详情页中的数据读写量具体含义是?为什么有时候还会减少?​

已读取数据量是指数据任务被激活后系统从数据源读取的数据量:当数据任务由于断点续传机制重新读取已读取的数据时不会重新记录到已读取数据量中,只有该数据被更新时会算作新的数据来记录到已读取数据量中。已写入数据量是指系统读取数据后已经被处理的数据量:所以已写入数据量不仅仅包括已同步到目的地的数据,还包括错误队列的数据和用户要求过滤的数据。已写入数据量也遵循当数据任务断点续传发生的重复写入数据不会记录到已写入数据量中。读写数据量在某一段时间内会突然减少的原因是:DataPipeline 为了在传输过程中不丢失任何数据,若需要同步的表存在主键时可以支持断点续传。当数据任务由于突发情况导致重启时,数据任务会从上一个记录的读取数据点开始重新同步数据,此时已读写的数据统计值会回到上一个记录的读写点上,由此用户会看到统计值会减少的现象。注意:当数据任务已读写统计值频发出现减少是 DataPipeline 同时进行读写的数据任务过多的信号,需要增加节点的方式解决。您如果经常遇到该情况,请联系 DataPipeline 专业工程师帮助您解决问题。

问题:激活任务后,已读取数据百分比为什么会发生回调,如:从 99% 跳到 30%?​

Oracle 的表行数 meta 信息是不准的。出于性能考虑,我们在估算表大小的时候,不能用 count 去精确计算,就会出现,从 meta 信息里面拿表大小是 1 千万,但实际表大小是 1 千 1 百万。当实际读取超过 meta 信息里的值时候,就会用实际的读取数进行修正。

问题:为什么已暂停的数据任务还会写入数据?​

在 DataPipeline 的数据模型中,我们将数据从数据源读取出来,写入消息队列进行缓存,数据写入端来消费缓存中的数据,写入至数据目的地。当数据任务的读取速率大于写入速率时,在缓存中会产生部分已读取但尚未写入的数据,这时,暂停数据任务,数据任务需要将已读取但未写入的数据继续写入目的地,以防数据同步进度丢失。

问题:目前进行数据任务的时候,读取速率远大于写入速率,其中,已读取且还未写入的数据会暂时存储在 Kafka 上,但是由于 Kafka 存储空间有限,超出后容易造成数据的丢失,这怎么办?​

我们支持用户开启动态限速功能来定时检查 kafka 的最大存储空间,通过设置一个时间间隔来确认已读取且还未写入的数据量是否大于设定的 Kafka 的最大存储空间,从而判断是否需要暂停数据的读取。直到下一次确认,已读取且还未写入的数据量小于设定的 Kafka 的最大存储空间,则启动数据任务的剩下数据读取。

问题:如果一条数据多次、频繁变化,在 DataPipeline 产品侧如何保证数据的并行和保序是如何保证的?​

我们源端会将任务按照一定原则拆分为多个互不干扰的子任务进行并行执行。在 JDBC 源读取场景下,如果任务包括多张表,每个表是由一个独立线程进行顺序读取的,线程并行度可以在任务属性中进行设置。为了保证顺序写入和读取,默认每个单独子任务会创建一个独立的 topic,设置一个分区,这样目的端消费的时候,同一个 topic 只有一个 consumer 在进行消费,从而保证消费的顺序性。如果可以接受非顺序消费,也可以为一个 topic 创建多个分区,这样目的端可以更好地利用 Kafka 的并行能力提高吞吐量。

问题:产品使用期限到期所有任务都会被暂停任务,那么如何提前获知产品使用期限是否到期以避免任务被暂停?​

Datapipeline 提供提前通知服务,当产品距离到期 10 天/7 天/3 天时,datapipeline 会向用户发送三次邮件,通知用户及时申请新的激活码,工作人员会及时为用户提供新的激活码。注意Oracle agent 的license 同DP使用相同的license ,当DP的license 过期后, Oracle agent 将无法使用,此时如果重新更新了DP产品的license,需要对Oracle agent 服务重启,才可以load新的lincese生效,否则原有的agent服务无法自动启动。

问题:什么样的实时传输任务会在性能关注中显示?​

当该实时传输任务前一天至少有有一张表有数据流入的时候,才会显示在实时传输任务的性能关注里。

问题:因主键大小写敏感导致的丢数据问题怎么解决​

不同的数据节点对数据值大小写敏感支持不同,在新建数据表的场景中,您可以通过高级清洗功能,给大小写不同但值相同的主键添加前缀或后缀,以避免数据丢失;在选择已有表的场景中,您在创建数据目的地表的时候可以指定部分字符类型字段的字符集,来避免数据写入过程中,目的地数据库判断大小写不同的主键值相同导致的数据丢失问题。

问题:oblogreader重启后,启动任务和添加同步列表会报错​

需要重新点可用性校验才能恢复