管理数据同步
常见问题 - 管理数据同步
--: 返回常见问题
基本概念
| 问题: | | --- | | 错误通知是什么? | | 错误队列是什么? | | 哪些数据错误会进入错误队列? | | 请简述目标端性能可管理性(可提供的性能监控、分析、调优手段等) | | 错误队列里的原始数据是指源端读取的原始数据还是说经过清洗规则后的数据? | | 激活任务后,有哪些参数可以修改? |
任务报错
| 问题: | | --- | | * redis连接异常任务暂停了怎么办? |
同步状态
| 问题: | | --- | | 部分表已读取已写入等都为0,但完成进度为100%? | | 任务详情页中的数据读写量具体含义是?为什么有时候还会减少? | | 如何去查看FTP源和FTP文件中的文件有没有同步完成? | | 数据任务激活后是不允许修改任何设置吗? | | * 激活任务后,数据百分比为什么会往回条,如:从99跳到30 |
同步逻辑
| 问题: | | --- | | 自动重启逻辑是怎样的? | | 目前数据同步的暂停重启策略是什么样的?暂停和重启后是如何读取和写入数据的? | | 目前进行数据任务的时候,读取速率远大于写入速率,其中,已读取且还未写入的数据会暂时存储在Kafka上,但是由于Kafka存储空间有限,超出后容易造成数据的丢失,这怎么办? | | 如果一条数据多次、频繁变化,在DataPipeline产品侧如何保证数据的并行和保序是如何保证的? | | 用户导入数据后,hdfs认证机制,数据哪些用户可以使用,用户数据安全如何确保? | | DataPipeline是否支持远程抽取数据? |
产品到期
| 问题: | | --- | | 产品使用期限到期所有任务都会被暂停任务,那么如何提前获知产品使用期限是否到期以避免任务被暂停? | | 实际场景中,目的地服务器每周可能会有aws升级,需要暂停服务器,DataPipeline有没有对应的方案能够满足? |