跳到主要内容
版本:v2.7

DataPipeline有多少独立的服务?各容器的作用是什么?

Q:DataPipeline有多少独立的服务?各容器的作用是什么?​

A:DataPipeline各容器及其作用如下:

容器作用
zookeeper存储Kafka配置。
kafka需要同步的数据源所有数据存到kafka。
schema_registry数据序列化和反序列化组件。
dp-thrall-mysqlwebservice所有的业务数据库。
dp-thrall-rediswebservice和datasystem需要的缓存;webservice的任务,数据源、目的地等数据;logminer读到的oracle的在线或归档日志。
dp-thrall-es元数据搜索索引。
dp-thrall-webservice所有数据源、目的地,任务信息、schame等信息。
sourcedp读取数据源数据写入到kafka消息队列中。
sinkdp消费kafka中消息队列写入到目的地数据库,读数据,清洗,写入。
manager管理任务,获取数据样例。
dashboardNginx代理的前端。