版本:v2.7
DataPipeline有多少独立的服务?各容器的作用是什么?
Q:DataPipeline有多少独立的服务?各容器的作用是什么?
A:DataPipeline各容器及其作用如下:
| 容器 | 作用 |
|---|---|
| zookeeper | 存储Kafka配置。 |
| kafka | 需要同步的数据源所有数据存到kafka。 |
| schema_registry | 数据序列化和反序列化组件。 |
| dp-thrall-mysql | webservice所有的业务数据库。 |
| dp-thrall-redis | webservice和datasystem需要的缓存;webservice的任务,数据源、目的地等数据;logminer读到的oracle的在线或归档日志。 |
| dp-thrall-es | 元数据搜索索引。 |
| dp-thrall-webservice | 所有数据源、目的地,任务信息、schame等信息。 |
| sourcedp | 读取数据源数据写入到kafka消息队列中。 |
| sinkdp | 消费kafka中消息队列写入到目的地数据库,读数据,清洗,写入。 |
| manager | 管理任务,获取数据样例。 |
| dashboard | Nginx代理的前端。 |