a.项目初衷是为了给分散世界各地的爬虫数据提供一个统一上报、处理、任务调度的控制模块;
b.期望接耦不同已上报任务的数据处理工作(下载 → 解析 → 入库等),如长时任务和及时任务计算资源的隔离,又或是海量及时任务的多节点并行计算,达到分布式处理效果;
1.可对每个可信上报任务的映射(job mapping)ID进行管理维护;
2.可针对每个已接收到的任务(job)状态进行管理;
3.可在不同计算性能或者不同地域的服务节点上,通过部署watch不同队列的worker模块来消费不同耗时的队列的任务,从而达到更好的数据清洗效率;
4.可针对每个上报任务(job)数据处理的异常状况进行追踪,并做告警处理;
a.海量的业务日志数据需要被过滤、通知或告警;
b.能够与现有的运维平台集成管理;
c. 需要基于数据库的规则存储更加灵活可定制且便于维护;
1.可支持通过web端对alert rule的添加/修改/删除等管理工作;
2.可支持alert rule存储于后端任意关系型数据库/mongodb;
3.可支持对不同类型的alert rule模版化引用;
4.可支持对alert rule的语法检测;
5.可支持用户级对alert告警的订阅(需要下面notify模块支持);
6.可支持Promethus监控体系的健康监测;
7.可支持多告警渠道的适配(需要下面notify模块支持);
a.期望对所有IDC资源、公/私有云资源、办公区网络及耗材等集中管理;
b.期望提供基础资源的api接口供其他子平台调用;
c.期望提供用户的统一管理和授权功能,又如能够对一些知名开源第三方平台集成登陆认证和授权;
1.可支持对所用员工信息(用户名、邮箱、手机号、部门、职级等)的统一管理和维护;
2.支持各方资源的定时/被动采集;
3.可支持数据源同步功能,如cmdb → openldap/ cmdb → 第三方平台;
4.现有资源的api查询服务;
5.企业微信APP扫码登录;
6.定期的资源使用情况报表;
7.单点登录服务(可选);