汇聚多个平台的数据,进行多账号登录以及爬取数据,并将数据按照不同的类目进行汇聚,按照分钟级别监控各个账号的异常数据,自动发送信息给负责人员。大屏展示数据采集和告警信息的结果。
数据采集:通过网站不同账号信息模拟登录提取账户内的信息
数据清洗:按照账号用户信息以及项目信息进行细分数据,通过算法进行整理清洗
数据展示:按照不同维度进行数据的展示
数据监控:分钟级别监控数据的完整性和异常指标,异常数据出现时及时通行用户
我负责后端的处理以及监控告警模块的开发,主要对数据的清洗和存储以及告警实现方式进行开发。