数据分析平台
主要功能有数据采集,数据构建,数据校验,任务管理,数据预警,构建报表数据。我主要负责有数据采集,数据构建,任务管理,数据预警这几个模块。
数据采集是收集 SDK 上报日志并对日志进行处理然后保存至 ES。
数据构建模块是设计数据构建通用流程,所有构建任务根据流程使用原始数据构建出报表所需数据并针对构建的数据进行校验保证数据的正确性。
任务管理模块是自定义线程池管理所有构建任务,提供任务管理页面配置所有任务执行时间及频率。
数据预警模块是设计预警任务通用流程,查询出需要预警数据并与设置的阈值进行比对,数据出现异常则发送预警消息
广告营销