基于嵌入式软件采集的超大数据分析系统
背景和目标:客户有上亿的用户,需要通过网络报文数据深入了解他们用户的使用情况,统计分析之后提供更好的服务,为客户开源节流
软件功能:嵌入式软件实现数据采集和初步清洗过滤功能;云平台负责与嵌入式软件通信实现控制和数据采集与存储;大数据分析系统负责对存储数据进行多维度分析,提供数据统计、报表和用户画像功能,并按照客户的业务需要筛选出有价值的客户
业务流程:控制通道,云平台根据客户需要定制过滤规则并下发到指定的嵌入式软件,嵌入式软件根据过滤规则进行采集数据的过滤;数据通道 ,嵌入式软件采集到云平台接收和存储再到大数据系统分析,最后输出客户业务结果
云计算
大数据