由于网络的普及,越来越多的人在参与网络互动,某政企平台希望通过收集民生数据来分析大众在某些时段对某些时事热点的关注,对于网络产生的舆情数据可进行一定的量化分析,基于该背景,智能舆情分析系统的开发提上议程。本系统主要分为两大模块,数据采集和数据分析模块,数据采集用于获取网络舆情数据,数据分析模块针对获取的数据进行多维度分析与挖掘。
整体系统的架构基于Django框架进行开发,分数据采集模块和数据分析模块。采集模块的主要难点在于部分数据采集困难,需要分析网站数据源出处,一般通过API或者网页解析获取相关舆情数据。分析模块采用使用了各类图表分析工具进行统计分析,通过自然语言处理对文字进行分词和频率统计。