股市情绪监控与数据采集工具
立项背景和目标
股票市场情绪分析依赖多维度数据,人工收集同花顺涨跌分布、北证50成交量、股指期货基差等10余类指标耗时易错。本工具旨在自动化爬取15+金融网页,精准解析关键数据,生成标准化的Excel市场监控报表,辅助投资者快速掌握当日市场热度、连板情绪和期货基差。
核心功能模块
数据采集引擎:基于Selenium无头浏览器,处理动态加载页面(如同财问财滚动加载)和交互操作(点击行业Tab)。
智能解析层:利用BeautifulSoup和正则表达式,针对不同网站配置独立解析规则,提取成交量、涨跌停数、连板数、股指基差等指标。
重试与容错机制:单页最多重试3次,重试间隔优化为1.5秒,整体超时控制70秒,保障数据完整性。
Excel自动填充:读取模板文件,将数据按日期行写入Sheet1~Sheet3,自动应用条件格式和样式,生成排版美观的监控表。
业务流程
启动后自动生成日期关键词的问财搜索URL → 依次爬取15个页面(指数成交量、涨跌分布、期货合约、板块热榜等)→ 解析并提取关键数值 → 计算衍生指标(炸板率、加权基差)→ 写入桌面Excel文件的新行或多列 → 输出统计结果并保存。
金融