立项背景和目标:同花顺作为金融数据服务商,需实时采集股市、基金等公开数据以支持分析决策。本项目旨在开发一个自动化数据采集系统,解决手动获取效率低、易出错的问题。目标包括:采集每日金融数据(如股价、成交量等),涨停板数据,热门概念对应股票。
后续用于自动化每日复盘以及量化交易。
软件功能及核心模块:系统核心功能包括:1) 数据爬取模块:基于Python的Scrapy框架,定时抓取同花顺官网、财经API等源;2) 数据清洗模块:使用Pandas处理缺失值、去重,确保数据一致性;3) 存储模块:将数据写入MySQL数据库,支持JSON格式导出;4) 监控报警模块:日志记录失败任务。
   整体架构和技术栈:技术栈包括:爬虫模块(Scrapy + Redis队列)、数据处理(Pandas + NumPy)、数据库(MySQL)。设计思路强调模块化,便于扩展至其他数据源。
独立开发了数据爬取模块,负责编写爬虫脚本、优化反爬策略。使用AI工具生成html前端,界面相对美观