项目背景与目标:面向个人投资者构建的股票数据自动化分析工具,自动完成行情数据采集、清洗入库、每日增量更新与特征扫描,并输出结构化研究报告,帮助用户快速定位具备特定量价特征的标的。
核心功能模块:
1、数据仓库构建:批量采集多市场行情数据,统一格式入库;
2、每日增量更新:定时自动拉取当日数据,支持失败自动重试与断点续传;
3、特征扫描引擎:基于预置规则对全市场标的进行扫描打分,输出候选池;
4、报告自动生成:自动汇总扫描结果,生成图文报告与榜单。
业务流程:数据采集→入库→增量更新→扫描→报告输出,全流程自动化,每日运行一次。
整体架构:采用 Python 多脚本模块化设计,分为数据仓库构建、每日增量更新、特征扫描、全量基因计算、报告生成等独立模块,通过日志系统记录运行状态,支持定时自动执行。
技术栈:Python、Excel 数据处理、行情数据接口、定时任务。
我的职责:独立完成全部模块的设计、开发与部署,并长期维护运行。
成果量化:系统已持续实跑多期并输出研究报告,单次扫描覆盖全市场标的,扫描结果与人工复盘高度吻合,每日更新成功率稳定。
难点与方案:数据源不稳定导致抓取失败,通过失败自动重试与断点续传解决;增量更新与全量重建的一致性,通过版本化数据仓库保证;报告排版需求多变,通过模块化模板生成解决。