立项背景与目标:
金融分析用户常需获取股市热门标的名单,但东方财富网数据为动态加载,手动复制效率极低。本项目目标是实现热门股吧榜单的自动化采集,输出结构化数据供后续分析使用。
软件功能:
输入目标接口地址,一键运行即可获取企业名称、股吧代码、行情代码三项核心信息,输出为UTF-8编码的纯文本表格。
核心功能模块:
· 请求模块:模拟浏览器访问API接口
· 解析模块:提取JSON中指定字段
· 存储模块:写入本地TXT文件
业务流程:
用户双击运行脚本→程序自动请求接口→解析返回数据→提取三个字段→生成结果文件到当前目录。
功能路径:
下载脚本→确认网络通畅→双击运行→打开同目录下生成的文本文件查看结果
整体框架与设计思路:
本项目采用“接口直连”策略,通过浏览器开发者工具抓包,绕过动态页面限制,直接请求后端API获取JSON数据。流程为:模拟请求→解析JSON→提取字段→本地存储,代码精简,秒级运行。
模块与技术:
· 网络层:requests库,配置User-Agent伪装。
· 解析层:原生response.json()解析,提取name、guba_code、quote_code。
· 存储层:open写入UTF-8文本文件,兼容Excel导入。
我的负责模块与结果:
独立完成全流程开发测试,脚本仅25行,运行耗时0.8秒,稳定抓取50条数据,字段完整率100%。
难点与解决方案:
1. 页面源码无数据 → 改用Network面板定位XHR真实接口。
2. 文件提前关闭报错 → 将写入循环移至with open块内部。
3. 中文输出乱码 → 指定encoding='UTF-8'解决