本项目旨在解决日常业务中繁琐的数据处理痛点。核心功能包含:1. 利用 Python 爬虫技术(Requests/BeautifulSoup)对指定网页公开数据进行自动化抓取,并规避基础反爬策略;2. 使用 Pandas 处理海量 Excel/CSV 报表,实现多表极速合并、去重与格式清洗;3. 具备金融量化背景,对数据清洗精度要求极高,可交付结构清晰的标准化表格,大幅提升客户的数据处理效率。
整体采用模块化设计:分离出数据抓取、数据清洗、导出三个独立模块。我独立负责了全流程的代码编写与测试。在抓取环节,为了解决目标网站的反爬限制,采用了代理IP池和随机请求头策略;在清洗环节,针对几十万行的超大 Excel 文件,使用 Pandas 的 chunk 分块读取技术,彻底解决了内存溢出(OOM)的问题。最终实现了 10 万行数据的秒级清洗与合并,极大提升了交付效率。