本项目面向电影行业数据监测场景,旨在自动化采集猫眼专业版实时票房榜单,覆盖影片排名、综合票房、票房占比及排片场次等核心指标。系统可替代人工手动查表,支持高频定时抓取(如每1分钟执行一次),为影院排片、宣发策略调整、竞品分析提供及时、准确的数据依据,帮助从业者快速洞察市场动态,提升决策效率。同时,结构化存储的数据便于后续进行票房趋势分析、影片生命周期研究和档期效果评估。
爬虫基于Scrapy框架构建,结合Playwright处理页面动态渲染,应对JavaScript异步加载的表格数据。针对票房数字采用“猫眼体”自定义字体反爬,代码通过Playwright截取目标单元格截图,再调用Tesseract OCR进行图像识别,提取真实数值,绕过了字体映射解析的复杂性。抓取结果同时写入MongoDB(便于增量更新与查询)和Excel文件(覆盖式输出,便于本地查阅)。此外,项目集成了schedule定时任务模块,实现每1分钟自动启动爬虫,形成完整的实时监控闭环,满足了业务对时效性的严格要求。