本系统基于Scrapy+Playwright框架,动态采集爱奇艺综艺榜与电视剧榜的标题、弹幕、评价、类型、简介、热度六项核心数据。通过自动获取设备指纹与公网IP有效规避反爬机制,支持分页循环抓取,数据经Pipeline清洗后自动写入Excel,按榜单类型分工作表存储。适用于影视内容热度监测、竞品分析及行业报告数据采集场景,帮助运营人员快速掌握内容表现与市场趋势。
基于Scrapy与Playwright框架,动态获取设备指纹及公网IP,有效规避反爬机制。通过请求爱奇艺榜单API,解析JSON数据并实现分页循环抓取,同时采集综艺榜与电视剧榜的标题、弹幕、评价、类型、简介、热度共六项核心字段。采集数据经Pipeline清洗处理后,按榜单类型自动分类写入Excel对应工作表,实现数据采集、清洗、存储一体化流程。