项目背景:对于游戏cs2的游戏内物品价格波动频繁,人工查看不便,大量消耗时间
目标:对于需要价格监控的商品进行实时监控,满足波动情况后进行通知与操作
软件功能,指定商品与波动情况进行通知
数据采集层
爬虫框架:
Scrapy:主框架,用于结构化数据抓取(如uu的商品列表页)。
Selenium/Playwright:应对动态渲染页面)。
反爬策略:
IP代理池:整合付费代理(如Bright Data)与自建代理(Nginx反向代理+动态IP轮换)。
请求伪装:随机User-Agent、Referer、Cookie,模拟真实用户行为。
频率控制:通过Celery设置爬取任务间隔(如5-10秒随机延迟)。
使用通知服务:
邮件/短信:集成SendGrid/阿里云短信服务,发送结构化消息(含商品链接、波动幅度)。
解析用户设置的波动条件(如“价格跌破500元且24小时跌幅>10%”),触发通知或操作。