功能介绍:
商品管理:添加商品链接或ID,维护监控清单。
定时采集:按设定频率抓取标题、价格、销量、优惠券等信息。
数据存储:用 SQLite/MySQL 保存历史价格,支持 CSV 导出。
价格分析:计算涨跌幅、历史最低价、价格趋势。
告警通知:价格低于阈值时,通过邮件、钉钉或微信提醒。
可视化看板:用 Web 页面展示价格走势和商品对比。
项目实现:
采集层:Requests/httpx + BeautifulSoup/lxml;动态页面用 Playwright 或 Selenium;大规模可用 Scrapy。
合规控制:遵守 robots.txt 和网站条款,限制请求频率,不绕过登录、验证码,不采集个人隐私。
数据层:SQLite/MySQL 存储,Pandas 清洗和分析。
调度层:APScheduler 或 Celery 定时执行。
展示层:Flask/FastAPI + ECharts/Matplotlib。
部署:Docker + 云服务器,配合日志和异常监控。