能够抓取统一的/status数据看板,根据预设的分数阈值自动处理不同类型的条目,例如,分数低于-2分,可以自动标记待删除标签,并发布宣告,并自动监控倒计时是否结束。
功能要点:
- 可以自动监控条目分数,如果分数达到阈值,自动发布不同阶段的宣告帖文及标记标签
- 可以监控条目后续分数变化,例如分数回升、被标记重写或豁免等情况,并分情况调整或者执行其他处理操作
- 可以自动监控条目倒计时是否结束并自动删除
- 使用内容平台特定模块筛选分数区段内容,存放于/status页面
- 使用axios+cheerio定时爬取并解析内容,并采取稳健的同步重试机制防止崩溃
- 由于平台老旧,并没有相应的API,因此只能采用无头浏览器模式
- 根据平台采用服务端渲染的模式,侦测DOM结构和平台特性,推测模块功能
- 运行各个模块,使用puppeteer模拟登录操作并执行各个操作