1.出行需求爬虫,可指定不同空间时间尺度不同范围进行爬取,比如全深圳分成3000+个网格的小汽车/公交的出行时间及路径,总需求量在100万级
2.公开数据的爬虫,比如香港跨境署数据、各市交通局数据
3.知网数据爬取,各种反爬措施
4.可构建含有llm的项目,比如意图识别、文本分类等初步或深度模拟人工的数据清洗
1.并行进行爬虫,并配有终止自启功能
2.按用户需求所需要格式组织成csv、json等
3.可借助LLM能力作意图识别等多种基于llm的操作
4.自动爬取、自动纠错
5.多尺度灵活爬取,不同空间、时间、范围
6.支持百度、高德多平台爬取
7.可根据指定渠道爬取
8.支持多层级深入爬取
9.根据需求制定反爬策略
1.独立开发
2.按需爬取
3.自动爬取
4.自动纠错
5.支持多层级深入爬取
6.按用户需求所需要格式组织成csv、json等
7.多尺度灵活爬取,不同空间、时间、范围
8.根据需求制定反爬策略