清理工具类-pure master

1. 立项背景和目标 随着电商市场多元化发展，中小商家急需低门槛、高效率的线上开店解决方案。本项目旨在构建一个多品类商品交易平台，通过整合店铺管理、智能推荐与便捷登录体系，帮助商家快速入驻并实现商品数字化运营，同时为消费者提供AI驱动的精准选购体验，提升平台交易转化率。 2. 软件功能与核心模块 平台核心功能包括：①商家入驻与开店系统——提供资质审核、店铺装修、经营权限配置等一站式入驻流程；②后台商品管理——支持多规格商品上架、库存管理、价格策略设置及数据分析看板；③手机号登录体系——基于短信验证码的安全快速登录，支持一键注册与身份绑定；④AI智能筛选设备——利用机器学习算法分析用户需求，智能匹配推荐适合的商品型号与规格，降低选购决策成本。 3. 业务流程与功能路径 商家端：注册账号→提交入驻申请→平台审核→开通店铺→后台发布/管理商品→查看经营数据。用户端：手机号登录→浏览/使用AI筛选设备匹配需求→下单购买→订单跟踪。AI筛选模块通过收集用户偏好标签，实时计算最优推荐结果，形成"入驻-管理-推荐-交易"的完整业务闭环。

立项背景和目标： 日常需要批量采集公开网页数据，市面上的爬虫工具要么依赖繁琐的第三方库，要么缺乏合规保障。目标是做一个"开箱即用、合规优先"的本地爬虫控制台，双击脚本即可启动，无需任何安装。 核心功能： ①粘贴 URL 批量爬取，自动提取标题、正文摘要、图片链接；②自动检查 robots.txt，隐私内容（手机号/身份证）自动过滤；③蜘蛛模式支持递归爬取，可设定最大深度、域名页面上限；④429/5xx 自动冷却限速，连续失败自动停止；⑤内置轻量 NLP 引擎（TextRank 摘要 + TF-IDF 关键词提取 + 中文实体识别），无需大模型；⑥数据存入 SQLite，支持搜索、排序、CSV 导出；⑦SSE 实时日志推送，三色主题切换。 业务流程： 前端（原生 JS）→ HTTP API（Python 内置 http.server）→ 爬虫引擎（状态机调度）→ Fetcher（请求/重试/代理/内容解析）→ NLP 处理 → SQLite 持久化 → 前端实时展示。

经实地考察，发现该地区某大学家教业务火爆，且机构管理方式需要大量的人力物力成本，故制作该程序，将管理成本大幅降低，只需广告推销成本，并结合平台的营收方案，进一步扩大盈利。 目标是做到全国最大的家教信息中转站。 软件功能: 1.最新教育咨询实时获取 2.内嵌ai智能体，可进行实时对话 3.根据不同地区，不同需求，筛选出最合适的老师或学生人选 4.个人信息展示 5.预约功能

采集某网站书籍信息 构建一个面向多源图书电商平台的分布式数据采集系统，实现书籍元信息（基础属性、价格、评分、评论等）的自动化采集、清洗与结构化存储，为后续的价格监控、推荐系统和数据分析提供数据基础。

一个可执行的Python脚本文件，用于爬取线上接单平台-猿急送发布的项目信息数据，包括项目名称、合作方式、预估价格、项目周期、需求描述、是否可投递等信息，整合处理后汇总到一个csv文件内。（后期可视需求添加筛选条件）