业务和功能介绍
立项背景和目标： 日常需要批量采集公开网页数据，市面上的爬虫工具要么依赖繁琐的第三方库，要么缺乏合规保障。目标是做一个"开箱即用、合规优先"的本地爬虫控制台，双击脚本即可启动，无需任何安装。
核心功能： ①粘贴 URL 批量爬取，自动提取标题、正文摘要、图片链接；②自动检查 robots.txt，隐私内容（手机号/身份证）自动过滤；③蜘蛛模式支持递归爬取，可设定最大深度、域名页面上限；④429/5xx 自动冷却限速，连续失败自动停止；⑤内置轻量 NLP 引擎（TextRank 摘要 + TF-IDF 关键词提取 + 中文实体识别），无需大模型；⑥数据存入 SQLite，支持搜索、排序、CSV 导出；⑦SSE 实时日志推送，三色主题切换。
业务流程： 前端（原生 JS）→ HTTP API（Python 内置 http.server）→ 爬虫引擎（状态机调度）→ Fetcher（请求/重试/代理/内容解析）→ NLP 处理 → SQLite 持久化 → 前端实时展示。
核心功能： ①粘贴 URL 批量爬取，自动提取标题、正文摘要、图片链接；②自动检查 robots.txt，隐私内容（手机号/身份证）自动过滤；③蜘蛛模式支持递归爬取，可设定最大深度、域名页面上限；④429/5xx 自动冷却限速，连续失败自动停止；⑤内置轻量 NLP 引擎（TextRank 摘要 + TF-IDF 关键词提取 + 中文实体识别），无需大模型；⑥数据存入 SQLite，支持搜索、排序、CSV 导出；⑦SSE 实时日志推送，三色主题切换。
业务流程： 前端（原生 JS）→ HTTP API（Python 内置 http.server）→ 爬虫引擎（状态机调度）→ Fetcher（请求/重试/代理/内容解析）→ NLP 处理 → SQLite 持久化 → 前端实时展示。
项目实现
整体架构： 前后端分离，后端纯 Python 标准库（无 Flask/Django），前端原生 JS（无框架）。核心模块：爬虫引擎（状态机）、Fetcher（HTTP/重试/代理）、NLP 引擎、SQLite 数据库层、SSE 日志流。
我的责任模块： 独立完成全部模块，包括爬虫状态机（idle/running/paused/cooldown）、蜘蛛递归模式、TF-IDF+TextRank NLP 引擎（jieba 可选降级为字符 n-gram）、滑动窗口限速器、三主题前端 UI。
难点与解决： ①零依赖约束下实现 NLP：用字符 2-gram 替代分词，TextRank 用纯 Python 图算法实现，jieba 作可选增强；②并发与线程安全：用 threading.Lock 保护状态机，deque 作线程安全队列；③robots.txt 合规检查与隐私过滤正则内置到 Fetcher，保证每次请求前自动触发。
我的责任模块： 独立完成全部模块，包括爬虫状态机（idle/running/paused/cooldown）、蜘蛛递归模式、TF-IDF+TextRank NLP 引擎（jieba 可选降级为字符 n-gram）、滑动窗口限速器、三主题前端 UI。
难点与解决： ①零依赖约束下实现 NLP：用字符 2-gram 替代分词，TextRank 用纯 Python 图算法实现，jieba 作可选增强；②并发与线程安全：用 threading.Lock 保护状态机，deque 作线程安全队列；③robots.txt 合规检查与隐私过滤正则内置到 Fetcher，保证每次请求前自动触发。
示例图片视频
相似推荐
在线教育平台包括普通话测评、云认证（在线考试）等多个模块
软件主要功能，在线教育平台。教师上传课程内容，可供课上授课、课下布置作业以及在线考试等功能。
核心功能模块包括：
幼乐美官网：幼乐美官方网站，展示公司情况等内容
学习云平台：作为主入口，教师上传一些文件、图片、视频等内容，进行课堂展示授课
学习云管理端：对学习云的整个内容的权限设置，包括账号权限以及模块展示权限等
投屏：学习云上传的内容，教师可以通过投屏展示在课堂上得大屏幕中，并且可以通过操作学习云app实现大屏幕展示的内容切换等
云考试：学生通过云考试平台进行考试，同时教师可以在此端进行对学生考试情况的批阅
云认证：学生通过此平台进行练习并考试，教师可以对学生的考试情况进行批阅，教师对学生的试卷进行编辑
云仿真：负责展示VR教学内容
普通话：学生通过此平台练习测评普通话等级
早期幼儿教育大赛：对早教相关专业的学生进行考试
湖北交投一体化智慧管理平台-后台管理系统
1. 用户登录与身份验证
实现账号密码登录、表单校验、登录状态保持，未登录用户自动跳转登录页，保证系统访问安全。
2. 控制台数据概览
首页展示业务关键指标统计卡片、数据趋势图表，直观呈现系统整体运营情况。
3. 用户管理模块
支持用户列表查询、新增、编辑、删除、状态控制，可对用户信息进行完整管理。
4. 角色与权限管理
基于角色分配菜单与操作权限，实现不同账号权限隔离，确保数据安全与分级管理。
5. 通用数据列表管理
包含表格展示、分页、搜索筛选、排序、导出等常用功能，适配各类业务数据管理场景。
6. 表单提交与编辑
统一表单验证机制，支持新增、编辑、弹窗操作，数据提交后实时刷新列表。
7. 菜单与路由管理
左侧动态菜单、路由权限控制，根据当前用户角色自动展示可访问功能。
8. 系统布局与交互体验
采用经典后台布局（侧边栏 + 导航 + 内容区），操作简洁统一，适配 PC 端不同分辨率。
9. 系统平台包含PC端、App端(uniapp技术栈)
在线教育(学习云)-普通话测评、早教考试、云考试、720场景、可视化数据
软件主要功能，在线教育平台。教师上传课程内容，可供课上授课、课下布置作业以及在线考试等功能。
核心功能模块包括：
学习云平台：作为主入口，教师上传一些文件、图片、视频等内容，进行课堂展示授课
学习云管理端：对学习云的整个内容的权限设置，包括账号权限以及模块展示权限等
投屏：学习云上传的内容，教师可以通过投屏展示在课堂上得大屏幕中，并且可以通过操作学习云app实现大屏幕展示的内容切换等
云考试：学生通过云考试平台进行考试，同时教师可以在此端进行对学生考试情况的批阅
云认证：学生通过此平台进行练习并考试，教师可以对学生的考试情况进行批阅，教师对学生的试卷进行编辑
普通话：学生通过此平台练习测评普通话等级
早期幼儿教育大赛：对早教相关专业的学生进行考试
720全景预览：对720全景图添加锚点，可以进行场景跳转。
项目管理平台
1. 全业务闭环管理
整合 9 大模块（线索→订单→发货→财务→数据分析），覆盖客户生命周期全流程。
支持零售、工程等多业务模式，实现 “客户管理+下单平台”一体化。
2. 复杂业务突破
设计 多维度价格政策引擎，支持零售价、工程价等复杂场景，实现 每单每行价格精准分摊（如材料费、人工费
独立核算）。
对接价格评审系统，实现工程项目 成本-报价-结算 自动化联动。
3. 财务与风控创新
打通财务系统，订单流自动生成凭证，对账效率提升明显。
引入 在线电子签名，规避线下合同签署、货物签收风险，法律纠纷减少 90%。
4. 数据驱动运营
构建客户行为分析模型
飞书ai机器人通知
实现一个飞书机器人，自动采集指定外部平台（如微博、知乎、公众号、竞品官网、价格页面、GitHub等）的实时信息，根据预设规则监控用户感兴趣的内容（关键词、价格变动、上新、状态变更等），一旦命中规则，立即通过飞书机器人推送消息，并自动@指定成员、发送加急通知（应用内加急/短信/电话提醒），确保关键信息不遗漏。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服