AI辅助的大学生学习助手-ReMind
2026-03-07 13:10:13
行业：在线教育、人工智能
载体：安卓APP、爬虫/脚本
技术：Dart、JavaScript、Flutter
业务和功能介绍
1.立项背景
大学生群体是我们产品的核心目标用户，他们的年龄范围主要集中在18至25岁之间。这个年龄段的学生正处于高等教育阶段，需要修读各类专业课程，面临着较大的记忆压力和学习任务。由于大学生活的特点，他们的时间往往呈现出碎片化的状态，难以进行长时间连续的学习。
2.典型使用场景的深入剖析：
首先，在课前预习和课后复习方面，学生可以利用我们的产品提前了解即将学习的内容，并在课后及时巩固所学知识。其次，在考试前期，产品可以帮助学生进行集中性的记忆训练，提高复习效率。再者，日常的任务管理和课程安排也是重要应用场景，帮助学生合理规划时间。最后，考虑到现代学生多设备使用的习惯，我们还提供了跨设备同步学习进度的功能，确保学习数据的一致性和连续性。
3.核心功能的详细描述
核心目标用户群体主要针对上海交通大学学生
课程自动导入功能：
系统可以从Canvas等主流教育平台自动获取课程表和回放视频资源，同时支持用户手动补充其他日程安排，如社团活动、兼职工作等，确保日程的完整性。
AI知识点总结功能：
通过先进的AI技术，系统能够自动提取课程视频字幕中的关键信息，生成便于复习的知识摘要。同时，还能自动抓取课程PPT中的重要内容，为用户提供全方位的学习资料。
智能复习规划的算法逻辑：
基于艾宾浩斯遗忘曲线理论，系统会自动安排最优的复习时间。用户可以根据个人需求自定义复习优先级，也可以选择排除某些不需要复习的课程。
日程可视化与提醒功能的设计理念：
系统提供震动提醒和铃声提醒两种方式，确保用户不会错过重要事项。同时具备冲突检测和自动顺延机制，当出现时间冲突时能够智能调整日程安排。
个性化功能：
为了满足用户的个性化需求，我们提供了多种颜色的主题风格供用户选择。此外，还设置了可自定义的免打扰时段，既能保障用户的专注学习时间，又能在夜间休息时避免被打扰。
大学生群体是我们产品的核心目标用户，他们的年龄范围主要集中在18至25岁之间。这个年龄段的学生正处于高等教育阶段，需要修读各类专业课程，面临着较大的记忆压力和学习任务。由于大学生活的特点，他们的时间往往呈现出碎片化的状态，难以进行长时间连续的学习。
2.典型使用场景的深入剖析：
首先，在课前预习和课后复习方面，学生可以利用我们的产品提前了解即将学习的内容，并在课后及时巩固所学知识。其次，在考试前期，产品可以帮助学生进行集中性的记忆训练，提高复习效率。再者，日常的任务管理和课程安排也是重要应用场景，帮助学生合理规划时间。最后，考虑到现代学生多设备使用的习惯，我们还提供了跨设备同步学习进度的功能，确保学习数据的一致性和连续性。
3.核心功能的详细描述
核心目标用户群体主要针对上海交通大学学生
课程自动导入功能：
系统可以从Canvas等主流教育平台自动获取课程表和回放视频资源，同时支持用户手动补充其他日程安排，如社团活动、兼职工作等，确保日程的完整性。
AI知识点总结功能：
通过先进的AI技术，系统能够自动提取课程视频字幕中的关键信息，生成便于复习的知识摘要。同时，还能自动抓取课程PPT中的重要内容，为用户提供全方位的学习资料。
智能复习规划的算法逻辑：
基于艾宾浩斯遗忘曲线理论，系统会自动安排最优的复习时间。用户可以根据个人需求自定义复习优先级，也可以选择排除某些不需要复习的课程。
日程可视化与提醒功能的设计理念：
系统提供震动提醒和铃声提醒两种方式，确保用户不会错过重要事项。同时具备冲突检测和自动顺延机制，当出现时间冲突时能够智能调整日程安排。
个性化功能：
为了满足用户的个性化需求，我们提供了多种颜色的主题风格供用户选择。此外，还设置了可自定义的免打扰时段，既能保障用户的专注学习时间，又能在夜间休息时避免被打扰。
项目实现
1.整体架构与设计思路
项目采用 Flutter 单端架构（Android 为主），围绕“课程导入 -> 内容抓取 -> AI 提炼 -> 复习日程 -> 提醒执行”设计闭环。课程表模块用 WebView + JS DOM 解析抓取教务网页并映射到周视图；课堂内容抓取模块支持从 oc.sjtu.edu.cn 提取文本与 PPT 链接；AI 模块通过 HTTP 调用 Deepseek-V3.1模型完成要点提炼与复习建议生成；日程模块用本地算法按记忆曲线排程并做课程时间冲突检测；提醒模块采用 AlarmManager(原生) + flutter_local_notifications；数据持久化使用 SharedPreferences。
2.我负责的模块与结果（量化）
我独立完成了课程表、日程、用户三大页面与核心业务逻辑，重点负责：课表导入解析、课程卡片交互、AI 提炼接入、复习计划生成、提醒调度与本地持久化。实现了 7 天 x 13 节 的课表展示、连堂课程合并、单双周识别、课程详情二次抓取与重抓、AI 提炼结果回写、自动生成多阶段复习任务、手动日程增删改查、重启后数据恢复等功能，形成可在真机连续使用的 MVP。
3.难点、坑与解决方案
主要难点在于：不同教务页面结构不一致导致抓取不稳定、Android 发布版 WebView/网络权限差异、厂商系统下定时提醒不触发、以及中文编码与 UI 溢出问题。
我的解决方案是：按页面特征分层写解析器并增加容错；补齐发布版 INTERNET/网络配置；将排程提醒改为原生 AlarmManager 精确调度并补充权限引导；统一 UTF-8 编码链路并重构课程卡片自适配布局。
项目采用 Flutter 单端架构（Android 为主），围绕“课程导入 -> 内容抓取 -> AI 提炼 -> 复习日程 -> 提醒执行”设计闭环。课程表模块用 WebView + JS DOM 解析抓取教务网页并映射到周视图；课堂内容抓取模块支持从 oc.sjtu.edu.cn 提取文本与 PPT 链接；AI 模块通过 HTTP 调用 Deepseek-V3.1模型完成要点提炼与复习建议生成；日程模块用本地算法按记忆曲线排程并做课程时间冲突检测；提醒模块采用 AlarmManager(原生) + flutter_local_notifications；数据持久化使用 SharedPreferences。
2.我负责的模块与结果（量化）
我独立完成了课程表、日程、用户三大页面与核心业务逻辑，重点负责：课表导入解析、课程卡片交互、AI 提炼接入、复习计划生成、提醒调度与本地持久化。实现了 7 天 x 13 节 的课表展示、连堂课程合并、单双周识别、课程详情二次抓取与重抓、AI 提炼结果回写、自动生成多阶段复习任务、手动日程增删改查、重启后数据恢复等功能，形成可在真机连续使用的 MVP。
3.难点、坑与解决方案
主要难点在于：不同教务页面结构不一致导致抓取不稳定、Android 发布版 WebView/网络权限差异、厂商系统下定时提醒不触发、以及中文编码与 UI 溢出问题。
我的解决方案是：按页面特征分层写解析器并增加容错；补齐发布版 INTERNET/网络配置；将排程提醒改为原生 AlarmManager 精确调度并补充权限引导；统一 UTF-8 编码链路并重构课程卡片自适配布局。
示例图片视频
相似推荐
java赛事爬虫
## 一、项目概述
本项目是一个基于 Java 的**东京奥运会（2020）赛事数据爬虫与可视化系统**，以新浪体育东京奥运专题页面（`http://2020.sina.com.cn/`）为数据来源，自动抓取奥运**新闻资讯**和**中国代表团各项目奖牌数据**，持久化存储至本地 MySQL 数据库，并通过图形化桌面界面（Java Swing）进行数据展示与查询。
---
## 二、业务背景
东京奥运会于 2021 年 7 月 23 日至 8 月 8 日举行（因疫情延期一年）。新浪体育为此开设了专题页面，提供实时新闻报道和各项目奖牌查询 API。本项目通过爬虫技术对上述数据进行采集，服务于以下业务场景：
- **赛事跟踪**：快速聚合奥运新闻，方便集中浏览。
- **奖牌统计**：自动汇总中国代表团在射击、乒乓球、举重、跳水等 13 个重点项目的金/银/铜牌数量。
- **数据查询**：支持按关键词检索新闻标题和赛事名称，实现快速定位。
---
## 三、系统功能介绍
### 3.1 主界面 — 爬虫启动
| 功能 | 说明 |
|------|------|
| **一键爬取** | 点击"开始爬取"按钮，系统自动清空旧数据并重新采集 |
| **新闻采集** | 抓取新浪奥运首页的新闻链接，逐条进入详情页提取完整内容 |
| **奖牌采集** | 依次调用新浪奥运奖牌 API，获取 13 个运动项目的实时奖牌数据 |
| **进度反馈** | 控制台打印"....."进度提示；采集完成后弹出"爬取成功"对话框 |
| **自动跳转** | 成功后自动关闭启动窗口，打开"奥运数据一览"展示窗口 |
### 3.2 数据展示界面 — 奥运数据一览
#### Tab 1：新闻信息
| 功能 | 说明 |
|------|------|
| **列表展示** | 以表格展示所有新闻的标题、发布时间、发布者、正文内容 |
| **关键词搜索** | 在搜索框输入新闻标题关键词，点击"查询"进行模糊匹配过滤 |
| **实时刷新** | 界面加载时自动从数据库读取最新数据 |
#### Tab 2：奖牌信息
| 功能 | 说明 |
|------|------|
| **列表展示** | 以表格展示 13 个运动项目的金牌、银牌、铜牌合计数 |
| **关键词搜索** | 支持按赛事名称（如"乒乓球"）进行模糊查询 |
| **实时刷新** | 组件渲染时自动加载数据库记录 |
**涵盖的 13 个赛事项目：**
> 射击、篮球、三对三篮球、田径、游泳、乒乓球、羽毛球、举重、跳水、蹦床、竞技体操、艺术体操、赛艇
分布式电商数据采集与分析系统
【立项背景与目标】
随着电商平台竞争加剧，企业对竞品价格监控、市场趋势分析和用户评论洞察的需求日益迫切。传统人工采集方式效率低下、覆盖不全、数据滞后。本系统旨在构建一套自动化、分布式的电商数据采集与分析平台，实现对主流电商平台（淘宝、京东、拼多多、抖音）商品数据的全天候自动采集与智能分析，为企业提供实时、准确的市场情报和决策支持。
【核心功能模块】
1. 分布式采集引擎：基于Scrapy+Redis构建，支持多节点并行采集，内置代理IP池自动切换、Cookie管理、验证码识别等反爬对抗模块，日均采集能力超过120万条商品数据。
2. 任务调度中心：提供可视化任务配置界面，支持Cron定时调度、实时流式采集与手动触发三种模式，可自定义目标平台、商品品类、采集字段（标题、价格、销量、评价、店铺信息等）。
3. 数据清洗与存储管道：自动完成数据去重、格式标准化、异常值过滤，结构化存入MySQL集群，同时同步至Elasticsearch实现毫秒级全文检索。
4. 智能分析模块：提供价格波动趋势分析、竞品销量排名、用户评论情感分析（好评/中评/差评自动分类），通过ECharts大屏实时可视化呈现。
5. 异常告警系统：支持价格突变、商品下架、评论异常等场景的阈值告警，通过钉钉/邮件/飞书实时推送。
【业务流程】
用户配置采集任务（选择平台→品类→字段→调度策略）→系统自动分发至Celery任务队列→Redis去重后分配给各Worker节点→Scrapy/Playwright执行页面抓取→数据经清洗管道处理后入库→前端Dashboard实时展示采集进度与数据分析结果→异常数据触发告警通知。
某部数据中台
建设目标在于解决前台数据服务需求与后台数据服务供给相匹配的问题，提高数据产品服务的规模化生产能力、快速需求响应能力和组件化可复用能力。
在产品层面，数据中台的总体架构分为16个子域：数据门户、数据展示中心、自助查询中心、数据交换中心、作业调度中心、元数据资产中心、文件管理中心、智能AI分析中心、流数据实时分析中心、数据标签中心、数据指标中心、自然语言NLP中心、图像识别OCR中心、智能推荐中心、知识图谱中心、时序预测中心。
可视化建模平台-可视化建模平台
一、项目背景
面向市大数据局、公安、市监局等政务部门开展项目，各部门已完成数据治理工作，但数据加工需开发人员手写代码实现，存在需求响应慢、业务人员无法自主操作、数据处理效率低等痛点，亟需搭建低门槛数据处理平台。
二、项目目标
1. 采集政务数据元数据信息，实现库表、字段及业务含义统一管理
2. 搭建拖拽式可视化建模平台，通过算子实现数据自助加工，降低使用门槛
3. 新增定时任务调度功能，实现建模任务自动化执行
4. 对接BI报表模块，实现加工数据可视化展示
5. 提升数据处理与需求交付效率，支撑政务业务自助数据分析
三、项目概述
搭建政务低代码可视化数据建模平台，自动采集治理后数据的元数据信息，提供过滤、排重、聚合、拆分等拖拽式算子，实现业务人员自主数据加工。支持建模任务定时调度、结果数据异构系统同步与级联分析，同时打通BI报表模块，可自主生成柱状图、折线图、甘特图等图表，完成数据加工到可视化全流程自助化。
物联网实时大数据清洗BI报表-实时报表
一、项目背景
工厂内机床、设备通过PLC采集温湿度、压力、电量、加工计数等实时物联网数据，经Modbus 等协议接入Kafka。原始数据存在大量重复、异常、乱序、跳变问题，无法直接用于MES系统与生产大屏；设备运行状态（绿/黄/红/灰）无统一规则，加工计数易重复统计，亟需一套从0到1的实时数据清洗与治理体系。
二、项目目标
1. 建立设备状态标准化规则，自动识别正常、告警、故障、停机状态并统计各状态持续时长；
2. 构建生产加工计数清洗规则，过滤重复上报数据，处理人工重置等异常场景，保证计数准确；
3. 输出标准结构化数据，支撑MES系统、生产可视化大屏分钟/小时/日报表展示。
三、项目概述
该项目为工业物联网数据治理从0到1建设，采用Flink +Doris 技术架构。从Kafka消费设备实时采集数据，通过自定义清洗规工重置场景处理。清洗后数据写入聚合表，为下游MES系统、可视化大屏提供分钟级至日报级的标准化数据，支撑生产监控、趋势分析与产能统计。
项目职责：
1. 独立负责工业物联网数据治理项目从0到1设计与落地，参与整体架构方案讨论，最终确定并实现Flink +Doris 实时数仓架构；
2. 全程负责从Kafka消费设备实时数据，完成数据清洗、去重、异常过滤、乱序处理、状态计算、指标聚合等全流程开发；
3. 设计并实现设备运行状态（正常/告警/故障/停机）规则引擎，自动统计各状态持续时长并结构化落表；
4. 开发生产加工计数精准清洗逻辑，处理重复上报、人工重置等复杂业务场景，确保计数准确；
5. 构建标准聚合层数据模型，对外提供数据接口，支撑下游MES系统、生产可视化大屏实时展示与报表统计；
6. 负责需求变更、接口迭代及历史数据重刷、补算等运维工作，保障数据一致性。
7、使用AI工具(WorkBuddy后者TRAE CN)辅助提高开发效率
技术栈：Kafka+Flink+Doris+SpringBoot+Redis+Minio+Python
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服