工业级实时数据监控系统

把文档（PDF、Word、TXT、Markdown 等）放到本地电脑，搭建一套检索增强问答系统； 大模型、向量模型、向量数据库全部本地运行，所有资料不外泄，适合私密资料、企业内部文档。 使用方法： 在 Web 界面的"知识问答"区域输入问题，系统会： 1. 自动从知识库中检索相关文档 2. 将检索结果作为上下文 3. 结合 DeepSeek 生成回答 4. 显示检索到的相关资料来源

1、立项背景和目标 针对学生查询校园办事流程信息分散、查找资料麻烦的问题，开发校园办事问答助手，利用大模型整合校内办事资料，实现自然语言快速查询办事指南，提升信息获取效率。 2、软件功能、核心功能模块介绍 采用前后端分离，前端H5网页可打包为安卓套壳APP；后端基于FastAPI，包含JSON知识库读取、Agent调度、DeepSeek大模型调用模块，约束模型依据知识库按固定模板输出答案，内网穿透支持临时公网演示。 3、业务流程、功能路径描述 用户输入问题提交至后端，程序读取知识库并组装提示词，调用大模型生成标准化办事信息，处理完成后返回前端展示，项目仅本地调试演示使用。

一、立项背景和目标 北京新发地农产品批发市场作为全国交易规模最大的农产品专业批发市场，其官网每日发布大量蔬菜、水果等农产品的价格行情数据，涵盖品名、规格、产地、价格区间、发布日期等关键信息。这些价格行情数据分散在多个列表页面中，人工逐条复制品名、最低价、平均价、最高价、规格、产地、单位、发布日期等信息录入 Excel 表格工作量大、效率低下，且分页翻阅统计困难。本项目立项目标：基于 Playwright 自动化浏览器抓取北京新发地农产品批发市场官网多页价格行情数据，自动解析字段并写入 Excel 文件，实现农产品价格数据批量结构化导出，方便后续价格趋势分析、产地分布统计与市场行情归档，同时掌握动态网页分页爬取、XPath 层级定位、openpyxl 表格持久化存储的完整爬虫开发流程。 二、软件功能、核心功能模块介绍 三大核心功能模块 （1）Excel 表格初始化模块：使用 openpyxl 库新建工作簿，创建名为“新发地价格行情”工作表，预先写入表头【一级分类、二级分类、品名、最低价、平均价、最高价、规格、产地、单位、发布日期】，智能设置各列宽度确保数据完整显示，定义全局列表用于临时存储抓取到的结构化数据，为后续数据落地做准备。 （2）浏览器自动化页面交互模块：调用 Playwright 启动本地 Chromium 浏览器，配置可视化运行窗口、操作减速防反爬；自动访问北京新发地农产品批发市场官网价格行情栏目，支持按分类筛选（蔬菜、水果等），自动识别总页数并循环执行分页加载逻辑，每页设置合理等待时间，保证后端动态渲染的价格列表完整加载。 （3）数据解析与表格写入模块：通过层级 XPath 定位每一条价格行情数据 DOM 容器，循环提取一级分类、二级分类、品名、最低价、平均价、最高价、规格、产地、单位、发布日期；增加智能字段清洗逻辑，过滤异常数据和空值，逐条将字段追加写入 Excel 工作表，提供数据去重机制避免重复记录，最终完整保存为本地表格文件。 三、业务流程、功能路径描述 （1）程序初始化：创建 Excel 文件、新建工作表并设置表头及列宽；配置本地 Chromium 浏览器启动路径与反爬兼容参数；提示用户选择需要爬取的农产品分类（默认全部分类）； （2）自动化访问目标网站：打开北京新发地农产品批发市场官网价格行情页面，等待页面完全加载后，通过 XPath 定位分类筛选下拉菜单，根据用户选择模拟点击切换分类，等待列表数据刷新； （3）分页循环抓取：自动解析总页数，循环执行分页爬取，每一页等待 3-5 秒确保列表数据 JS 渲染完成；定位所有价格行情条目父级容器，获取当前页条目数量； （4）逐条解析字段：遍历每条条目 DOM 节点，分别提取一级分类、二级分类、品名、最低价、平均价、最高价、规格、产地、单位、发布日期，清洗字符串去除空白字符和无

本项目属于内容创作辅助工具领域，服务于 Bilibili 平台的 UP 主群体。Bilibili 作为国内领先的视频社区，拥有数百万活跃内容创作者，平台每月推出数百个创作活动和征稿话题。UP 主需要在海量话题中快速识别高流量、高参与度的活动，以便合理分配创作资源。目前市场上缺乏专门针对 Bilibili 话题数据聚合和管理的桌面端工具，大多数 UP 主依赖手动浏览网页或使用简易脚本，存在数据获取不全面、管理混乱、操作繁琐等问题。本工具填补了这一市场空白，为 UP 主提供专业的话题数据洞察和管理能力。 本工具的核心价值在于将分散的 Bilibili 活动话题数据进行聚合、分析和可视化展示。通过一键同步功能，UP 主可以在数分钟内获取平台上千个活动话题的完整数据，并通过播放量排行快速锁定高价值话题。工具还支持话题状态跟踪，自动标记活跃和已结束的话题，帮助 UP 主把握参与时机。本地 SQLite 数据库确保持久化存储，历史数据可随时查询对比。整体设计注重数据密度和操作效率，采用暗色主题降低长时间使用的视觉疲劳，虚拟滚动技术确保大数据量下的流畅体验。

多源数据采集：集成 Remotive 公开 API 和 Hacker News 招聘帖两个数据源，异步并发抓取，单源失败不影响其他源 数据标准化：将不同格式的招聘信息统一映射为标准结构，支持职位标题、公司、地点、薪资、标签等字段 智能去重：基于数据源+ID 主键去重，重复抓取自动更新而非重复插入 数据导出：一键导出 CSV/JSON 格式，支持 Excel 直接打开（UTF-8-SIG 编码） 数据分析报告：自动生成薪资分布（分桶统计）、技能词频、地区/公司 Top-N 排名等分析报告 定时任务：支持 cron 表达式配置，定时自动抓取（默认每天 09:00）