远程监控系统-灰鸽子

一、立项背景与目标 1. 立项背景 在传统的知识库问答系统中，普遍存在以下痛点： - 流程混乱：通用ReAct Agent在处理复杂业务时，容易发生步骤跳跃或逻辑错乱，导致回答质量不稳定。 - 上下文断裂：多轮对话中，用户常使用代词（如“它多少钱？”），传统向量检索缺乏指代消解能力，导致检索失败。 - 意图混杂：闲聊式提问（如“你好”）与知识检索式提问（如“XX产品参数是多少”）被统一处理，浪费算力且影响用户体验。 - 状态丢失：用户刷新页面或稍后再访问时，对话历史无法延续，每次都是“新会话”。 2. 项目目标 - 构建一个流程可控、意图可分流、上下文可理解、状态可持久的智能知识助手。 - 实现复杂业务逻辑的结构化解耦，提升系统的可维护性与稳定性。 - 显著提升多轮对话场景下的检索命中率与回答准确率。 二、软件功能与核心模块 1.整体功能概述 本系统是一个基于LLM的智能对话式知识库问答助手，支持用户通过自然语言提问，从向量知识库中精准检索并生成回答。系统特别强化了多轮对话中的指代消解能力与流程可控性。 2.核心功能模块介绍 模块名称 功能说明 Planner（规划器） 基于LLM + 专用Prompt，硬编码业务流程。负责解析用户请求，按固定流程调度执行，防止逻辑跳跃。 语义路由器 基于LLM的分类工具，动态识别用户意图为“chat”（闲聊）或“retrieval”（知识检索），实现分支分流。 历史加载与写入模块 与Redis集成，自动追加对话历史，确保跨会话的上下文连续性。 查询重写模块 结合历史对话，将存在指代或省略的用户问题（如“它多少钱？”）改写为语义完整的独立问句。 混合检索引擎 同时执行向量语义检索与关键词检索，通过RRF算法融合排序，提升召回效果。 Executor（执行器） 根据Planner的指令，调用重写、检索、生成等环节，最终输出回答。 系统流程严格遵循：语义路由 → 历史加载 → (分支判断) → 查询改写/直接回答 → 知识库检索 → 最终生成 三、业务流程与功能路径 以下为用户与系统交互的完整功能路径描述： 场景一：用户进行知识检索（多轮对话） 场景二：用户发起闲聊 场景三：用户首次访问 / 会话恢复

【项目简介】 数图新治(简称：数图)是一个政务大数据分析平台，通过算法配置、图表数据展示、汇成专题来进行数据分析、数据挖掘、成果展 示，帮助决策。数图是一个核心产品，从该产品衍生一个个智慧统计项目，部署到各个项目地。到目前为止已服务了全国三四十个 街道办、地区统计局、区政府。 【功能点】 ● 图表展示、图表下钻，用到 echarts 的大部分图表及高德地图，项目地涉及到一些客户要求的第三方地图； ●自动报告，用户点击图表生成语料并直接生成报告；用户可通过将语料、图表、图片等拖入到在线报告中，也可手动输入和增加 配置条件生成动静态文本来生成自动报告，如生成日报、周报、月报、季报、年报等；通过拖拽、富文本编辑实现 ●自由页面配置，用户通过拖拉拽实现自由页面布局及页面内容展示，实现对页面框架、图表、资源框、筛选器等的功能配置和样 式配置等 ● 支持全定制和半定制半配置的页面 ●兼容，配置的专题在 pc 、大屏、pad 、移动端使用，实现四端兼容 ●在线报表，通过配置实现自动生成报表，数据自动生成，在线编辑、保存、下载报表，通过 lucksheet 实现 ●地图，实现各种类型地图如高德、百度、客户要求的第三方地图，涉及到的业务需求如落点、标牌、下钻、框选、热力图、白 模、3D、影像地图、二维地图、聚合、图上加 echarts 图表、弹框、色块、距离计算等 ●文件下载，包括数据下载 excel ，图表下载成 word 文档、pdf 下载、报表下载等； ●文件上传，excel、txt、image、word、pdf等； ●文件预览，在线 word、pdf、excel 文档预览；

针对企业手动采集公开数据效率低、易出错的痛点，开发了这套通用合规数据采集系统。核心功能包括静态网页数据自动抓取、数据清洗去重、Excel/CSV结构化导出、批量任务调度与实时进度显示。系统全程遵守robots协议与网站访问频率限制，采用Python+Requests实现稳定请求，确保合规爬取公开数据，无需客户额外配置环境即可运行。

本系统是一套面向多源数据的可视化分析工具，基于Python数据分析生态构建，可读取结构化Excel数据源并自动生成专业级分析图表和HTML报告。 系统聚焦两大分析场景： 1. A股金融市场分析：读取沪深A股4000+只股票的实时数据，自动生成板块分布饼图、成交量Top15排行柱状图、涨跌幅分布直方图，直观展示市场结构和资金动向。针对个股（如贵州茅台600519），生 成日K线走势图并叠加MA20/MA60双均线，标注历史最高收盘价，辅助技术分析决策。 2. 豆瓣影评数据分析：读取豆瓣电影Top250完整榜单，生成评分分布直方图、评分区间占比饼图，以及年度电影数量与平均评分的双Y轴趋势图。可直观看到经典电影年代分布和评分走势。 所有图表统一采用专业配色方案，支持中文渲染，输出为高分辨率PNG图片（150 DPI）。同时自动生成一个响应式HTML分析报告页面，将所有图表嵌入精美卡片布局，包含概览统计卡片和技术指标说明，可直接用于演示汇报或嵌入Web页面。

本系统是一套面向数据分析场景的多平台数据采集工具集，包含4个独立的数据采集模块： 1. A股数据采集模块：自动采集沪深A股股票列表、历史K线数据和实时行情。数据来源于腾讯和新浪公开API，支持多数据源自动切换，单次可采集全部4000+只股票的基础信息及实时价格。 2. B站数据采集模块：采集B站热门视频排行、UP主粉丝与播放数据、关键词搜索结果。可用于内容趋势分析、UP主商业价值评估。 3. 豆瓣Top250采集模块：采集豆瓣电影Top250和书籍Top250的完整榜单，包含评分、评价人数、简介、排名等信息，支持影评分析和好书推荐场景。 4. 链家二手房采集模块：支持北京、上海、广州、深圳、成都等10个城市的二手房数据采集，包含房价、面积、户型、区域、关注度等信息，可用于房地产分析。 所有模块输出为标准Excel格式（.xlsx），同时兼容CSV导出，方便后续数据分析和可视化。系统内置请求频率控制和指数退避重试机制，确保稳定采集。