智能化公益资金投放平台-正道

一、模型部署层：xInference + 双模型 负责 托管大模型和 Embedding 模型，是整个系统的 “大脑”： 对话模型：qwen2.5-instruct-14b（大语言模型，负责生成回复） 用 vLLM 做推理引擎，开启 int4量化： 让模型推理速度达 ~68 tokens / 秒（大幅提升响应速度）， 显存占用优化到 0.8（降低 GPU 硬件成本，让大模型在普通显卡上也能跑）。 Embedding 模型：bge-large-zh-v1.5（智源，负责文本向量化，支撑知识检索） 二、接口封装层：oneAPI（OpenAI 接口模拟） 核心作用：把 xInference 的模型服务，伪装成 “OpenAI 接口”，让上层应用（如 FastGPT）可以用熟悉的 OpenAI 调用方式（如openai.ChatCompletion）对接本地模型，降低集成成本。 三、RAG 增强层：FastGPT（检索增强生成） 解决大模型 “知识过时、专业领域回答差” 的问题，通过 “知识库检索 + 大模型生成” 提升回复质量： 知识库预处理： 用脚本清洗、格式化数据，结合 bge-large-zh-v1.5 生成向量，存入向量数据库。 检索优化技术： 混合检索：同时用 “向量检索（语义匹配）+ 关键词检索（精确匹配）”，提升召回率； 文本切块：拆分长文本为小段（如 512 字），避免信息丢失； rerank 排序：对检索结果重排，选出最相关的内容； Prompt 工程：优化提示词，让大模型更高效结合检索到的知识，生成准确回复。 四、终端接入层：chatgpt-on-wechat + 微信公众号 负责 对接微信生态，接收和响应用户消息： chatgpt-on-wechat 作为中间件，接入微信公众号，监听 微信服务器的 POST 请求（用户发的消息）； 收到请求后，调用 FastGPT 的 RAG 服务（即触发 “检索 + 生成” 流程）； 拿到回复后，再通过微信服务器，把结果推送给用户。 整体数据流向（用户视角） 用户→微信公众号发消息 → 微信服务器→chatgpt-on-wechat（接收） → FastGPT（调用 oneAPI，触发 xInference 的双模型：bge 做知识检索，qwen 做回复生成） → 模型推理（vLLM 加速） → 结果返回→用户收到回复。

本项目采用 nRF9160 芯片，外置物联网传输模块（提供 LTE-M 网络），软件采用 Zephyr 实时操作系统。通过外置的 GPS、重力传感器、陀螺仪等传感器，将有效的数据加密、签名后上传到区块链，实现设备直接上链，数据永久保存。同时设备支持通过 http 空中升级固件，保证后期维护需求 项目源码地址如下： 系统固件源码地址： https://github.com/iotexproject/pebble-firmware app 应用源码地址: https://github.com/iotexproject/pebble-apps

采用WebRTC实时推拉流技术构建低延迟音视频传输通。道过chunk全流程流式处理机制将首包延迟优化至3秒以内，实现真正的实时对话数字人体验；集成MuseTalk模型驱动数字人面部动作生成，采用视频驱动嘴型同步技术，通过音频特征提取和唇形匹配算法实现自然流畅的口型同步效果； 使用ASR-LLM-TTS全流程流式处理pipeline，采用流式语音识别和增量文本生成技术，通过音频chunk分片处理和并行推理机制减少端到端延迟；实现WebSocket长连接协议支持实时双向通信，通过帧间预测和缓冲区管理策略优化音视频同步性能

基于LangGraph构建Multi-Agent系统，设计包含数据获取Agent、SQL生成Agent、图表渲染Agent的分布式处理架构；通过RESTfulAPI与MES系统建立数据通道； Text2SQL模块，采用XiYanSQL-QwenCoder-32B作为基础模型，通过M-schema技术提升SQL生成准确率；设计SQL执行沙箱环境，通过语法解析和安全检查机制防止恶意查询；集成ECharts.js渲染引擎，通过模板匹配和动态配置生成多维度数据可视化图表，支持实时数据更新和交互式操作

AI 道路巡检管理系统以 “全流程智能化” 为核心，构建了从影像采集到养护决策的闭环功能体系，具体包含三大核心模块：​ 1. 智能病害识别引擎​ 依托深度优化的图像算法模型，可自动解析车载摄像头、无人机等设备采集的路面影像，精准识别裂缝（横向、纵向、网状）、坑槽、车辙、修补不良等 20 余种典型病害。系统具备自适应学习能力，通过持续积累实际场景数据，不断优化识别精度，当前对主要病害的识别准确率达 95% 以上，误报率控制在 3% 以内，可替代 80% 的人工判读工作。同时支持自定义病害类型，满足不同地区道路（如市政道路、高速公路）的个性化需求。​ 2. 全维度数据管理平台​ 构建 “病害 - 位置 - 时间” 三维数据档案：自动关联 GIS 地图标注病害精确坐标（误差≤5 米），同步记录病害尺寸（如裂缝长度、坑槽面积）、严重等级（按行业标准划分为轻微 / 中等 / 严重）及拍摄时间；支持多源数据接入，可整合养护历史记录、交通流量数据等信息，形成完整的道路健康档案。平台提供可视化查询与导出功能，用户可通过路段筛选、时间轴回溯等方式快速调取数据，生成标准化报表（如 Excel、PDF），为养护方案制定提供数据基底。​ 3. 养护决策分析系统​ 基于历史数据与实时监测结果，自动生成路段健康度评分（0-100 分）及病害发展趋势预测（如未来 3 个月裂缝扩展速率），辅助用户优先级排序养护任务；通过内置算法计算最优养护方案（如针对坑槽推荐 “切割修补” 或 “热拌沥青填充”），并预估所需人力、物料成本，实现资源精准调配。系统还支持模拟不同养护策略的长期效益，助力从 “应急抢修” 转向 “预防性养护”。​ 三大模块无缝衔接，从前端识别到后端决策全程数字化，大幅降低人工干预，让道路巡检与养护管理更高效、更精准、更具前瞻性。