业务背景
在现代社会，人们对情感咨询的需求日益增长，但传统的情感导师服务面临着诸多难题。一方面，高昂的咨询费用让许多人望而却步；另一方面，由于情感导师数量有限，响应速度较慢，无法及时满足用户的需求。为了打破这些困境，我们团队全力打造了 “AI 恋爱军师”项目。该项目依托微信公众号平台，借助大模型技术，为用户提供高效、个性化且随时随地可得的情感咨询服务，帮助用户快速解决情感困扰。
功能介绍
一、模型部署层：xInference + 双模型
负责 托管大模型和 Embedding 模型，是整个系统的 “大脑”：
对话模型：qwen2.5-instruct-14b（大语言模型，负责生成回复）
用 vLLM 做推理引擎，开启 int4量化：
让模型推理速度达 ~68 tokens / 秒（大幅提升响应速度），
显存占用优化到 0.8（降低 GPU 硬件成本，让大模型在普通显卡上也能跑）。
Embedding 模型：bge-large-zh-v1.5（智源，负责文本向量化，支撑知识检索）
二、接口封装层：oneAPI（OpenAI 接口模拟）
核心作用：把 xInference 的模型服务，伪装成 “OpenAI 接口”，让上层应用（如 FastGPT）可以用熟悉的 OpenAI 调用方式（如openai.ChatCompletion）对接本地模型，降低集成成本。
三、RAG 增强层：FastGPT（检索增强生成）
解决大模型 “知识过时、专业领域回答差” 的问题，通过 “知识库检索 + 大模型生成” 提升回复质量：
知识库预处理：
用脚本清洗、格式化数据，结合 bge-large-zh-v1.5 生成向量，存入向量数据库。
检索优化技术：
混合检索：同时用 “向量检索（语义匹配）+ 关键词检索（精确匹配）”，提升召回率；
文本切块：拆分长文本为小段（如 512 字），避免信息丢失；
rerank 排序：对检索结果重排，选出最相关的内容；
Prompt 工程：优化提示词，让大模型更高效结合检索到的知识，生成准确回复。
四、终端接入层：chatgpt-on-wechat + 微信公众号
负责 对接微信生态，接收和响应用户消息：
chatgpt-on-wechat 作为中间件，接入微信公众号，监听 微信服务器的 POST 请求（用户发的消息）；
收到请求后，调用 FastGPT 的 RAG 服务（即触发 “检索 + 生成” 流程）；
拿到回复后，再通过微信服务器，把结果推送给用户。
整体数据流向（用户视角）
用户→微信公众号发消息 → 微信服务器→chatgpt-on-wechat（接收） → FastGPT（调用 oneAPI，触发 xInference 的双模型：bge 做知识检索，qwen 做回复生成） → 模型推理（vLLM 加速） → 结果返回→用户收到回复。
负责 托管大模型和 Embedding 模型，是整个系统的 “大脑”：
对话模型：qwen2.5-instruct-14b（大语言模型，负责生成回复）
用 vLLM 做推理引擎，开启 int4量化：
让模型推理速度达 ~68 tokens / 秒（大幅提升响应速度），
显存占用优化到 0.8（降低 GPU 硬件成本，让大模型在普通显卡上也能跑）。
Embedding 模型：bge-large-zh-v1.5（智源，负责文本向量化，支撑知识检索）
二、接口封装层：oneAPI（OpenAI 接口模拟）
核心作用：把 xInference 的模型服务，伪装成 “OpenAI 接口”，让上层应用（如 FastGPT）可以用熟悉的 OpenAI 调用方式（如openai.ChatCompletion）对接本地模型，降低集成成本。
三、RAG 增强层：FastGPT（检索增强生成）
解决大模型 “知识过时、专业领域回答差” 的问题，通过 “知识库检索 + 大模型生成” 提升回复质量：
知识库预处理：
用脚本清洗、格式化数据，结合 bge-large-zh-v1.5 生成向量，存入向量数据库。
检索优化技术：
混合检索：同时用 “向量检索（语义匹配）+ 关键词检索（精确匹配）”，提升召回率；
文本切块：拆分长文本为小段（如 512 字），避免信息丢失；
rerank 排序：对检索结果重排，选出最相关的内容；
Prompt 工程：优化提示词，让大模型更高效结合检索到的知识，生成准确回复。
四、终端接入层：chatgpt-on-wechat + 微信公众号
负责 对接微信生态，接收和响应用户消息：
chatgpt-on-wechat 作为中间件，接入微信公众号，监听 微信服务器的 POST 请求（用户发的消息）；
收到请求后，调用 FastGPT 的 RAG 服务（即触发 “检索 + 生成” 流程）；
拿到回复后，再通过微信服务器，把结果推送给用户。
整体数据流向（用户视角）
用户→微信公众号发消息 → 微信服务器→chatgpt-on-wechat（接收） → FastGPT（调用 oneAPI，触发 xInference 的双模型：bge 做知识检索，qwen 做回复生成） → 模型推理（vLLM 加速） → 结果返回→用户收到回复。
项目实现
1.项目开发人员2人，我负责算法架构的设计，具体算法的实施，数据清洗，算法落地前并进行测试
2.技术实现：Fastgpt,Xinference,OneAPI,Chatgpt-on-wechat
2.技术实现：Fastgpt,Xinference,OneAPI,Chatgpt-on-wechat
示例图片视频
相似推荐
国网西安枣园WCS系统
主要工作：
1.对接户外龙门吊智能化通过控制 行车 PLC 来达到控制行车对货物的出入库和装车卸车的全流程自动化操作。同时对接WMS 业务系统配合完成出入库盘点他，统计数据等业务操作。
2.对仓库园区里全部1-3 号库 AGV 设备的 RCS 系统对接来实现控制出入库和抽检任务的自动化操作同时对接WMS 业务系统配合完成出入库盘点，统计数据等业务操作。
3.对接截米机和截米机配套机器人根据 WMS 下达任务来共同完成抽检和送样，反样等业务自动化操作控制。
4.对接园区全部IOT 网络。
5.对接智能灯杆
6.集成对接海康安防系统。
7.堆垛机对接
管理高速列车、普速列车运行信息的综合系统-列车运行信息综合管理系统
1、导入excel、word格式的文件电报，形成列车运行基本数据库，可以查看该周期下全国列车的车站、站台、检票口、时刻、车型、开行规律等内容；
2、对多种列车开行信息的自动（手工）录入、分解、归纳、整理，形成初步日历计划，建立索引，供用户调阅。
3、提供通知中心。快速掌握分解、整理等系统运行状况。
4、可自定义的自动生成每日列车开行计划。根据客户提供的excel文件，自动对比分析列车开行计划差异，可人工再次修改、确认最终版计划。分别形成可调用的json数据包或可以打印的excel文件。
印刷行业大模型-智能问数模块
基于LangGraph构建Multi-Agent系统，设计包含数据获取Agent、SQL生成Agent、图表渲染Agent的分布式处理架构；通过RESTfulAPI与MES系统建立数据通道；
Text2SQL模块，采用XiYanSQL-QwenCoder-32B作为基础模型，通过M-schema技术提升SQL生成准确率；设计SQL执行沙箱环境，通过语法解析和安全检查机制防止恶意查询；集成ECharts.js渲染引擎，通过模板匹配和动态配置生成多维度数据可视化图表，支持实时数据更新和交互式操作
土方计数管理系统
土方计数项目分为PC管理端和小程序端，PC管理端开放给项目管理人员使用，包括用户管理，组织管理，装料卸料点管理、物料管理、司机管理、车辆管理、运单管理。小程序端开发给作业人员使用，包括运输车司机、挖土车司机、卸料监督员，作业人员可在小程序端开始每日作业，针对不同的角色，进行运单流程中的各项作业操作。
供应链管理平台
工业品商城平台，提供寻源、比价、结算、物流、仓储、防伪溯源以及售后、供应链金融等综合服务；
企业招采平台，打通企业内部系统, 定制化交易招采专区服务, 从采购需求计划、招投标、电子签章、物流配送到支付结算, 实现采购业务全流程闭环管理, 提高上下游协同效率、降低企业采购成本；
铁铁智运平台，提供公开询价、电子合约、智能调度、车货匹配、运输监控、运费结算服务, 围绕车辆
全生命周期, 提供商用车贸易、金融保险、能源补给、汽配维保等后市场服务；
帮助文档
Copyright @ 2021-2024 程序聚合 | 浙ICP备2021014372号
人工客服