业务和功能介绍
在现代社会，人们对情感咨询的需求日益增长，但传统的情感导师服务面临着诸多难题。一方面，高昂的咨询费用让许多人望而却步；另一方面，由于情感导师数量有限，响应速度较慢，无法及时满足用户的需求。为了打破这些困境，我们团队全力打造了 “AI 恋爱军师”项目。该项目依托微信公众号平台，借助大模型技术，为用户提供高效、个性化且随时随地可得的情感咨询服务，帮助用户快速解决情感困扰。
一、模型部署层：xInference + 双模型
负责 托管大模型和 Embedding 模型，是整个系统的 “大脑”：
对话模型：qwen2.5-instruct-14b（大语言模型，负责生成回复）
用 vLLM 做推理引擎，开启 int4量化：
让模型推理速度达 ~68 tokens / 秒（大幅提升响应速度），
显存占用优化到 0.8（降低 GPU 硬件成本，让大模型在普通显卡上也能跑）。
Embedding 模型：bge-large-zh-v1.5（智源，负责文本向量化，支撑知识检索）
二、接口封装层：oneAPI（OpenAI 接口模拟）
核心作用：把 xInference 的模型服务，伪装成 “OpenAI 接口”，让上层应用（如 FastGPT）可以用熟悉的 OpenAI 调用方式（如openai.ChatCompletion）对接本地模型，降低集成成本。
三、RAG 增强层：FastGPT（检索增强生成）
解决大模型 “知识过时、专业领域回答差” 的问题，通过 “知识库检索 + 大模型生成” 提升回复质量：
知识库预处理：
用脚本清洗、格式化数据，结合 bge-large-zh-v1.5 生成向量，存入向量数据库。
检索优化技术：
混合检索：同时用 “向量检索（语义匹配）+ 关键词检索（精确匹配）”，提升召回率；
文本切块：拆分长文本为小段（如 512 字），避免信息丢失；
rerank 排序：对检索结果重排，选出最相关的内容；
Prompt 工程：优化提示词，让大模型更高效结合检索到的知识，生成准确回复。
四、终端接入层：chatgpt-on-wechat + 微信公众号
负责 对接微信生态，接收和响应用户消息：
chatgpt-on-wechat 作为中间件，接入微信公众号，监听 微信服务器的 POST 请求（用户发的消息）；
收到请求后，调用 FastGPT 的 RAG 服务（即触发 “检索 + 生成” 流程）；
拿到回复后，再通过微信服务器，把结果推送给用户。
整体数据流向（用户视角）
用户→微信公众号发消息 → 微信服务器→chatgpt-on-wechat（接收） → FastGPT（调用 oneAPI，触发 xInference 的双模型：bge 做知识检索，qwen 做回复生成） → 模型推理（vLLM 加速） → 结果返回→用户收到回复。
一、模型部署层：xInference + 双模型
负责 托管大模型和 Embedding 模型，是整个系统的 “大脑”：
对话模型：qwen2.5-instruct-14b（大语言模型，负责生成回复）
用 vLLM 做推理引擎，开启 int4量化：
让模型推理速度达 ~68 tokens / 秒（大幅提升响应速度），
显存占用优化到 0.8（降低 GPU 硬件成本，让大模型在普通显卡上也能跑）。
Embedding 模型：bge-large-zh-v1.5（智源，负责文本向量化，支撑知识检索）
二、接口封装层：oneAPI（OpenAI 接口模拟）
核心作用：把 xInference 的模型服务，伪装成 “OpenAI 接口”，让上层应用（如 FastGPT）可以用熟悉的 OpenAI 调用方式（如openai.ChatCompletion）对接本地模型，降低集成成本。
三、RAG 增强层：FastGPT（检索增强生成）
解决大模型 “知识过时、专业领域回答差” 的问题，通过 “知识库检索 + 大模型生成” 提升回复质量：
知识库预处理：
用脚本清洗、格式化数据，结合 bge-large-zh-v1.5 生成向量，存入向量数据库。
检索优化技术：
混合检索：同时用 “向量检索（语义匹配）+ 关键词检索（精确匹配）”，提升召回率；
文本切块：拆分长文本为小段（如 512 字），避免信息丢失；
rerank 排序：对检索结果重排，选出最相关的内容；
Prompt 工程：优化提示词，让大模型更高效结合检索到的知识，生成准确回复。
四、终端接入层：chatgpt-on-wechat + 微信公众号
负责 对接微信生态，接收和响应用户消息：
chatgpt-on-wechat 作为中间件，接入微信公众号，监听 微信服务器的 POST 请求（用户发的消息）；
收到请求后，调用 FastGPT 的 RAG 服务（即触发 “检索 + 生成” 流程）；
拿到回复后，再通过微信服务器，把结果推送给用户。
整体数据流向（用户视角）
用户→微信公众号发消息 → 微信服务器→chatgpt-on-wechat（接收） → FastGPT（调用 oneAPI，触发 xInference 的双模型：bge 做知识检索，qwen 做回复生成） → 模型推理（vLLM 加速） → 结果返回→用户收到回复。
项目实现
1.项目开发人员2人，我负责算法架构的设计，具体算法的实施，数据清洗，算法落地前并进行测试
2.技术实现：Fastgpt,Xinference,OneAPI,Chatgpt-on-wechat
2.技术实现：Fastgpt,Xinference,OneAPI,Chatgpt-on-wechat
示例图片视频
相似推荐
智能跟单系统
系统需实时接收处理从寄递平台同步的邮件收寄及轨迹等信息，数据量日常约为20亿，双十一高峰期间峰值约为30亿，对业务人员指定的约100种异常进行实时跟踪处理。寄递平台通过ESB接口每天实时将邮件收寄及轨迹信息同步到跟单系统，系统通过分布式加工处理后，分库分表存储到10套Oracle生产数据库中，再通过OGG实时将数据同步至40套计算库中进行异常分析计算，再将分析出的异常结果交由分单服务进行异常分单，分单结果再交由调度系统进行调度处理。
固定资产运营与管理系统
此系统是为某城市建设投资集团有限公司开发的固定资产运营与管理系统，基于新一代协同运营平台理念开发，覆盖多种国有资产类型的全生命周期管理，以提高企业资产运营运行可靠性与使用价值为目标，降低资产的养护维修成本、提升运行质量，提升企业资产运营效能。
资产管理方面，包含基础信息管理、办公用品管理、办公资产管理、车辆资产管理、IT资产管理、生产经营设备管理、不动产管理、无形资产管理、产权管理、合作企业信息管理、产权盘点等功能模块。
资产运营方面，包含不动产租赁（登记、计划、台账、审批、维修、巡查、备案等）、国有资产交易、存量资产管理、资产处置管理、保险登记、股权信息登记、安全生产排查等功能模块。
此系统标准化功能与灵活定制共存，支持按照个性化需求，灵活调整用户标识、权限、流程、基础数据。助力国资企业理清家底、盘活资产保值增值和增强资产监管。
某港口智能运行与绿色能源智能评价软件
此系统是为某港务集团定制的一款专为大型集装箱港口智能运行与绿色能源智能评价设计的软件系统，按照智慧、绿色、高效、安全四个维度，形成反映自动化集装箱码头、集装箱水平运输系统和公路集疏运系统等不同作业场景生产运行和用能需求特征的指标集及评价方法，能够接收来自现有推送服务发送的指标数据和手动录入的指标数据，涵盖了基本的运行数据采集、运行数据管理、运行指标评价、运行数据和评价指标可视化展示、评价报告管理等功能。系统采用了模块化设计，具有高度的可操作性与可扩展性，使用简便，功能强大，测试运行稳定可靠，具有较强的实用性。此外，系统设计允许通过灵活配置API参数来接收不同来源的数据；同时利用统计分析、订阅发布机制、异步处理等核心技术，进行数据的实时核查与补充，并通过Web容器在前端页面进行展示。系统具备优秀的平台型架构，并且提供了易于扩展的二次开发接口和数据交互接口，方便用户挖掘更多增值服务潜力，并与其他系统集成。
潜伏式AGV小车-潜伏式AGV小车
该项目旨在为山东蔚克数控机械有限公司目标客户生产载重一吨的可自动运输货架的运输机器人。
1.使用AutoCAD Electrical设计整体原理图。
2.使用Altium Designer设计驱动板。
3.电机控制程序功能（使用Orin NVIDIA Jetson开发板）:使用 C 编写速度环、位置环。PWM输出给伺服/BLDC驱动器。可通过 CAN 与工业PC交互。
4.电池控制程序功能：BMS 端用 C/C++ 配置报警阈值。IPC端用 Python 或 C++ 获取电量、电流、电压数据，用于调度与续航监控。
我们在项目中。
基于RFID的布草管理系统
1.背景：解决传统布草管理“追踪难、订单乱、数据滞后”痛点，通过RFID技术实现布草从洗涤、配送、使用到回收的全生命周期管理。
2.功能介绍：包含司机收送布草的清点，布草洗涤订单执行；酒店/民宿客户布草下单及订单统计分析；洗涤厂对与洗涤量的统计分析，对于布草的管理追溯，布草位置分布、组成等的统计分析，以及协助洗涤厂提高配货精确度；
3. 流程：布草入库->酒店下单->司机配送->酒店使用-->司机收取->洗涤厂洗涤->洗涤后入库->配货->再次循环...
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服