业务和功能介绍
1. 在 AI 技术爆发与多模态需求激增的背景下，本项目通过集成顶级模型矩阵与多功能插件，致力于打破技术壁垒、简化操作流程，为用户打造零门槛、个性化的智能助手。
2. 核心功能：语音与文字交互；结合实时网络搜索结果回答用户信息；图片、视频、音频、PDF等文件分析与总结；图片生成与编辑；视频生成等
3. 业务流程：用户指令（文字、语音、图片、文件等）--> AI模型识别意图与分配工具 --> 调用额外工具（如果需要）--> AI模型汇总用户指令与工具结果输出给用户
2. 核心功能：语音与文字交互；结合实时网络搜索结果回答用户信息；图片、视频、音频、PDF等文件分析与总结；图片生成与编辑；视频生成等
3. 业务流程：用户指令（文字、语音、图片、文件等）--> AI模型识别意图与分配工具 --> 调用额外工具（如果需要）--> AI模型汇总用户指令与工具结果输出给用户
项目实现
整体架构与设计思路：
· 客户端（flutter）
· 调度中心（golang+gin）: 负责 API 暴露、鉴权、多模型策略分发、第三方 API 集成以及与本地 Python 模型服务的通信。
· 模型引擎（第三方AI服务/python）：主流大模型主要使用第三方AI服务，python负责部分开源大模型的本地化部署、微调及特定AI工具任务的执行
· 数据存储（MySQL/Redis/S3）： MySQL存储静态核心数据（用户画像、账号信息）；Redis存储高频动态数据（调用次数、热点缓存）；S3存储非结构化大数据（会话上下文、多媒体文件等）。
· 监控与告警（opentelemetry+grafana）：全链路监控API调用、模型响应时间、系统资源使用情况，设置多维度告警规则，确保系统稳定运行。
项目职责：除了客户端，其他模块均由我独立开发完成，包括需求分析、架构设计、核心代码编写、测试与部署等全过程。
难点与解决方案：
· 模型处理时间过长，用户经常在响应过程中退出聊天界面，导致SSE连接中断。解决方案：使用缓存机制，实时缓存模型中间结果，用户重新进入聊天界面时可通过会话ID继续获取未完成的响应，提升用户体验。
· 第三方AI服务不稳定，偶尔出现请求超时或失败。解决方案：实现请求超时重试机制和备用模型切换策略，确保在主模型不可用时自动切换到备用模型，保障服务的连续性；同时对第三方服务的响应时间和成功率进行监控与告警，及时发现并处理异常情况。
. 部分模型（比如gemini）不支持内置工具与外部插件同时调用。解决方案：调整system prompt，默认启用内置工具调用，在内置工具无法满足需求时，再调用外部插件，确保模型能够灵活应对各种任务需求。
· 不同模型成本差异较大，放任用户频繁使用高成本模型会导致成本超支。解决方案：设计多模型调度策略，当用户请求达到一定频次时，优先分配低成本模型处理请求。
· 客户端（flutter）
· 调度中心（golang+gin）: 负责 API 暴露、鉴权、多模型策略分发、第三方 API 集成以及与本地 Python 模型服务的通信。
· 模型引擎（第三方AI服务/python）：主流大模型主要使用第三方AI服务，python负责部分开源大模型的本地化部署、微调及特定AI工具任务的执行
· 数据存储（MySQL/Redis/S3）： MySQL存储静态核心数据（用户画像、账号信息）；Redis存储高频动态数据（调用次数、热点缓存）；S3存储非结构化大数据（会话上下文、多媒体文件等）。
· 监控与告警（opentelemetry+grafana）：全链路监控API调用、模型响应时间、系统资源使用情况，设置多维度告警规则，确保系统稳定运行。
项目职责：除了客户端，其他模块均由我独立开发完成，包括需求分析、架构设计、核心代码编写、测试与部署等全过程。
难点与解决方案：
· 模型处理时间过长，用户经常在响应过程中退出聊天界面，导致SSE连接中断。解决方案：使用缓存机制，实时缓存模型中间结果，用户重新进入聊天界面时可通过会话ID继续获取未完成的响应，提升用户体验。
· 第三方AI服务不稳定，偶尔出现请求超时或失败。解决方案：实现请求超时重试机制和备用模型切换策略，确保在主模型不可用时自动切换到备用模型，保障服务的连续性；同时对第三方服务的响应时间和成功率进行监控与告警，及时发现并处理异常情况。
. 部分模型（比如gemini）不支持内置工具与外部插件同时调用。解决方案：调整system prompt，默认启用内置工具调用，在内置工具无法满足需求时，再调用外部插件，确保模型能够灵活应对各种任务需求。
· 不同模型成本差异较大，放任用户频繁使用高成本模型会导致成本超支。解决方案：设计多模型调度策略，当用户请求达到一定频次时，优先分配低成本模型处理请求。
示例图片视频
相似推荐
memRagAgent - 智能认知记忆系统
开源地址：https://github.com/daoyou-zhang/memRangeAgent
### 记忆增强检索（Memory RAG）
系统的核心是三层记忆架构的实现。情节记忆（Episodic）采用 PostgreSQL 存储，每条记录包含对话内容、时间戳、用户 ID、会话 ID 等元数据，并通过向量化技术生成 embedding，支持语义检索。语义记忆（Semantic）通过 LLM 从情节记忆中提炼，存储抽象概念、用户偏好、领域知识等，形成结构化的知识条目。程序记忆（Procedural）记录成功的工具调用序列和操作流程，支持流程复用。
向量检索基于余弦相似度算法，将用户输入向量化后，在记忆库中检索最相关的历史记录。检索结果按相关性和时间衰减加权排序，确保既考虑语义相关性，又优先召回近期记忆。通过 Redis 缓存热点查询，将 RAG 检索延迟控制在 100ms 以内。
### 认知控制器（Cognitive Controller）
认知流程分为四个阶段：意图理解 → 上下文聚合 → 回复生成 → 学习闭环。意图理解使用独立的快速模型（qwen-flash），低温度（0.1）保证稳定的 JSON 输出，分析用户意图类别、实体、置信度和是否需要工具调用。上下文聚合从记忆服务获取用户画像、工作记忆（最近对话）和 RAG 检索结果，从知识服务获取图谱查询结果，融合成完整上下文。回复生成使用高质量模型（deepseek-v3），温度 0.5 保证创造性和稳定性的平衡。学习闭环将对话存入情节记忆，触发异步的画像聚合任务。
### 知识图谱集成
采用 Neo4j 图数据库构建知识图谱，支持实体（Entity）、关系（Relationship）、属性（Property）的灵活建模。实体包括人物、概念、事件等，关系包括"属于"、"相关"、"导致"等语义连接。通过 Cypher 查询语言实现路径查询、社区发现、中心性分析等图算法。
电商类型-Home Live
HomeLive是一款服务于全球用户的在线外贸交易平台，核心定位是打破跨境购物壁垒，满足中国消费者不出国门就能便捷选购全球商品的需求。平台汇集全球各地知名品牌供应商，打造多元化服务体系，涵盖在线直播带货频道、认证商家一站式购物服务，同时保障海外商品现货库存充足，提供全球货物护航直邮服务，全方位提升跨境购物的便捷性与安全性。
.该工具仅采集互联网上公开可商用、无版权声明且符合国家
为解决电商从业者手动整理商品信息效率低的问题，我用 Python 开发了一款自动爬取公开商品列表的小工具，能按设定的关键词抓取商品名称、价格和销量信息，并自动整理成表格格式，帮助快速汇总竞品或目标类目的基础数据，降低人工整理的时间成本。该工具仅支持爬取用户授权或平台公开可商用的非版权类图片与基础数据，不涉及影视、付费素材等有版权保护的内容，全程遵守网站 robots 协议和数据使用规范，确保爬取行为合法合规
本地生活小程序
本地生活小程序，为了相应政策的拉动消费，让本地人群实现物美价廉的购物体验，包括在线超市，本地商家等，超市支持配送到家，平台商户折扣消费后返积分，积分可以兑换优惠券，再次消费，打造良性循环。
充电宝小程序，用于充电宝租借，电池包租借小程序用于电池包租借
立项背景和目标：
随着共享经济发展，共享充电宝已成为人们外出时解决手机电量焦虑的刚需。本项目旨在开发一款跨平台的充电宝租借小程序/App，覆盖用户从查找附近机柜、扫码租借、在线支付到归还的全流程。同时通过电池包租借功能拓展业务场景（如便携充电包），提升用户体验与平台收益。
核心功能模块：
地图找点：基于LBS显示附近可用机柜，支持按距离/空闲状态筛选，一键导航。
扫码租借：扫描机柜二维码或手动输入编号，快速租借充电宝或电池包。
信用免押：接入第三方信用分（如芝麻信用），高信用用户免押金租借。
订单与支付：实时计费，支持微信/支付宝支付，订单历史可查，押金秒退。
用户中心：个人信息、优惠券、客服反馈、使用帮助等。
业务流程描述：
用户打开小程序 → 授权定位 → 首页地图展示附近机柜 → 点击机柜查看详情（剩余充电宝数、距离）→ 选择“扫码租借”扫描二维码 → 确认租借，系统判断信用分 → 免押/支付押金 → 机柜弹出充电宝 → 使用中可查看剩余电量/计费 → 归还时扫描任意同品牌机柜二维码 → 插入充电宝 → 系统自动结算费用并扣款 → 订单完成。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服