多模态人工智能助手APP

1. 在 AI 技术爆发与多模态需求激增的背景下，本项目通过集成顶级模型矩阵与多功能插件，致力于打破技术壁垒、简化操作流程，为用户打造零门槛、个性化的智能助手。
2. 核心功能：语音与文字交互；结合实时网络搜索结果回答用户信息；图片、视频、音频、PDF等文件分析与总结；图片生成与编辑；视频生成等
3. 业务流程：用户指令（文字、语音、图片、文件等）--> AI模型识别意图与分配工具 --> 调用额外工具（如果需要）--> AI模型汇总用户指令与工具结果输出给用户

整体架构与设计思路：
· 客户端（flutter）
· 调度中心（golang+gin）: 负责 API 暴露、鉴权、多模型策略分发、第三方 API 集成以及与本地 Python 模型服务的通信。
· 模型引擎（第三方AI服务/python）：主流大模型主要使用第三方AI服务，python负责部分开源大模型的本地化部署、微调及特定AI工具任务的执行
· 数据存储（MySQL/Redis/S3）： MySQL存储静态核心数据（用户画像、账号信息）；Redis存储高频动态数据（调用次数、热点缓存）；S3存储非结构化大数据（会话上下文、多媒体文件等）。
· 监控与告警（opentelemetry+grafana）：全链路监控API调用、模型响应时间、系统资源使用情况，设置多维度告警规则，确保系统稳定运行。

项目职责：除了客户端，其他模块均由我独立开发完成，包括需求分析、架构设计、核心代码编写、测试与部署等全过程。
难点与解决方案：
· 模型处理时间过长，用户经常在响应过程中退出聊天界面，导致SSE连接中断。解决方案：使用缓存机制，实时缓存模型中间结果，用户重新进入聊天界面时可通过会话ID继续获取未完成的响应，提升用户体验。
· 第三方AI服务不稳定，偶尔出现请求超时或失败。解决方案：实现请求超时重试机制和备用模型切换策略，确保在主模型不可用时自动切换到备用模型，保障服务的连续性；同时对第三方服务的响应时间和成功率进行监控与告警，及时发现并处理异常情况。
. 部分模型（比如gemini）不支持内置工具与外部插件同时调用。解决方案：调整system prompt，默认启用内置工具调用，在内置工具无法满足需求时，再调用外部插件，确保模型能够灵活应对各种任务需求。
· 不同模型成本差异较大，放任用户频繁使用高成本模型会导致成本超支。解决方案：设计多模型调度策略，当用户请求达到一定频次时，优先分配低成本模型处理请求。