【立项背景与目标】
市面上的陪伴型 AI 助手普遍存在三个问题:只能活在单一平台、没有长期记忆(今天说过的事明天就忘)、回复像客服。本项目目标是做一个"记得住人、跨平台是同一个她"的陪伴型机器人,让对话在 QQ、抖音两端连续,并具备语音、表情包等拟人表达能力。
【核心功能模块】
1. 多平台接入:QQ 为主阵地(接入 NapCat/OneBot 协议),抖音为副阵地,两端共用同一人格与同一套记忆,用户在一端说过的话另一端能回忆起来。
2. 三层长期记忆:事实卡(固定偏好/禁忌,每次对话强制注入)、向量记忆库(跨会话语义召回)、会话历史。"记住我说的话"有两条落地通道:桥接层正则直接落盘 + 模型侧工具写入。
3. 语音交互:收到的语音消息本地离线转写,回复可按情绪合成语音(三套 TTS 引擎按优先级自动兜底)。
4. 情绪化表达:337 张表情包按情绪分类发送,支持主动发起消息、定时提醒、QQ 空间动态。
5. 人格与安全:傲娇系人格提示词 + 出站文本清洗,既避免"AI 腔",也防止内部机制和实现细节泄露给用户。
【业务流程】
用户消息 → NapCat 上报 → 桥接服务组装上下文(事实卡 + 当前情绪状态 + 记忆召回结果)→ 调用大模型 → 解析回复中的动作标记(表情包/语音/说说/提醒)→ 按字数自动拆分为多条气泡发送。
【整体架构】
QQ/抖音客户端 ← NapCat(注入 NTQQ)/ 浏览器自动化 → Node.js 桥接层 → DSH headless 会话 → 大模型 API。全链路部署在阿里云单机,systemd 托管 3 个常驻服务(QQ 桥、抖音桥、记忆后端),异常自动拉起。
【技术栈划分】
- 接入层:Node.js 编写桥接服务,负责协议转换、上下文组装、富媒体下发;
- AI 层:DSH 框架 + 大模型,会话按用户维度隔离;
- 语音层:Python,识别用 sherpa-onnx + paraformer-zh 离线模型,合成用 CosyVoice2 为主、MiniMax 与 edge-tts 依次兜底;
- 记忆层:自建向量记忆服务,跨平台共享同一记忆库。
【我负责的模块与结果】
独立完成从协议接入、上下文工程、记忆系统到部署运维的全链路:
- 语音链路:3.7 秒音频离线识别耗时约 0.04 秒,含模型推理的端到端回复约 8–9 秒;
- 表情包能力:337 张按情绪标签命中,单次回复限 1 张,避免刷屏;
- 主动消息:空闲 20 分钟后按权重递进掷骰(上限 75%),限定时段与每日条数,兼顾"像真人"和不打扰;
- 记忆可靠性:修复"口头答应记住却没真正落盘"的问题,改为桥接层直接落盘 + 模型工具双通道,事实卡命中率 100%。
【难点与解决方案】
1. QQ 客户端与注入框架版本窗口极窄(必须落在"腾讯最低可登录版本"与"框架支持上限"之间),实测仅某一具体构建号可稳定注入,且每次换版本都需重建资源目录的符号链接钩子——最终把版本号、目录结构与启动参数固化进部署文档。
2. 大模型服务端做渠道风控,对系统提示词做"连续整句指纹"校验,命中即返回 400 错误。通过固定请求头、只替换单句变量的 A/B 对照二分,定位到两句触发文本,在出站环节做零语义改写(各插入一个虚词)后恢复正常。
3. 记忆链路存在三处隐性断裂(匹配规则过窄、模型不主动调用写入工具、记忆文件路径错位),逐层定位修复并加入自检日志,避免"看起来记了其实没记"。