基于 LLM TTS 多模态 api调用的 Live2D 桌面宠物应用-live2dpet
1.传统桌面宠物仅具备基础动画效果,交互形式单一、陪伴感薄弱,随着大语言模型与情感语音合成技术的发展,用户对具备智能对话、情绪反馈、环境感知能力的桌面陪伴产品需求日益增长。本项目旨在打造一款融合 Live2D 形象渲染与多模态 AI 能力的桌面宠物应用,为用户提供高沉浸感的桌面陪伴与交互体验。
2.涵盖 Live2D 模型渲染、LLM 智能对话、情感驱动语音合成、系统状态监控、屏幕视觉分析、事件管理器五大核心模块,支持自定义角色提示词与多平台大模型切换。
3.应用启动后,前端进程自动拉起对话、语音、监控三个独立后端进程,在桌面渲染支持拖拽的 Live2D 角色,实现自动眨眼、眼球追鼠等基础动画;用户输入对话时,请求经 ZeroMQ 发送至 LLM 后端,生成带情感标签的回复并流式展示在对话气泡中,同步驱动 TTS 后端合成对应情感风格的语音实时播放;监控后端持续采集 CPU、内存等硬件状态与前台窗口信息,结合多模态视觉分析结果,在低电量、高负载等场景触发宠物主动搭话;空闲达到设定时长后宠物会概率进入睡眠状态,点击可唤醒并触发起床台词,形成完整的自主交互闭环。
人工智能
音视频