基于 LLM TTS 多模态 api调用的 Live2D 桌面宠物应用-live2dpet
2026-08-05 01:45:44
行业：人工智能、音视频
载体：Windows应用
技术：Python、Qt、ZeroMQ、OpenGL
业务和功能介绍
1.传统桌面宠物仅具备基础动画效果，交互形式单一、陪伴感薄弱，随着大语言模型与情感语音合成技术的发展，用户对具备智能对话、情绪反馈、环境感知能力的桌面陪伴产品需求日益增长。本项目旨在打造一款融合 Live2D 形象渲染与多模态 AI 能力的桌面宠物应用，为用户提供高沉浸感的桌面陪伴与交互体验。
2.涵盖 Live2D 模型渲染、LLM 智能对话、情感驱动语音合成、系统状态监控、屏幕视觉分析、事件管理器五大核心模块，支持自定义角色提示词与多平台大模型切换。
3.应用启动后，前端进程自动拉起对话、语音、监控三个独立后端进程，在桌面渲染支持拖拽的 Live2D 角色，实现自动眨眼、眼球追鼠等基础动画；用户输入对话时，请求经 ZeroMQ 发送至 LLM 后端，生成带情感标签的回复并流式展示在对话气泡中，同步驱动 TTS 后端合成对应情感风格的语音实时播放；监控后端持续采集 CPU、内存等硬件状态与前台窗口信息，结合多模态视觉分析结果，在低电量、高负载等场景触发宠物主动搭话；空闲达到设定时长后宠物会概率进入睡眠状态，点击可唤醒并触发起床台词，形成完整的自主交互闭环。
2.涵盖 Live2D 模型渲染、LLM 智能对话、情感驱动语音合成、系统状态监控、屏幕视觉分析、事件管理器五大核心模块，支持自定义角色提示词与多平台大模型切换。
3.应用启动后，前端进程自动拉起对话、语音、监控三个独立后端进程，在桌面渲染支持拖拽的 Live2D 角色，实现自动眨眼、眼球追鼠等基础动画；用户输入对话时，请求经 ZeroMQ 发送至 LLM 后端，生成带情感标签的回复并流式展示在对话气泡中，同步驱动 TTS 后端合成对应情感风格的语音实时播放；监控后端持续采集 CPU、内存等硬件状态与前台窗口信息，结合多模态视觉分析结果，在低电量、高负载等场景触发宠物主动搭话；空闲达到设定时长后宠物会概率进入睡眠状态，点击可唤醒并触发起床台词，形成完整的自主交互闭环。
项目实现
采用四进程分离的模块化架构，基于 ZeroMQ 实现本机低延迟进程间通信，将前端渲染、LLM 对话、语音合成、系统监控四个能力域解耦为独立进程，通过 REQ/REP 模式处理同步调用，PUB/SUB 模式分发流式文本与音频数据，同时设计独立健康检查端口实现进程心跳检测，具备良好的故障隔离能力与功能扩展性。
前端基于 PySide6 搭建无边框透明桌面窗口与交互 UI，通过 OpenGL 与 live2d-py 实现 Live2D Cubism 2.x/3 + 全版本模型渲染；LLM 后端基于 httpx 对接 OpenAI 兼容大模型 API，实现流式对话与 6 层情感标签解析；TTS 后端集成 GPT-SoVITS 实现情感感知的流式语音合成；监控后端通过 psutil 采集系统硬件数据，mss+Pillow 实现内存级屏幕截图与编码，对接多模态视觉 API 完成屏幕内容理解。
独立完成项目整体架构设计与全栈开发，落地了统一 Pydantic 消息协议、流式音频播放引擎、事件驱动的自主交互系统等核心逻辑；实现 5 种内置性格与自定义角色卡配置能力，兼容 Ollama、DeepSeek 等多平台大模型；项目已开源并迭代至 v4.8 版本，覆盖对话、语音、系统监控、视觉分析等全场景交互能力。
一是多进程流式传输存在时序不同步与阻塞风险，通过设计 “流式广播 + 终态确认” 的双通路通信模式，加入超时重连与健康检查机制，解决了数据阻塞与进程失联问题；二是 LLM 输出的情感标签格式不稳定，通过构建 6 层回退解析链路，从严格 JSON 格式到宽松正则匹配逐层降级，大幅提升了情感标签提取的成功率；三是屏幕视觉分析耗时较长易阻塞监控主循环，将视觉调用放入独立工作线程与任务队列解耦，硬件广播与视觉分析异步执行，既保障了监控数据实时性，又实现了智能视觉交互能力。
注：项目在开源到github前进行了非常长时间的本地迭代，因此github上的commit记录不多，时间跨度不长。
前端基于 PySide6 搭建无边框透明桌面窗口与交互 UI，通过 OpenGL 与 live2d-py 实现 Live2D Cubism 2.x/3 + 全版本模型渲染；LLM 后端基于 httpx 对接 OpenAI 兼容大模型 API，实现流式对话与 6 层情感标签解析；TTS 后端集成 GPT-SoVITS 实现情感感知的流式语音合成；监控后端通过 psutil 采集系统硬件数据，mss+Pillow 实现内存级屏幕截图与编码，对接多模态视觉 API 完成屏幕内容理解。
独立完成项目整体架构设计与全栈开发，落地了统一 Pydantic 消息协议、流式音频播放引擎、事件驱动的自主交互系统等核心逻辑；实现 5 种内置性格与自定义角色卡配置能力，兼容 Ollama、DeepSeek 等多平台大模型；项目已开源并迭代至 v4.8 版本，覆盖对话、语音、系统监控、视觉分析等全场景交互能力。
一是多进程流式传输存在时序不同步与阻塞风险，通过设计 “流式广播 + 终态确认” 的双通路通信模式，加入超时重连与健康检查机制，解决了数据阻塞与进程失联问题；二是 LLM 输出的情感标签格式不稳定，通过构建 6 层回退解析链路，从严格 JSON 格式到宽松正则匹配逐层降级，大幅提升了情感标签提取的成功率；三是屏幕视觉分析耗时较长易阻塞监控主循环，将视觉调用放入独立工作线程与任务队列解耦，硬件广播与视觉分析异步执行，既保障了监控数据实时性，又实现了智能视觉交互能力。
注：项目在开源到github前进行了非常长时间的本地迭代，因此github上的commit记录不多，时间跨度不长。
示例图片视频
相似推荐
卷烟市场网格化管理系统性能测试（配合项目验收）
网格化管理信息系统是面向烟草行业的一体化智慧管理平台，融合 Web 端决策看板与移动端便携应用，构建全链路网格化管控体系。Web 端聚焦宏观决策，通过可视化看板实时呈现客户数量、烟农规模、人员配置及营销、专卖、物流等核心数据，支撑管理层精准研判；移动端主打一线实操，实现烟农分类管理、拜访次数统计、信息查询与拜访计划制定等功能，覆盖烟农全生命周期管理。系统打通数据壁垒，以网格化模式整合资源，提升烟草管理的精细化、智能化水平，助力烟草业务高效协同与科学决策。
瀚锦会员管理系统
1、立项背景和目标
传统美业团队管理长期依赖微信手工作业，存在会员信息分散、业绩数据滞后、团队成长路径不清晰等痛点。管理者无法实时掌握团队动态，销售数据靠人工统计，效率低下且容易出错。随着美业团队规模扩大，急需一套数字化工具来支撑日常运营。
本项目旨在开发一套覆盖"团队管理—业务运营—数据分析—成长体系"全链路的美业团队管理系统。核心目标包括：①实现会员信息集中管理，支持多等级会员体系（品牌私董、战略股东、金棠、银棠、喜棠、白棠等）；②打通客户管理、销售记录、产品管理、库存管理全流程数字化；③建立八级成长体系（初心者→探索者→行进者→奋进者→突破者→引领者→卓越者→巅峰者），为团队成员提供清晰的学习晋升路径；④通过数据中心提供业绩统计、客户分析、利润分析、业绩排名、周度报表等决策支持；⑤三端同步（PC端、手机端、APP端），确保数据实时一致。
2、软件功能、核心功能模块的介绍
系统包含以下核心功能模块：
团队管理模块：会员管理（增删改查、等级筛选、批量操作）、等级管理（多级会员价格体系）、组织架构树（上下级关系可视化）、一键设置（快速添加会员、一键生成测试账号）。
业务运营模块：客户管理（客户状态追踪：新客户→跟进中→已到访→有意向→已成交→已流失）、销售记录（全流程订单管理）、产品管理（SKU及价格体系管理）、库存管理、瀚锦TV中心（视频内容管理）、朋友圈运营（内容同步）。
数据中心模块：业绩统计（实时/累计业绩数据）、客户分析（客户分布与转化漏斗）、利润分析、业绩排名（团队排行榜）、周度报表（自动汇总）。
成长体系模块：八步成长系统（8个等级逐步成长，每级包含指定课程和作业）、学习计划管理（课件视频学习）、课程作业提交与审核、成长等级申请与审批、每日复盘。
系统管理模块：通知消息（群发/单独发送）、菜单功能开关、网站设置（SEO标题/描述/关键词）、版本管理（版本号自动更新、历史记录）、广告管理、操作日志、管理组权限管理、数据备份与恢复。
3、业务流程、功能路径描述
会员管理流程：管理员在后台添加会员 → 分配等级和上级 → 会员登录系统 → 查看个人资料和业绩数据 → 参与成长体系学习。
客户管理流程：销售人员创建客户 → 记录跟进和拜访 → 标记客户状态变化 → 成交后关联销售订单 → 自动更新业绩统计。
销售业务流程：选择客户和产品 → 创建销售订单 → 记录实付金额 → 系统自动更新库存 → 同步至数据中心业绩统计和排行榜。
成长升级流程：会员查看当前等级 → 观看对应课件视频 → 提交课程作业 → 管理员审核通过 → 申请晋升下一等级 → 管理员审批 → 等级更新解锁新权限。
数据同步流程：各业务模块产生数据 → 实时写入数据库 → stats_service聚合计算 → PC端/手机端/APP端三端实时同步展示。
农产品供应链项目-金桂农产品项目
负责优惠券模块和同步模块和优化系统架构，优化执行时间部署项目上线，然后测试bug，嗯，功能介绍就是农产品上下线对接然后发货物流便捷然后有那个供应商和客户对接，然后完成下单完成这个客户和供应商的一个对接
公司内部业务协同平台-MEAT
本项目为 vivo 内部运营管理 Web 后台，立项背景为解决多业务线运营数据分散、流程审批繁琐、业务协同效率偏低问题，目标实现业务流程线上化、数据统一归集、权限分级管控。核心模块包含数据看板、流程审批、业务配置、角色权限管理。业务流程：运营人员提交业务申请，经多级线上审批流转，完成配置后数据同步至看板，管理人员可查看统计报表，实现全链路业务管控，支撑内部多部门日常运营工作。
股权投资系统
在海宁市城市发展投资集团有限公司的股权投资系统项目中，担任前端开发角色，负责构建支持股权投资全流程管理的数字化平台。系统涵盖项目储备、立项审批、尽职调查、方案评审、决策执行、投后管理及退出等关键环节，实现业务流程的线上化与可视化。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服