数字人

1、立项背景和目标： 针对市面上部分播放器对特定音视频格式兼容性差、高码率视频播放卡顿等问题，本项目旨在基于C++开发一款高性能、轻量级的本地音视频播放软件，实现多格式音视频文件的流畅解码与高质量渲染。 2、软件功能、核心功能模块的介绍： 软件核心包含三大模块：1. 媒体解封装与解码模块（支持MP4、MKV等常见格式的解析与音视频分离）；2. 音视频渲染模块（实现视频画面的硬件/软件渲染，音频的实时输出）；3. 播放控制模块（支持播放、暂停、进度拖拽、音量调节、倍速播放等）。4. 格式转换模块（附加功能，若没有可删）。 3、业务流程、功能路径描述： 用户打开软件加载本地文件后，系统调用底层库进行解封装，提取音视频流。视频流经过解码器转为YUV像素数据交由渲染引擎展示；音频流解码为PCM数据交由声卡输出。播放过程中，通过主控模块监听用户操作，实时调整音视频缓冲队列。

【项目定位】 本项目是一款基于 Python 与 PySide6 开发的桌面级 AI 智能数字音频工作站（DAW）。实现了从音频导入、AI 模型提取、人工标注，到专业级打谱（MIDI/MusicXML）、和声编配及音频导出的全链路业务闭环。项目具备极高的技术壁垒，完美融合了底层音频处理、多线程并发、复杂 UI 渲染与 AI 推理。 【核心功能模块】 AI 音频处理与分离：深度集成 UVR（Ultimate Vocal Remover）多种主流模型（Demucs、MDX、Roformer 等），支持多模型合奏与自动降级；自研多线程音频流推送流，彻底解决跨平台播放延迟与无声 bug。 专业级音频编辑与标注：自研 Melodyne 级 Blob 音频编辑画布（支持音高/时间精细微调、共振峰保留、频谱画笔修复）；提供多轨 F0（基频）提取与波形/语谱图可视化。 工业级打谱与 MIDI 引擎：自研 MIDI 与 MusicXML 双向解析引擎，支持简谱/五线谱（五线谱解析、符杠算法、Opus 字体混排）。支持 LRC 歌词时间戳精准对位，并无缝对接西贝柳斯（Sibelius）插件。 音乐理论辅助系统：内置极其复杂的五度圈分析、和弦轨及基于斯波索宾规则的和声自动推演（DAG 全局寻优算法）；创新性地接入心理声学听感实验模块（响度、协和度、音色分析）。 【技术架构与工程保障】 架构解耦：采用 Mixin 驱动的重构技术，将高达 2 万行的 God Class 彻底拆分；基于事件总线实现视图、数据与音频底层的完全解耦。 性能优化：自研音频 LRU 预载池（首音延迟降至 0ms）、离屏场景缓存渲染、多进程 AI 推理防卡死机制。 质量保障：项目拥有 500+ 自动化回归测试集（QA Harness），严格隔离开发与生产环境，确保每次更新零回退；配套完整的多 Agent 协同开发规范与底层故障排雷（如系统沙盒级别等极端兼容性问题）。

技术栈：11年移动端开发经验，以 Java 与 Flutter 为主力语言。精通 Android 原生开发，熟练掌握 Flutter 跨端开发及混合工程架构，能快速实现多端一致性。熟悉 iOS/H5 代码，能顺畅进行跨团队协作与联调。 擅长场景：具备从0到1独立架构与开发完整App的能力。专注 IoT 智能硬件（安防、行车记录仪、路由器等）配套App开发；擅长 Flutter 与原生混合通信（桥接通道封装）、多设备统一能力抽象、以及音视频（直播开流、回放、双向通话采集传输）业务落地。 解决问题：能快速梳理复杂业务逻辑，解决 Flutter 与原生混合开发中的通信与兼容问题；精通 App/云端/固件跨端复杂问题的快速定界。能用 AI 工具辅助开发，把控项目周期，帮需求方低成本、高效率地完成产品交付。

项目基于FreeSWITCH搭建媒体网关，完成与ASR/TTS语音引擎对接，实现实时通话语音采集、转写与语音合成；集成FFmpeg实现多路音视频流处理、画面剪辑与视频合成能力。支持通话流实时处理、媒体文件混流、自定义字幕叠加，提供标准化API对外输出，可用于智能外呼、实时音视频AI交互场景，整套服务高并发、可分布式部署，交付可运行服务源码。

1、立项背景和目标 该项目为博涛神兽街沉浸式产品秀，包含神鹿秀、神鹰秀、后羿秀等三大产品秀。立项目标是依托UE5实时渲染能力，打造准确全程预演，提升文旅项目的视觉冲击力与互动观赏性。个人目标为独立完成UE5内全流程制作，并实现舞美灯光动画的非DMX插件化控制。 2、软件功能、核心功能模块介绍 软件基于UE5开发，核心功能包括实时渲染、产品秀序列播放、舞美搭建、灯光动画控制、特效及最终输出集成。 3、业务流程、功能路径描述 业务流程为：需求与脚本确认→资产导入→UE5环境搭建→舞美灯光实现→特效制作→Sequencer序列编排→渲染→交付。