本项目是一款基于前沿深度学习模型(So-VITS-SVC)的本地化 AI 音频处理工具。核心功能旨在实现高保真的声音克隆与音色转换。主要模块包括:1. 音频数据预处理(自动切分、降噪、重采样);2. 声学特征(F0音高、内容特征)提取;3. 基于预训练模型的音色推理与转换;4. 最终的音频混音与格式输出。该系统可应用于虚拟主播(VTuber)配音、有声书制作、以及合规的 AI 音乐翻唱等场景,输出音频自然流畅,具有极高的拟真度。
整体架构:采用前后端分离或脚本化调度,底层依赖 PyTorch 框架进行模型推理,结合 FFmpeg 进行音视频流的解耦与重组。
我负责的模块:负责了 So-VITS 环境(CUDA依赖)的本地化部署、音频数据集的清洗与打标、推理脚本的参数调优(如音高偏移、浅扩散步数),以及最终打包发布。
遇到的坑与解决方案:
1.爆音与电音问题:在早期推理时,转换后的高音部分容易产生电流音。通过调整推理参数中的 F0 提取算法(如改用 rmvpe),并加入浅扩散(Shallow Diffusion)模型进行后期修复,大幅提升了音质。
2.环境与依赖冲突:PyTorch 与 CUDA 的版本依赖极其苛刻,且对显卡显存有一定要求。通过构建独立的 Conda/venv 环境,并优化多线程数据加载,成功在有限显存下跑通了流程。