张良

1、立项背景和目标 当前在线教育、直播互动及内容创作领域对个性化音频表达的需求日益增长。然而，传统变声工具普遍存在音质失真严重、操作门槛高、灵活性差等问题，无法满足高质量、低延迟的实时变声需求。RVC（Retrieval-based Voice Conversion）作为一个基于VITS框架的AI变声系统，旨在通过深度学习技术实现高质量的声音克隆与实时变声，让用户以极低的数据量（推荐10分钟低底噪语音）即可训练出个性化声纹模型，同时杜绝音色泄漏问题，即使在较差的显卡上也能快速训练推理，真正降低AI变声技术的使用门槛。 2、软件功能、核心功能模块的介绍 本产品核心功能包括三大模块：一是声音克隆训练模块，支持用户上传少量语音样本进行模型微调训练，通过top1检索替换输入源特征为训练集特征来杜绝音色泄漏，并支持模型融合以改变音色；二是实时变声推理模块，实现端到端低延迟（最低可达90ms）的实时语音转换，支持直播场景下的动态音色切换；三是音频处理辅助模块，内置UVR5人声伴奏分离模型与RMVPE音高提取算法，可快速完成素材预处理。 3、业务流程、功能路径描述 用户首次使用时，通过运行go-web.bat启动WebUI训练推理界面，或运行go-realtime-gui.bat启动实时变声图形界面。在训练流程中，用户需准备10分钟以上的低底噪语音素材，通过UVR5功能分离人声与伴奏，在WebUI中配置模型参数并启动训练。训练完成后，生成的.pth模型文件和.index特征索引文件存放于weights目录，可被实时变声界面调用。在实时变声场景下，用户选择目标模型并连接麦克风输入，系统通过流式处理实现实时语音转换并输出至虚拟音频设备供直播软件使用。