业务和功能介绍
立项背景与目标：随着 AI 歌声转换（SVC）技术快速发展，少量公开歌手录音即可被高保真克隆，侵害歌手人格权与知识产权。传统被动检测方案仅能在伪造音频生成后拦截，无法阻止模型学习音频音色；普通语音防御方案迁移至歌声场景会产生听觉噪声，破坏音乐细节。本项目由我独立完成，目标为搭建一套发布前主动防护系统，实现四点目标：防护有效，降低未授权 SVC 模型克隆歌手音色的能力；听感无损，保留歌词、旋律与歌唱颤音细节；链路鲁棒，抵抗音频压缩、混响、均衡等后处理；跨模型通用，对多种 SVC 架构均可生效，并提供完整训练推理代码与 Web 交互工作台。
软件功能与核心模块：整套系统六大模块均由我独立开发实现。①Web 交互工作台：实现音频导入、防护强度配置、音频试听对比、wav 音频导出；②推理 API 与任务队列：实现任务调度、状态管理，支持本地私有化部署；③潜扩散保护模型：项目核心算法模块，在 VAE 潜空间生成身份偏移扰动；④条件 VAE 编解码器：基于 So-VITS 实现歌声频谱的编码重构；⑤动态预处理模拟模块：训练时随机模拟各类音频变换，提升扰动鲁棒性；⑥多维评价模块，自动计算防御指标与音准、颤音等歌唱质量分数。
业务流程与功能路径：用户上传合法授权音频，系统完成音频格式校验；用户设置防护强度参数，模型在潜空间生成保护扰动，结合 PPG 内容表征、F0 基频、音色嵌入约束音频内容不变；采样解码生成受保护音频；用户在工作台试听对比原始音频与防护音频，确认效果后导出文件。原始母带本地留存，对外发布使用防护后的音频副本。
软件功能与核心模块：整套系统六大模块均由我独立开发实现。①Web 交互工作台：实现音频导入、防护强度配置、音频试听对比、wav 音频导出；②推理 API 与任务队列：实现任务调度、状态管理，支持本地私有化部署；③潜扩散保护模型：项目核心算法模块，在 VAE 潜空间生成身份偏移扰动；④条件 VAE 编解码器：基于 So-VITS 实现歌声频谱的编码重构；⑤动态预处理模拟模块：训练时随机模拟各类音频变换，提升扰动鲁棒性；⑥多维评价模块，自动计算防御指标与音准、颤音等歌唱质量分数。
业务流程与功能路径：用户上传合法授权音频，系统完成音频格式校验；用户设置防护强度参数，模型在潜空间生成保护扰动，结合 PPG 内容表征、F0 基频、音色嵌入约束音频内容不变；采样解码生成受保护音频；用户在工作台试听对比原始音频与防护音频，确认效果后导出文件。原始母带本地留存，对外发布使用防护后的音频副本。
项目实现
整体架构和设计思路：整套六层系统架构由我独立设计。交互层为 Web 前端工作台；服务层为推理 API；保护层为潜扩散防护模型；表示层为 So-VITS 条件 VAE；鲁棒层为动态音频预处理模块；评价层为指标计算模块。技术栈：使用 Python 完成模型训练与推理，Jupyter 完成数据集预处理、实验消融、指标分析；U-Net 网络采用交叉注意力注入多类声学条件，动态变换模块按扩散时间步调整扰动强度，在潜空间完成音色身份偏移，避免直接修改波形带来的噪声。
负责的模块和结果：我独立完成两阶段模型训练：第一阶段预训练条件 VAE 构建歌声潜空间；第二阶段完成潜扩散防护模型训练，设计联合损失函数\(\mathcal{L}_{total}= \mathcal{L}_{LDM}+\lambda\mathcal{L}_{Identity}\)，同时设计异性音色引导策略。基于 OpenSinger、GTSinger 数据集，在 5 种不同 SVC 模型上完成全部测试。实验量化结果：未经保护音频 SVC 音色相似度 0.7892~0.8300，经本系统防护后下降至 0.5097~0.5941；经过压缩、混响等后处理后防护效果依然保留；主观 MOS 综合得分 4.18，优于同类基线防护方案。独立完成 Web 交互工作台开发，实现音频上传、试听、导出全套交互。
我遇到的难点、坑，和解决方案：难点 1：直接在波形域添加对抗扰动会产生刺耳噪声，破坏歌声听感。我自行设计方案，将对抗扰动迁移至 VAE 潜空间，不在原始音频波形上直接修改，兼顾听感透明度和防护能力。难点 2：生成的保护扰动容易被音频压缩、均衡消除而失效。我独立设计动态预处理鲁棒训练策略，在训练流程随机加入音频后处理变换，并且随扩散时间步调整变换强度，显著提升真实传播链路下的鲁棒性。难点 3：单一引导策略会造成音色偏移不稳定。通过大量消融实验，我验证了**异性音色引导 + 显式身份损失**的组合方案效果最优，单独使用任意一项都会导致性能下滑；同时在 5 种 SVC 模型上做跨模型测试，解决模型过拟合、仅对单一 SVC 生效的问题。
负责的模块和结果：我独立完成两阶段模型训练：第一阶段预训练条件 VAE 构建歌声潜空间；第二阶段完成潜扩散防护模型训练，设计联合损失函数\(\mathcal{L}_{total}= \mathcal{L}_{LDM}+\lambda\mathcal{L}_{Identity}\)，同时设计异性音色引导策略。基于 OpenSinger、GTSinger 数据集，在 5 种不同 SVC 模型上完成全部测试。实验量化结果：未经保护音频 SVC 音色相似度 0.7892~0.8300，经本系统防护后下降至 0.5097~0.5941；经过压缩、混响等后处理后防护效果依然保留；主观 MOS 综合得分 4.18，优于同类基线防护方案。独立完成 Web 交互工作台开发，实现音频上传、试听、导出全套交互。
我遇到的难点、坑，和解决方案：难点 1：直接在波形域添加对抗扰动会产生刺耳噪声，破坏歌声听感。我自行设计方案，将对抗扰动迁移至 VAE 潜空间，不在原始音频波形上直接修改，兼顾听感透明度和防护能力。难点 2：生成的保护扰动容易被音频压缩、均衡消除而失效。我独立设计动态预处理鲁棒训练策略，在训练流程随机加入音频后处理变换，并且随扩散时间步调整变换强度，显著提升真实传播链路下的鲁棒性。难点 3：单一引导策略会造成音色偏移不稳定。通过大量消融实验，我验证了**异性音色引导 + 显式身份损失**的组合方案效果最优，单独使用任意一项都会导致性能下滑；同时在 5 种 SVC 模型上做跨模型测试，解决模型过拟合、仅对单一 SVC 生效的问题。
示例图片视频
相似推荐
姿态AI比对-运动健身通用工具
本项目包含 Android 原生 APP 与抖音小程序两套端，两端业务逻辑、比对功能完全一致。小程序依托抖音云服务，后端采用 Python 开发；Android 端全部运算本地离线执行，无需上传原始视频，兼顾多端使用需求，面向健身娱乐、动作教学、标准化动作考核等场景，基于 MediaPipe 人体骨骼识别技术，完成用户动作与标准动作模板的姿态比对分析。
业务核心逻辑：用户上传或录制动作视频，系统提取视频内人体骨骼关键点，与预先存储的标准动作 JSON 骨骼模板进行帧匹配。**匹配不依赖时间戳对齐**，仅通过骨骼相似度完成帧配对。遍历用户视频每一帧骨骼数据，和标准动作库计算相似度，匹配成功则在画面叠加两套骨骼（用户骨骼、标准模板骨骼，分色区分）；匹配失败则不叠加骨骼。直观呈现用户动作与标准动作之间的偏差，可用于健身娱乐动作打卡、训练复盘、动作质量评估。
核心功能分为四大模块。
1. 视频骨骼解析模块：支持读取本地视频，逐帧提取人体骨骼关键点；加载标准动作 JSON 模板，读取预设标准骨骼数据，视频解码不处理音频流，降低资源开销。
2. 姿态匹配判定模块：计算骨骼相似度分值。匹配成功后自动判定动作结果：动作达标标记为**正确**，记录加分项与对应分值；偏差超过阈值判定为错误动作，记录错误帧、偏差部位与文字说明，全部结果实时展示在界面文本控件，即时反馈动作正误。
3. 骨骼可视化模块：匹配成功帧叠加绘制双骨骼骨架，预览页面实时渲染；导出视频时，输出成品视频每一帧都自带骨骼叠加图层，并非原始视频画面。
4. 结果导出模块，统一汇总生成文件：单个 PDF 评估报告，错误动作页附带骨骼叠加截图与错误描述，正确动作仅记录加分项目；单个完整 MP4 视频，保存带骨骼绘制的画面。Android 端文件写入公共存储并保存至系统相册；抖音小程序文件存储于抖音云，支持在线查看报告与回放比对视频。
技术特点：Android 端 Java 原生开发，MediaCodec/MediaExtractor 完成视频编解码，Canvas 绘制骨骼，PdfDocument 生成 PDF；抖音小程序前端配合 Python 后端、抖音云实现云端骨骼解析与文件存储。
适用场景覆盖两大方向：健身娱乐（居家健身打卡、舞蹈趣味动作比对、动作趣味打分分享）；专业场景（康复训练评估、体育动作教学、标准化作业考核）。多端适配满足用户不同使用习惯，APP 注重离线隐私，小程序轻量化、便于社交分享传播
基于端侧离线语音识别与大模型辅助整理的组织部干部履职谈话工作台-谈话工作台
【业务背景】供电企业组织部门每年要对各二级单位领导班子和领导人员进行履职谈话，传统做法是「手机录音 + 手写速记 + Excel 汇总」，存在记录碎片化、整理耗时长、事例易丢失、统计口径不统一等问题。
【产品定位】「谈话工作台」是面向组工业务场景的免安装 Windows 桌面工具，把「现场谈话 → 记录整理 → 结果汇总 → 材料归档」打通为一条闭环流程，全程本机运行，音频不出电脑。
【核心功能】
① 单位与人员管理：按单位建库，人员区分正职 / 副职 / 一般员工并对应用人身份配色与统计口径，支持 Excel 名单模板批量导入（一个工作表即一个单位）。
② 谈话现场：本机离线实时语音转写，自动断句并区分「说话人1/2/3」；左栏「手动速记」可一键插入被评价对象标记与后备推荐层级，速记与转写并列保存，互为补充。
③ AI 整理：一键生成规范《谈话记录》（问答体）、班子整体评价、个人评价要点、问题与建议、后备推荐线索五类成果，并自动与原文逐条核对、提示可疑之处，防止大模型编造或张冠李戴；支持导出规范排版 Word。
④ 汇总与导出：自动生成谈话矩阵表、后备推荐结果汇总（严格对齐现行模板的层级排序与跨单位口径）、全公司总汇总，一键批量导出 Excel。
⑤ 协同与安全：两台电脑分组谈话可导出 / 导入谈话包自动合并，不重不漏；支持事后补谈；语音识别全程离线，仅在使用 AI 整理时按需上传文字，可单独关闭。
【业务流程】建单位与人员名单 → 现场录音转写 + 手动速记 → 一键 AI 整理并人工复核 → 汇总导出矩阵表与推荐结果 → 归档上交。
AI智能体聚合模块化平台-织智
1. 立项背景和目标
2024 年以来,大语言模型能力快速成熟,但模型能力到"普通人可用的应用"之间仍隔着三道门槛:
技术门槛:搭建一个可用的 AI 助手,需要写提示词、接模型 API、做向量检索、处理工具调用与异常,普通业务人员无法独立完成;
分发门槛:个人做出智能体后,没有统一的上架、试用、付费渠道,触达用户只能靠自己;
变现门槛:计费、分成、结算、提现缺乏配套,创作者的劳动无法形成收入闭环。
市面上的 Coze、Dify 等平台侧重"编排"本身,创作者经济环节(集市、钱包、数据分析)相对割裂。本项目的目标是做一个‘从编排到变现全链路打通’的平台。
我的目标
- 零代码:通过可视化节点编排,让不会写代码的人 10 分钟内搭出一个可对话的智能体;
- 可上架:一键发布到智能体集市,支持免费试用、按次付费、订阅三种商业模式;
- 能赚钱:创作者获得 70% 分成,平台提供钱包、提现、经营数据复盘;
产品定位:面向个人创作者和中小团队的 AI 智能体生产与交易平台。
2. 软件功能与核心模块
平台共 8 大功能模块、11 个页面,覆盖"创作 → 调试 → 发布 → 交易 → 结算 → 复盘"完整链路。
模块一:可视化编排工作台(核心)
模块二:对话调试
模块三:发布管理
模块四:智能体集市
模块五:智能体详情页
模块六:创作者工作台(Dashboard)
模块七:账户钱包
模块八:数据分析
AI漫剧制作平台
方格智能剧场是一站式 AI 漫剧制作 Web 平台，支持用户从剧本创作、场景角色配置、自动分镜生成，到 AI 视频渲染预览的全链路漫剧生产。核心功能包含剧本编辑、角色与场景道具管理、AI 自动生成分镜、视频预览渲染、作品管理、个人素材资产库。用户无需专业影视知识，输入剧本即可一键生成电影质感漫剧短片，大幅降低 AI 短剧、漫剧的制作门槛，面向短视频创作者、内容团队使用。
AI电商客服
立项背景：人工客服三大痛点（重复问题多、大模型幻觉碰资金、售后必须人工介入）→ 引出“模型只做理解与表达、业务事实一律来自系统、资金边界由规则与人工兜底”的立项思路
软件功能：6 大功能面（智能对话、路由、工具调用、RAG、HITL 工作流、可观测评测）
核心模块：5 个模块各自机制展开，含路由守卫 rule_guard_* 收敛、RAG 四步检索、resume_token 恢复链
业务流程：一次对话的六阶段全流程 + HITL 审批闭环
功能路径：五条互斥路径对照表（触发条件 / 事实来源 / 典型例子）
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服