### 1. 立项背景目标
传统网文改编短剧制作链路长:小说人工改写剧本、画师绘制角色与分镜、配音、剪辑,人力成本高、制作周期漫长,个人创作者很难独立完成动漫短剧。
项目目标:打通**小说→剧本→角色→分镜图→配音字幕→成片**的全自动化 AIGC 流水线,一站式 Web 操作界面,自动处理文本、图像、音频、视频,让单人快速把小说转为竖屏国漫短剧,降低 AIGC 动漫内容生产成本。
### 2. 软件功能和核心功能模块介绍
1. **项目管理模块**
新建短剧项目,填写项目名称、画面风格、镜头数量;保存 / 加载本地项目,项目文件持久化到本地目录;进度日志实时展示流水线运行状态。
2. **剧本生成 & 编辑模块**
粘贴小说原文,大模型自动将小说内容转换为短剧剧本;自动提取角色、分集剧情、镜头台词;支持在线直接编辑 JSON 剧本,修改角色、镜头、台词。
3. **角色管理 & 定妆照生成模块**
自动提取小说人物信息,生成角色表(姓名、年龄、人设、形象标签);一键批量调用 AI 绘图,生成角色定妆图,后续分镜保持角色形象统一。
4. **分镜生成模块**
基于剧本自动生成分镜表,包含镜号、景别、时长、人物、场景、台词;调用 AI 绘图模型批量生成分镜画面,实时查看生成进度。
5. **配音与视频合成模块**
TTS 一键配音,生成人物语音与字幕;FFmpeg 完成视频合成,自动混入 BGM;支持环境检测,校验 FFmpeg、ComfyUI、大模型环境是否就绪,支持本地 / 云图生图模式切换。
### 3. 业务流程和功能路径描述
1. 打开 Vido 应用,新建项目,填写项目名称、画面风格、总镜头数量,粘贴小说原文;
2. 执行剧本生成,系统将小说转为短剧剧本,进入剧本页面,人工检查、编辑 JSON 剧本内容;
3. 进入角色页面,查看自动提取的角色信息,点击按钮批量生成角色定妆照;
4. 进入分镜页面,系统自动生成全部镜头分镜清单,一键批量生成分镜图片;
5. 切换到合成页面,先一键配音,生成台词音频和字幕;再一键合成成片,导入 BGM;
6. 环境检测可提前校验依赖,支持 mock 离线模式测试流程,云 GPU / 本地占位图两种绘图模式。
### 1. 整体架构,设计思路,不同模块使用的技术栈
- **整体架构**:前端 Web 界面 + Python 后端调度服务 + AIGC 能力层 + 本地文件存储。
- **设计思路**:按短剧制作流水线做分步式编排,分为项目、剧本、角色、分镜、合成 5 个阶段;每个阶段产出产物(剧本 JSON、角色图、分镜图、音频)保存本地,支持人工介入修改;串联 LLM 文本、文生图、TTS、FFmpeg 视频处理,把多类 AIGC 工具封装成统一操作界面。
- **模块技术栈**
- 前端:React,实现多步骤标签页、表单、表格、进度日志、JSON 编辑器,展示角色表、分镜列表。
- 后端:Python,负责项目文件管理、调用大模型接口、编排流水线任务。
- 文本模块:LLM 大模型,小说转剧本、提取角色、拆分镜头台词,输出结构化 JSON 剧本。
- 图像模块:即梦 Seedream/ComfyUI,文生图,生成角色定妆照、分镜画面,支持云 GPU 绘图 / 本地占位图两种模式。
- 音视频模块:Edge TTS 语音合成;FFmpeg 视频合成,拼接画面、音频、字幕、背景音乐。
### 2. 我的负责模块和结果
负责前端页面开发与流水线交互层开发,搭建 5 步式页面导航;开发项目创建、剧本 JSON 在线编辑器、角色表格、分镜表格、合成操作页面;对接后端任务接口,实时拉取任务进度并渲染进度日志;实现环境检测面板,展示 FFmpeg、ComfyUI、大模型状态。
最终交付完整 Web 操作界面,串联小说到成片全流程,支持项目保存加载、剧本编辑、角色 / 分镜批量生成、配音成片,用户可视化操作整条短剧生产流水线。
### 3. 遇到的难点,坑和解决方案
1. **难点 1:AI 绘图角色形象漂移,同一个人物不同分镜长相不一致**
坑:直接生成分镜图,每一张画面人物外貌差异很大,短剧观感割裂。
解决方案:先单独生成角色定妆照,提取人物特征标签,分镜绘图时把角色特征标签注入 prompt,固定人物形象,保证同角色跨镜头一致性。
2. **难点 2:流水线任务长,生成任务容易中断,进度不可见**
坑:生成几十张分镜、批量配音是长时间任务,一旦失败不知道卡在哪一步。
解决方案:增加分阶段任务调度与实时进度日志,每完成一个镜头打印日志;项目数据本地持久化,支持断点续跑,每个阶段产物单独保存,可单独重试某一步。
3. **难点 3:多依赖环境复杂,用户本地部署 FFmpeg、ComfyUI 容易缺失**
坑:普通用户本地缺少 ffmpeg、comfyui 环境,直接运行会报错。
解决方案:增加环境体检功能,自动检测依赖是否安装;增加 mock 离线模式,不调用云模型,直接返回样例数据,方便调试 UI 和剧本流程,无 GPU 也能体验软件。
4