输入文案,利用大语言模型划为分镜
通过AI生图及AI配音快速生成视频
用于小说推文等视频生成
git地址https://github.com/yangranaa/TextToVideo
一.AI配音
1.部署到本地配音模型
2.部署到本地的声音克隆
3.AI逆向翻译第三方生成的配音音频,用于匹配输入文本及后续处理
二.视频画面
1.AI生图: 利用大语言模型生成分镜描述,再使用文心,智谱等当前开放免费使用的生图API
2.视频随机混剪
3.简易高效的本地AI换脸视频生成
由作者单独开发,使用Python语言,QtUI框架,
opengl渲染处理利用双缓存批量渲染提效,
ffmpeg、pydub等音视频处理,
mediapipe人脸识别,vosk逆向翻译配音等等技术,