项目基于FreeSWITCH搭建媒体网关,完成与ASR/TTS语音引擎对接,实现实时通话语音采集、转写与语音合成;集成FFmpeg实现多路音视频流处理、画面剪辑与视频合成能力。支持通话流实时处理、媒体文件混流、自定义字幕叠加,提供标准化API对外输出,可用于智能外呼、实时音视频AI交互场景,整套服务高并发、可分布式部署,交付可运行服务源码。
整体采用模块化架构,基于Linux部署FreeSWITCH作为媒体网关,通过UniMRCP协议对接FunASR、FunTTS语音引擎,实现通话流式语音转写与语音合成;使用FFmpeg完成音视频混流、字幕叠加、视频合成,业务控制模块采用Python开发。本人独立完成FreeSWITCH拨号计划配置、MRCP对接开发、FFmpeg视频合成封装,实现单节点支持100路并发通话,ASR首字延迟控制在500ms以内。开发难点为高并发下RTP流丢包、TTS首包延迟问题,通过优化jitterbuffer缓冲、缓存高频TTS音频片段解决,保证7×24小时稳定运行。