对课堂录播或直播视频进行全方位分析,从教师和学生两个维度综合评判教学质量,提供全自动化的课堂质量评估服务。帮助管理者客观量化教学水平,及时发现和纠正教学过程中的问题,推动教学质量的持续提升。
项目包括目标检测、人脸检测、语音分析、多模态应用四个方面,细化多个指标。
1、训练YOLO目标检测模型检测坐姿、手势。
2、基于Mediapipe人脸模型检测表情、视线。
3、基于FSMN-VAD模型检测音量、语速;基于FunASR模型语音转文字,再调用豆包LLM模型检测用语规范。
4、调用豆包VLM模型检测妆发、背景布。