PiBE-FAST 是一套面向 BE-FAST 警示体征研究的本地多模态评估系统,结合树莓派与本地电脑,串联视频采集、姿态识别、面部关键点分析、语音处理和引导式任务交互。系统覆盖平衡、眼部、面部、双臂和言语五类评估任务,支持用户主动报告与分项证据展示。树莓派承担低频被动变化监测,本地电脑执行主动评估任务,浏览器端提供任务引导、阶段进度、结果呈现与历史记录。核心流程为采集输入、启动会话、逐项完成任务、整合多模态证据并查看结果。摄像头与麦克风数据默认本地处理,适用于多模态交互、边缘推理和健康辅助评估的研究与演示。
本人独立完成系统开发与模块集成,采用 Python 服务端、React 前端及树莓派部署方案。姿态模块使用 MoveNet 与 TensorFlow Lite,面部和虹膜分析使用 MediaPipe,言语模块集成本地音频采集、whisper.cpp 转写与言语表征处理。按采集、推理、会话管理、证据融合、结果渲染和历史存储拆分职责,支持摄像头及视频文件输入。针对多模态任务流程复杂的问题,以独立任务模块和会话状态管理统一阶段切换、任务引导与结果结构,并将被动变化提示接入主动确认流程。提供部署脚本及会话状态、语音、融合、历史记录和 Web API 等测试代码,形成可部署、可演示、可继续扩展的完整工程。