程序聚合 软件案例 多模态体征评估与边缘计算系统-PiBE-FAST

多模态体征评估与边缘计算系统-PiBE-FAST

2026-10-15 01:34:42
行业:医疗健康、人工智能
载体:网站、嵌入式软件
技术:Python、React、OpenCV、TensorFlow Lite

业务和功能介绍

PiBE-FAST 是一套面向 BE-FAST 警示体征研究的本地多模态评估系统,结合树莓派与本地电脑,串联视频采集、姿态识别、面部关键点分析、语音处理和引导式任务交互。系统覆盖平衡、眼部、面部、双臂和言语五类评估任务,支持用户主动报告与分项证据展示。树莓派承担低频被动变化监测,本地电脑执行主动评估任务,浏览器端提供任务引导、阶段进度、结果呈现与历史记录。核心流程为采集输入、启动会话、逐项完成任务、整合多模态证据并查看结果。摄像头与麦克风数据默认本地处理,适用于多模态交互、边缘推理和健康辅助评估的研究与演示。

项目实现

本人独立完成系统开发与模块集成,采用 Python 服务端、React 前端及树莓派部署方案。姿态模块使用 MoveNet 与 TensorFlow Lite,面部和虹膜分析使用 MediaPipe,言语模块集成本地音频采集、whisper.cpp 转写与言语表征处理。按采集、推理、会话管理、证据融合、结果渲染和历史存储拆分职责,支持摄像头及视频文件输入。针对多模态任务流程复杂的问题,以独立任务模块和会话状态管理统一阶段切换、任务引导与结果结构,并将被动变化提示接入主动确认流程。提供部署脚本及会话状态、语音、融合、历史记录和 Web API 等测试代码,形成可部署、可演示、可继续扩展的完整工程。

示例图片视频


crzhu
24小时内活跃
方向: 后端-Java、人工智能-计算机视觉与图像处理、
交付率:100.00%
相似推荐
多模态体征评估与边缘计算系统-PiBE-FAST
PiBE-FAST 是一套面向 BE-FAST 警示体征研究的本地多模态评估系统,结合树莓派与本地电脑,串联视频采集、姿态识别、面部关键点分析、语音处理和引导式任务交互。系统覆盖平衡、眼部、面部、双臂和言语五类评估任务,支持用户主动报告与分项证据展示。树莓派承担低频被动变化监测,本地电脑执行主动评估任务,浏览器端提供任务引导、阶段进度、结果呈现与历史记录。核心流程为采集输入、启动会话、逐项完成任务、整合多模态证据并查看结果。摄像头与麦克风数据默认本地处理,适用于多模态交互、边缘推理和健康辅助评估的研究与演示。
江西省人民医院医疗廉洁防控平台
对接医院信息系统,自动归集:处方、医嘱、药品耗材使用、检查检验申请、收费结算、耗材采购、设备采购、患者就诊、医保结算等全量业务数据,形成医疗行为大数据池。 内置风控规则模型,自动筛查异常行为并预警:大处方、重复开药、高频开同类检查、耗材异常使用、同一医生高频开具特定药品 / 耗材、超适应症检查、医保违规结算等;按风险等级分为红 / 黄预警,自动推送至医务、医德医风办、纪检部门。
信联远程会诊系统
面向医疗机构,提供医生线上实时会诊、病例研讨等线上协作能力。支持多路摄像头、采集卡媒体流接入,可完成音视频硬件检测切换;具备屏幕共享、画笔激光笔多端同步绘制、录屏截图本地存储;支持参会人邀请、视频窗口管理、会议销毁整套业务流程,依靠长连接保障多终端指令同步,支撑多医生线上诊疗业务开展。
慢病管理系统
慢病管理系统,为应对国家慢性病管理需求进行开发。符合慢病管理中心标准,主要模块有患者档案,即时通讯,随访,宣教,病种管理,风险人群识别,健康任务,健康方案,患者的诊疗记录,诊断记录,检验记录,检查记录等诊疗数据,OCR识别,语音识别。
测序系统上传软件
本上传软件针对基因测序仪设备的数据上送场景开发。测序仪上位机每 10 分钟自动生成 14 份采集原始文件,包含测序过程电流信号、碱基采集等原始实验数据,是后端数据分析、算法调试、问题溯源的基础数据源。设备产生的原始文件需要及时、可靠传输至后端服务器,传统手动拷贝、简单脚本上传存在传输中断、文件丢失、重复上传、异常无重试等问题,无法满足测序业务 7×24 小时连续运行的数据可靠性要求。本软件通过 MQTT 协议和测序上位机交互接收事件通知,基于 FTP 协议封装实现并行上传能力,依托万兆网卡硬件带宽,完成测序仪本地文件向服务端的自动化传输,保障原始采集数据完整、有序送达服务器,支撑后续测序数据分析、算法优化与故障定位业务。 软件核心功能围绕稳定可靠的数据传输进行设计。软件作为 MQTT 客户端与测序仪上位机建立长连接,监听设备下发的文件就绪事件;当测序仪每 10 分钟生成 14 个数据文件完成后,设备通过 MQTT 推送通知消息,上报待上传的文件列表,软件接收消息后解析文件信息,生成上传任务进入任务排队队列,管控上传并发,避免瞬时任务过多造成网络与 IO 过载。依托万兆网卡实现高速并行 FTP 上传,充分利用带宽资源,缩短批量文件整体传输耗时,适配测序设备高频批量产出文件的业务特点。 具备断点续传能力,遇到网络抖动、服务器短暂离线等场景中断传输后,无需重传完整文件,从已传输偏移位置继续续传,节约带宽,提升大文件传输效率。内置失败重传机制,传输异常自动重试,记录任务状态,多次重试失败后标记异常任务,留存日志便于运维排查。 软件完整记录上传任务日志,包含文件名、大小、传输进度、耗时、成功失败状态,可追溯每一批次 14 个文件的传输全流程,核对文件是否完整送达服务器。任务队列支持任务管理,可查看排队、上传中、完成、失败全部任务,规避重复上传、漏传问题。上传完成后执行文件校验,比对源文件与服务端文件,防止传输过程文件损坏。 该软件解决测序设备触发式批量文件可靠上送难题,保障测序原始采集数据稳定回传,为后端测序数据分析、碱基标注、算法 Debug 提供完整可靠的原始数据源,实现整套测序业务链路的数据闭环。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服