姿态AI比对-运动健身通用工具
2026-09-15 16:37:33
行业：人工智能、音视频
载体：安卓APP、小程序
技术：Java、JavaScript、Python、TensorFlow Lite
业务和功能介绍
本项目包含 Android 原生 APP 与抖音小程序两套端，两端业务逻辑、比对功能完全一致。小程序依托抖音云服务，后端采用 Python 开发；Android 端全部运算本地离线执行，无需上传原始视频，兼顾多端使用需求，面向健身娱乐、动作教学、标准化动作考核等场景，基于 MediaPipe 人体骨骼识别技术，完成用户动作与标准动作模板的姿态比对分析。
业务核心逻辑：用户上传或录制动作视频，系统提取视频内人体骨骼关键点，与预先存储的标准动作 JSON 骨骼模板进行帧匹配。**匹配不依赖时间戳对齐**，仅通过骨骼相似度完成帧配对。遍历用户视频每一帧骨骼数据，和标准动作库计算相似度，匹配成功则在画面叠加两套骨骼（用户骨骼、标准模板骨骼，分色区分）；匹配失败则不叠加骨骼。直观呈现用户动作与标准动作之间的偏差，可用于健身娱乐动作打卡、训练复盘、动作质量评估。
核心功能分为四大模块。
1. 视频骨骼解析模块：支持读取本地视频，逐帧提取人体骨骼关键点；加载标准动作 JSON 模板，读取预设标准骨骼数据，视频解码不处理音频流，降低资源开销。
2. 姿态匹配判定模块：计算骨骼相似度分值。匹配成功后自动判定动作结果：动作达标标记为**正确**，记录加分项与对应分值；偏差超过阈值判定为错误动作，记录错误帧、偏差部位与文字说明，全部结果实时展示在界面文本控件，即时反馈动作正误。
3. 骨骼可视化模块：匹配成功帧叠加绘制双骨骼骨架，预览页面实时渲染；导出视频时，输出成品视频每一帧都自带骨骼叠加图层，并非原始视频画面。
4. 结果导出模块，统一汇总生成文件：单个 PDF 评估报告，错误动作页附带骨骼叠加截图与错误描述，正确动作仅记录加分项目；单个完整 MP4 视频，保存带骨骼绘制的画面。Android 端文件写入公共存储并保存至系统相册；抖音小程序文件存储于抖音云，支持在线查看报告与回放比对视频。
技术特点：Android 端 Java 原生开发，MediaCodec/MediaExtractor 完成视频编解码，Canvas 绘制骨骼，PdfDocument 生成 PDF；抖音小程序前端配合 Python 后端、抖音云实现云端骨骼解析与文件存储。
适用场景覆盖两大方向：健身娱乐（居家健身打卡、舞蹈趣味动作比对、动作趣味打分分享）；专业场景（康复训练评估、体育动作教学、标准化作业考核）。多端适配满足用户不同使用习惯，APP 注重离线隐私，小程序轻量化、便于社交分享传播
业务核心逻辑：用户上传或录制动作视频，系统提取视频内人体骨骼关键点，与预先存储的标准动作 JSON 骨骼模板进行帧匹配。**匹配不依赖时间戳对齐**，仅通过骨骼相似度完成帧配对。遍历用户视频每一帧骨骼数据，和标准动作库计算相似度，匹配成功则在画面叠加两套骨骼（用户骨骼、标准模板骨骼，分色区分）；匹配失败则不叠加骨骼。直观呈现用户动作与标准动作之间的偏差，可用于健身娱乐动作打卡、训练复盘、动作质量评估。
核心功能分为四大模块。
1. 视频骨骼解析模块：支持读取本地视频，逐帧提取人体骨骼关键点；加载标准动作 JSON 模板，读取预设标准骨骼数据，视频解码不处理音频流，降低资源开销。
2. 姿态匹配判定模块：计算骨骼相似度分值。匹配成功后自动判定动作结果：动作达标标记为**正确**，记录加分项与对应分值；偏差超过阈值判定为错误动作，记录错误帧、偏差部位与文字说明，全部结果实时展示在界面文本控件，即时反馈动作正误。
3. 骨骼可视化模块：匹配成功帧叠加绘制双骨骼骨架，预览页面实时渲染；导出视频时，输出成品视频每一帧都自带骨骼叠加图层，并非原始视频画面。
4. 结果导出模块，统一汇总生成文件：单个 PDF 评估报告，错误动作页附带骨骼叠加截图与错误描述，正确动作仅记录加分项目；单个完整 MP4 视频，保存带骨骼绘制的画面。Android 端文件写入公共存储并保存至系统相册；抖音小程序文件存储于抖音云，支持在线查看报告与回放比对视频。
技术特点：Android 端 Java 原生开发，MediaCodec/MediaExtractor 完成视频编解码，Canvas 绘制骨骼，PdfDocument 生成 PDF；抖音小程序前端配合 Python 后端、抖音云实现云端骨骼解析与文件存储。
适用场景覆盖两大方向：健身娱乐（居家健身打卡、舞蹈趣味动作比对、动作趣味打分分享）；专业场景（康复训练评估、体育动作教学、标准化作业考核）。多端适配满足用户不同使用习惯，APP 注重离线隐私，小程序轻量化、便于社交分享传播
项目实现
本项目为一套多端一体化人体姿态比对系统，包含Android客户端与抖音小程序两个版本，两端核心业务、比对算法与功能体验完全一致，适用于健身娱乐、动作教学、体态矫正、趣味打卡等场景。
Android客户端采用原生Java开发，全程本地离线运算。项目基于MediaPipe实现人体21点骨骼关键点提取，通过帧骨骼相似度算法，完成用户动作视频与标准动作模板的智能匹配与正误判定。客户端自主实现视频编解码、YUV帧图像处理、双骨骼叠加绘制，支持实时预览比对效果。最终可本地生成带骨骼效果的完整MP4视频与结构化PDF评估报告，文件直接保存至手机相册与下载目录，无需服务器参与，数据私密性强、运行稳定，适配离线使用场景。
抖音小程序端依托抖音云平台部署，采用前端搭配Python后端的云端架构。用户上传视频后，请求交由服务端统一完成骨骼解析、姿态比对与画面渲染，处理后的视频与PDF报告存储于抖音云。小程序轻量化无需安装，支持快速预览比对结果、在线查看评估报告，适配社交分享、趣味健身打卡等轻量化场景，依托抖音生态具备极强的传播性。
两端统一实现动作打分、错误帧记录、骨骼可视化、报告导出核心功能，分别覆盖离线专业使用与线上娱乐分享两大需求，场景互补、体验统一。
Android客户端采用原生Java开发，全程本地离线运算。项目基于MediaPipe实现人体21点骨骼关键点提取，通过帧骨骼相似度算法，完成用户动作视频与标准动作模板的智能匹配与正误判定。客户端自主实现视频编解码、YUV帧图像处理、双骨骼叠加绘制，支持实时预览比对效果。最终可本地生成带骨骼效果的完整MP4视频与结构化PDF评估报告，文件直接保存至手机相册与下载目录，无需服务器参与，数据私密性强、运行稳定，适配离线使用场景。
抖音小程序端依托抖音云平台部署，采用前端搭配Python后端的云端架构。用户上传视频后，请求交由服务端统一完成骨骼解析、姿态比对与画面渲染，处理后的视频与PDF报告存储于抖音云。小程序轻量化无需安装，支持快速预览比对结果、在线查看评估报告，适配社交分享、趣味健身打卡等轻量化场景，依托抖音生态具备极强的传播性。
两端统一实现动作打分、错误帧记录、骨骼可视化、报告导出核心功能，分别覆盖离线专业使用与线上娱乐分享两大需求，场景互补、体验统一。
示例图片视频
相似推荐
荷叶健康小程序
### 1. 立项背景
在医疗健康领域，用户面临三大痛点：一是购药不便，尤其是处方药需到院排队开方；二是问诊效率低，优质医疗资源集中在三甲医院，基层患者难以触达；三是健康管理分散，个人健康档案、用药记录、体检报告散落在不同平台。同时国家推行"互联网+医疗健康"政策，鼓励处方流转、远程问诊和慢病线上管理。在此背景下，"一块钱"小程序立项，旨在依托微信生态（月活13亿+），以一张权益卡为载体，将在线购药、视频问诊、健康科普、权益管理打通为一体化服务，让用户在微信内完成"咨询→问诊→开方→购药→配送→健康管理"全闭环，降低就医门槛，提升健康服务可及性。
### 2. 软件功能
小程序为C端用户提供一站式健康医疗综合服务，主要功能包括：
- 在线购药 ：支持OTC药品、处方药、保健品、医疗器械等全品类商品浏览、搜索、下单，提供B2C快递配送和O2O附近药店自提/配送两种履约模式
- 在线问诊 ：基于TRTC实时音视频的远程问诊，支持图文问诊和视频问诊，医生可在线开具电子处方
- 处方流转 ：电子处方从医生开具→药师审核→流转至合作药店→用户购药的全链路管理
- 权益卡管理 ：权益卡激活、续期、升级，最多5位家庭成员共享，权益使用次数实时追踪
- 健康档案 ：个人健康档案建立、体检报告上传、健康数据（血压/血糖/体重）记录与趋势可视化
- 医院预约 ：按城市/科室/医院浏览搜索，查看医生详情，在线预约挂号
- 健康科普 ：名医讲堂内容社区，文章/视频/图文合集，支持点赞收藏互动
- AI智能管家 ：自然语言对话式健康咨询，智能引导至专业问诊或购药
- 支付与钱包 ：微信支付（含医保混合支付）、荷叶币商城、优惠券、红包管理
### 3. 核心功能模块介绍
首页模块 — 综合服务入口，包含智能搜索栏、横向金刚位快捷导航（覆盖购药/问诊/档案/预约等入口）、Banner轮播、商城活动楼层、新人专享推荐、领券中心、个性化商品推荐列表，以及消息通知和购物车快捷入口。通过楼层化布局实现精准导流，新手引导弹窗降低使用门槛。
健康商城模块 — 核心交易板块，包含商品分类导航（处方药/OTC/保健品/医疗器械/中药饮片等）、多维度搜索（药品名/症状/疾病/药店）、商品详情页（多规格SKU选择、图文详情、说明书）、购物车管理、下单流程（地址选择/优惠券抵扣/患者信息/处方上传）、B2C+O2O双模式履约。支持促销活动专区、满减/优惠券/红包等多种营销工具。
家庭医生模块 — 远程医疗服务板块，包含科室/医生选择、排队等待接诊、TRTC视频问诊或图文问诊、医生开具电子处方、药师审核、处方流转购药。集成医院预约挂号系统，支持按城市/科室/医院浏览搜索。内含"荷叶家医"（家庭医生服务）、"荷叶家居"（居家健康管理）、"荷叶家护"（老年人照护）三大特色服务模块。AI智能管家提供对话式健康
头皮检测-头皮检查
会员注册登录/访客
会员注册保留用户资料，头皮检测的照片结果分析以及全面记录。
访客可以使用头皮检测功能可以进行分析获取检测报告但是无法保存资料，退出即销毁。
用户资料保存u盘，检测不到时兜底本地。支持多语言环境支持语音播报。
Med Agent-Med Agent
心内科门诊胸痛是高危急诊场景，急性冠脉综合征、主动脉夹层、肺栓塞等疾病致死风险高；门诊医生接诊时需要快速整合患者 HIS 病历、生命体征、既往史，同步完成主诉解析、危险线索识别、鉴别诊断、查体提醒，信息量大、决策时间紧张，容易遗漏关键问诊要点与鉴别方向。
**Med Agent** 是面向医院心内科门诊的 AI 辅助问诊协同工作台，基于多智能体（Agent）架构，辅助临床医生完成胸痛类高危患者的接诊全流程。系统**不替代医生诊断**，仅做信息汇总、线索识别、鉴别推理、问诊提示，所有医学结论必须由医生复核确认，保障医疗安全。
基于多Agent架构与知识图谱的中医体质辨识智能诊疗系统
一、项目定位
基于**多 Agent 架构 + 知识图谱 + RAG** 的中医体质辨识与个性化养生推荐平台。以王琦九种体质学说为理论基础，通过 72 题标准化量表与自然语言问诊双通道完成体质辨识，结合 Neo4j 知识图谱（1500+ 节点）输出可追溯的个性化调理方案。
二、解决的核心问题
辨识门槛高：72 题标准化量表 + 规则引擎自动评分，覆盖九种体质
AI 幻觉严重：置信度门控（<0.6 拒答反问）+ 方案实体锚定知识图谱，幻觉率从 38% 降至 6%
问卷与 AI 结论矛盾：问卷结果作为**单一权威体质来源**，seed 模式锁定体质、跳过 LLM 推理，彻底避免口径漂移
推荐千篇一律：RAG 相似案例召回 + Follow-up 追问（过敏史 / 用药 / 作息）双向回填，方案随用户画像动态调整
故障即不可用：五级容错降级链，任一环节故障仍可输出基础推荐
三、两条核心业务路径
路径 A — 问卷测评（高置信度）：
注册登录 → 填写 72 题 → 规则引擎评分 → 生成体质报告（主体质 + 兼夹 + 分数 + 判定依据）→ 自动 seed Agent 会话 → 结果页展示方案 + 内嵌迷你问诊
路径 B — 自然语言问诊（灵活）：
用户描述症状 → SymptomAgent 提取结构化症状 / 舌象 / 脉象 → ConstitutionAgent（RAG + CoT 推理 + 置信度校准）→ MasterAgent 仲裁（<0.6 反问澄清）→ PlanAgent 调用图谱生成方案 → 实体锚定校验
双向闭环：问诊中追问到的个性化信息写回数据库，下次测评一并读入，持续积累用户画像。
Power Bicycle 康复训练系统
本项目面向康复与运动处方场景，为医院/康复机构提供智能功率车训练终端。用户扫码登录后，可开展适应性评估（QUEST+ 心理物理算法测定最小可感知负荷增量）、处方训练、体验与考核等流程。终端通过串口控制阻力负荷，通过 BLE 连接心电带采集心率、RRI、ECG 等生理数据，并将训练过程实时上传云端，供后台制定个性化处方、跟踪训练效果。核心模块包括：用户登录与绑定、适应性评估引擎、处方训练引擎、阻力/转速实时采集、心电带数据解析、MQTT 云端通信、本地 CSV 备份导出。业务路径为：设备联网 → 用户登录 → 评估/训练 → 数据上云 → 后台分析与处方下发。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服