程序聚合 软件案例 人工智能单目标跟踪的移动端部署-人工智能钢管检测系统

人工智能单目标跟踪的移动端部署-人工智能钢管检测系统

2026-07-30 09:06:35
行业:物流仓储、人工智能
载体:安卓APP
技术:ONNX Runtime、OpenCV、PyTorch

业务和功能介绍

本项目属于职务型作品,由本人历时三年独立完成。本作品主要解决油田物资系统油田管材的人工计数繁琐问题,采用分层模块化双线程架构,通过FFmpeg视频解码、MNN端侧模型推理、自研优化ByteTrack跟踪算法,实现视频目标检测、轨迹跟踪与精准去重计数功能。系统创新设计帧队列时序制衡机制,解决了双线程速率失衡、视频播放时序紊乱、跟踪ID跳变、计数不准等行业工程难题,具备低功耗、高稳定、时序精准的落地优势,适配移动端长短时间视频智能分析场景。

项目实现

一、整体架构与设计思路
系统采用Native双线程异步流水线架构,彻底分离视频解码与AI推理流程,解决传统单线程串行卡顿、时序失控问题。整体分为三层:视频解码层、帧队列调度层、AI推理跟踪层。视频由独立解码线程持续读帧、预处理、入队;推理线程异步取帧、模型推理、目标跟踪与计数;最终通过JNI回调结果至Android上层。核心设计思想为解耦并行、限流防堆积、时序精准对齐、稳定去重计数,在移动端有限算力下实现稳定、匀速、高精度视频智能分析。
二、各模块技术栈
1. 视频解码模块:FFmpeg软解码,支持任意角度视频旋转解析与矫正,兼容手机录制视频元数据。
2. 图像预处理模块:SWS图像缩放、RGBA色彩空间转换、等比例缩放+YOLO标准填充、坐标逆映射还原。
3. AI推理模块:MNN端侧推理框架,部署YOLOv11量化模型,实现轻量高速移动端推理。
4. 多目标跟踪模块:基于ByteTrack优化,自研稳定状态机与永久序列号计数逻辑。
5. 线程调度模块:C++多线程、条件变量阻塞队列、原子变量启停控制。
6. 跨端交互模块:JNI全局引用管理、跳帧回调优化,实现Native与Java稳定通信。
三、核心工程难点、踩坑及自研解决方案
1. 难点:双线程速度不匹配,视频播放忽快忽慢、帧堆积、时序错乱
解决方案:设计有限容量阻塞队列制衡双线程速率,解码受队列限流不超速,推理动态补时对齐视频原生帧率,实现视频全程匀速、无加速、无拖慢。
2. 难点:目标遮挡、短暂消失导致TrackID频繁切换,统计重复、计数不准
解决方案:自研轨迹稳定状态机,设置连续帧生效阈值与容错丢失帧,业务序列号永久固化,不随ID跳转重置,彻底解决重复计数。
3. 难点:视频旋转角度复杂导致检测框坐标错位
解决方案:双模式读取旋转元数据,在RGBA原图层面旋转矫正后再缩放,配套完整坐标逆映射,保证检测坐标精准。
4. 难点:单一阈值易引入噪声框,造成轨迹漂移
解决方案:采用检测、跟踪双层置信度阈值分离策略,结合最小尺寸过滤与NMS,大幅提升跟踪稳定性。
5. 难点:JNI长时任务易内存泄漏、线程卡死、APP崩溃
解决方案:统一全局引用管理、线程安全启停、SO卸载资源回收,实现Native任务全生命周期安全管控。

示例图片视频


笑纹
5天前活跃
方向: 人工智能-计算机视觉与图像处理、人工智能-机器学习与深度学习、
交付率:100.00%
相似推荐
科创e家一站式科创融合服务平台
把"企业的技术难题"和"高校院所的科技成果"放到同一个池子里做撮合,中间用政策和活动做助推,本质是一个产学研对接撮合平台(B端/政企端,不是C端消费产品)。 四类参与对象 省属企业:既是需求方,也是成果的应用方 高校、科研院所(含安徽高等研究院):作为成果与技术供给方 政府、国资监管部门:制定政策、统筹工作并考核 平台运营方:维护资源库并组织对接活动
AI 验证平台 HTTP 服务框架研发
面向企业内部 AI 验证板的研发与自动化测试场景,原有测试入口分散、接口不统一。设计统一 HTTP 服务框架,为设备状态查询、测试任务管理、模型推理调用与结果查询提供标准化接口,支撑 Python 自动化脚本与底层推理服务交互,框架采用 Reactor 事件驱动模型,结合 epoll I/O 多路复用、线程池、动态路由及中间件机制,实现高并发网络请求处理与业务逻辑解耦,同时通过 OpenSSL、连接管理和缓存优化提升系统安全性、稳定性及可扩展性。
南京辰茂新材料科技有限公司官网
南京辰茂新材料科技有限公司成立于2016年07月26日,注册地位于南京市高淳经济开发区双高路86-13号,法定代表人为魏媛。经营范围包括一般项目:高性能纤维及复合材料制造;高性能纤维及复合材料销售;玻璃纤维增强塑料制品制造;玻璃纤维增强塑料制品销售;新材料技术研发;技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广;机械设备研发;机械设备销售;第一类医疗器械销售;智能无人飞行器销售;智能无人飞行器制造;金属链条及其他金属制品制造;金属结构制造;机械零件、零部件加工;模具制造;金属制品销售;塑料制品销售;合成材料销售;特种劳动防护用品生产;特种劳动防护用品销售;服装制造;服装辅料制造;服装辅料销售;纺织、服装及家庭用品批发;合成纤维制造;合成纤维销售;软件销售;计算机软硬件及外围设备制造;计算机软硬件及辅助设备批发(除依法须经批准的项目外,凭营业执照依法自主开展经营活动)。
智运后台管理平台
1. 以设备监控、运维及安全功能并以工作流为载体,处理各场景内的工单信息,数据的可视化,将拓扑图,流程图,机房设备图,大屏等数据展示 2. 基础模块为本系统基本运行的功能块,同时也为其他主功能提供数据支撑。此主功能块为分账户管理、项目管理、应用管理、资产管理、资源管理、系统管理6个子功能块。在涉及有工单流程都会使用短信作为提醒机制 3. 运维管理分为基础运管及高级运管,其中基础运管主要包含监控对象、告警日志、自定义监控、告警阀值、拓扑图功能点,高级运管包含了业务树、运维任务、计划任务功能点。其中告警日志,运维任务,计划任务会使用自定义工作流。其中监控对象所关联的监控模板,告警阀值的默认值都由云端下发。 4. 安服务模块主要包括基线核查、安全漏扫、安全整改。根据国家标准对基线库的检查项分为等保二级及等保三级,同时检测类型、基线库、基线模板都由云端进行下发,场景内在基线核查时根据需求下载对应的等保等级模板。在涉及有工单流程都会使用短信作为提醒机制。 5. 工单模块是将本系统内所有的工单处理从各自模块进行抽离,做统一的工单处理入口,便于工单处理集中化不在散落在各自模块,造成不必要的理解歧义。此模块集成了基础模块中的应用系统工单、IP地址申请,运管模块中的设备对象告警工单、运维工单、计划工单,安服模块的安全整改工单。所有参与流程节点处理人员根据各自的任务工单在此模块进行流程处理。 6. 大屏模块主要有可视化大屏。可视化大屏指场景内自有运行大屏,大屏的数据都是有接口产生,而这些接口统一由云端进行管理,场景不管理。 7. 调度中心分调度配置、调度任务、调度大屏。调度中心指省市县工单、安全等数据进行联动展示在数据调度大屏上,调度大屏的数据之间是进行上下级相互引用。 8. 统计模块包括自动巡检、日志审计、统计报表。其中自动巡检的模板及统计报表的数据源及数据集主要面向管理员与开发人员。
企业私有 RAG 文档问答系统
- 支持 PDF、Word、Excel 等多格式文档上传、切片向量化入库;提供向量库管理、知识库权限分组、对话问答、引用溯源、问答日志统计功能;支持对接企业微信 / 钉钉,内部员工可基于自有资料提问,解决内部资料检索难、新人培训资料查找慢的痛点,同时支持问答结果导出。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服