程序聚合 软件案例 基于 VLM 的边端协同包裹守卫系统

基于 VLM 的边端协同包裹守卫系统

2026-06-01 22:16:20
行业:人工智能
载体:算法模型、框架或代码包
技术:Python、PyTorch

业务和功能介绍

场景:面向家庭安防场景,针对用户对包裹相关事件(投递、家人取件、快递员取件、包裹盗窃)的高关注需求,基于视觉大语
言模型(VLM)的视频理解能力,构建多类别事件识别系统。
任务:负责视频多模态大模型的选型、训练与压缩, 构建覆盖图文预训练 → 安防垂域微调 → 偏好对齐(DPO) 的完整训练体
系,并设计轻量化方案以支持边端部署。

项目实现

模型指标:在7k测试集上, 在精准率98%约束下,召回率达到93%;
模型优化:基于 VILA 1.5 架构,构建多阶段训练流程(图文对齐 + 多模态预训练 + 指令微调 + DPO),针对“快递员取
件”和“包裹偷盗”等易混淆类别,引入 DPO 进行偏好对齐,类间混淆率降低约1%;
模型压缩:
token压缩:针对 SgLIP2 输出视觉 token 冗余问题,提出高效token压缩策略( 196→9),显著降低计算开销,使推
理时间由4.9s降低至0.5s(约10×加速)召回率仅下降0.6%;
模型小型化:通过结构轻量化设计将模型规模由3B压缩至1.3B, 显存占用降低30%以上, 推理速度提升约2倍,性能基
本无损;
仿真设计:设计基于关键动作的抽帧策略与动态缓存建模方案,实现边缘端轻量化部署,并提升事件识别的稳定性,在端到
端1.2w真实用户数据上验证,在精准率98%条件下,包裹事件平均召回率达到91%。


示例图片视频


JoaquinChou
30天前活跃
方向: 人工智能-大模型和多模态、人工智能-计算机视觉与图像处理、
交付率:100.00%
相似推荐
户外登山小程序
本项目是一款面向户外运动爱好者的微信小程序,核心功能围绕户外活动发布、在线报名、活动管理展开。用户可通过小程序浏览户外活动,查看活动详情并完成报名;活动组织方可在后台发布活动、管理报名名单;用户还可在个人中心查看已报名活动,分享活动等。
智慧博物馆藏品管理系统
藏品生命周期管理,是围绕馆藏可移动文物从“来源征集、鉴定定级、登记建档、入藏入库、保管养护、修复保护、展陈借展、研究利用、盘点核查、事故处置、注销退出”等全过程建立的一体化管理体系。其核心目标不是只管某一个业务环节,而是把每一件藏品在不同阶段的状态、位置、责任、审批、档案、资源和风险统一起来,实现“一物一档、一物一账、一物一生”的全过程可追溯管理。 从业务上看,藏品生命周期管理主要解决四类问题: 1. 藏品信息分散,档案、台账、图片、审批、业务记录无法统一关联。 2. 藏品状态不统一,不清楚当前处于在库、出库、展陈、修复、利用还是待处理状态。 3. 业务流程缺乏闭环,出入库、修复、利用、盘点、事故等环节容易出现断点。 4. 风险和责任不清,难以实现全过程留痕、责任追踪和合规监管。
数字人 AI 导游-数智灵眸
本项目是一款面向智慧文旅场景的数字人 AI 导游产品(国家级比赛项目),旨在解决传统景区讲解人力成本高、交互单一、游客个性化问答难以满足等痛点。系统以大语言模型为核心,结合面部驱动与语音合成技术,打造出可实时对话、形象逼真的智能文旅数字人,为游客提供沉浸式、低延迟的多模态语音交互体验。 核心功能模块包括:1)景区知识问答:基于 RAG 知识库对景区文档进行自动切片与向量化存储,游客可通过自然语言就景点历史、路线、服务设施等进行实时提问;2)数字人形象交互:对接面部驱动与语音合成模型,实现口型同步、音视频流式渲染的拟人化讲解;3)多模型智能调度:在大语言模型与多模态模型之间协同工作,兼顾响应速度与视觉分析需求;4)游览数据分析:异步归档游览历史,并对游客对话趋势与情感进行量化分析,为景区运营提供数据支撑。 业务流程为:游客发起语音/文字提问 → 系统语义检索知识库并生成回答 → 驱动数字人以音视频形式实时呈现 → 后台异步归档与分析交互数据,形成体验闭环。
酒店项目
项目背景:国内中小旅馆和酒店缺少统一管理,导致用户使用体验褒贬不一,公司通过统一酒店风格和配置完成酒店的硬件和软件服务设施升级 软件功能:1.酒店查询:通过用户输入的地址自动匹配周边的对应酒店 2.酒店预定:用户可根据入住人数入住时间完成合适酒店预订 3.个人账号管理:用户预订的酒店信息和个人输入信息进行管理
智能物流自动路径规划导航软件
立项背景和目标:游客自行规划旅游行程易出现景点绕路、时间分配不合理、景点往返路程过长等问题,传统旅游攻略无法根据用户出行天数、偏好景点、出行交通方式自动生成个性化路线。本项目旨在通过智能路径规划算法,根据用户选定景点、出行时长、出行方式自动生成省时省力的最优旅游游览路线,提供可视化行程导航,提升游客出行体验。 核心功能模块:①景点信息库模块,存储城市景点坐标、开放时间、游玩时长、门票信息;②个性化行程配置模块,支持用户选择游玩天数、偏好景点、出行交通工具;③智能路径规划模块,基于蚁群算法计算多景点连续游览最优路线;④行程可视化导航模块,地图展示游览顺序、各景点距离、预估耗时;⑤后台管理模块,管理员可新增 / 编辑景点数据、查看热门规划路线数据。 业务流程:游客进入系统,选择目标城市并勾选想要游玩的景点,填写游玩天数与出行方式,系统读取景点地理坐标,调用路径算法计算最优游览顺序,生成完整一日 / 多日旅游行程路线,地图可视化展示全程路径,支持导出行程清单,后台可统计用户高频景点搭配方案。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服