程序聚合 软件案例 基于 VLM 的边端协同包裹守卫系统

基于 VLM 的边端协同包裹守卫系统

2026-06-01 22:16:20
行业:人工智能
载体:算法模型、框架或代码包
技术:Python、PyTorch

业务和功能介绍

场景:面向家庭安防场景,针对用户对包裹相关事件(投递、家人取件、快递员取件、包裹盗窃)的高关注需求,基于视觉大语
言模型(VLM)的视频理解能力,构建多类别事件识别系统。
任务:负责视频多模态大模型的选型、训练与压缩, 构建覆盖图文预训练 → 安防垂域微调 → 偏好对齐(DPO) 的完整训练体
系,并设计轻量化方案以支持边端部署。

项目实现

模型指标:在7k测试集上, 在精准率98%约束下,召回率达到93%;
模型优化:基于 VILA 1.5 架构,构建多阶段训练流程(图文对齐 + 多模态预训练 + 指令微调 + DPO),针对“快递员取
件”和“包裹偷盗”等易混淆类别,引入 DPO 进行偏好对齐,类间混淆率降低约1%;
模型压缩:
token压缩:针对 SgLIP2 输出视觉 token 冗余问题,提出高效token压缩策略( 196→9),显著降低计算开销,使推
理时间由4.9s降低至0.5s(约10×加速)召回率仅下降0.6%;
模型小型化:通过结构轻量化设计将模型规模由3B压缩至1.3B, 显存占用降低30%以上, 推理速度提升约2倍,性能基
本无损;
仿真设计:设计基于关键动作的抽帧策略与动态缓存建模方案,实现边缘端轻量化部署,并提升事件识别的稳定性,在端到
端1.2w真实用户数据上验证,在精准率98%条件下,包裹事件平均召回率达到91%。


示例图片视频


JoaquinChou
30天前活跃
方向: 人工智能-大模型和多模态、人工智能-计算机视觉与图像处理、
交付率:100.00%
相似推荐
跑步激励与虚拟旅行交互式Web应用-MileScape
MileScape 是一款将跑步记录、虚拟旅行与游戏化激励结合的交互式 Web 应用。围绕“选择路线—设定目标—完成运动—推进旅程—解锁地标”的操作流程,将累计运动距离转化为可视化旅行进度,通过地标收集、成就反馈与个人仪表盘提升持续运动的参与感。主要功能包括主题路线探索、路线详情与地图预览、跑步目标设置、模拟跑步与结果展示、运动历史、成就展示和个人进度管理。界面采用移动优先的响应式设计,路线选择、运动历史与累计进度可在本地持久保存,支持用户跨页面查看和继续自己的旅程。
潮州非遗
平台业务定位 潮州非遗数智平台是微信端小程序,属于潮州非遗数字化公共服务项目,由潮州市非遗保护中心联合韩山师范学院团队研发,**核心业务是非遗资源数字化保存、文化传播、智慧文旅导览、非遗传承教育**,打通非遗传承人、工坊、展馆、游客、本地市民、海外潮人之间的数字连接,实现潮州非遗 “可查、可听、可游、可学”,推动非遗活化与文旅融合发展潮州市人民...。 业务面向 4 类人群: 1. 游客:非遗打卡、智能规划路线、线下工坊寻访; 2. 本地市民与海内外潮籍乡亲:线上云看展、了解本土非遗文化; 3. 师生群体:非遗科普教学素材; 4. 非遗传承人 / 工坊:线上展示技艺、传播匠人故事,提升曝光。 核心功能模块 1. 非遗生活地图(核心文旅模块) 整合全市 100 + 非遗点位,包含潮绣、金漆木雕、手拉壶、工夫茶等大师工作室、非遗作坊、展馆。 - 点位信息:展示地址、营业时间、匠人故事、业态介绍; - 一键导航:直接跳转地图导航寻访非遗现场; - 周边便民:查询停车场、公厕、充电桩、医疗点等配套设施南方+。 2. VR 云展厅 / 全景云逛展 联动潮州市博物馆、非遗展览馆,360° 全景 VR 展厅,搭配视频、数字人、志愿讲解员语音。足不出户沉浸式浏览文物、非遗展品,了解侨批文化、潮州传统工艺,海外潮人可远程云观展潮州市人民...。 3. 非遗项目数据库 + 三语语音讲解 收录潮州 47 项省级以上非遗(含 17 项国家级非遗),每个非遗项目配套**普通话、潮州话、英语**三种语音讲解。线下展馆扫码,小程序直接播放讲解音频,包含技艺流程、历史典故、传承故事,适配国内游客与海外访客潮州市人民...。 4. AI 智能游览路线规划 用户输入偏好(非遗工艺游、美食非遗游、半日 / 一日游),AI 自动生成个性化非遗主题游览路线,推荐打卡顺序,适配不同游玩时长与人群需求潮州市人民...。 5. 非遗文化知识库 非遗名录:分类查看潮剧、潮州音乐、潮绣、木雕、手拉壶、潮州小吃等非遗项目图文、短视频; 传承人档案:非遗大师简介、作品、传承故事; 图文 / 音频 / 短视频素材,可用于校园非遗教学、文化科普。
地图动态轨迹动画与视频生成SaaS平台-AniRoute
1、立项背景和目标: 随着短视频平台(如小红书、TikTok、YouTube)旅行Vlog与户外骑行内容的爆发式增长,博主对高品质、生动的旅行轨迹展示动画需求日益迫切。传统基于After Effects等专业软件制作门槛高、耗时长。AniRoute致力于打造一款零门槛、开箱即用的Web端地图轨迹动画生成SaaS工具,帮助创作者一键生成电影级航线运镜与旅行路线动画视频。 2、核心功能模块: (1)多源地图交互与地点检索:集成Mapbox数据源,支持多途经点(Waypoints)精准检索、拖拽排序与实时地理编码; (2)三维运镜轨迹动画引擎:基于GSAP与WebGL实现平滑曲线插值,支持飞机、汽车、轮船等多种交通载具图标,自定义路线宽度、配色、阴影及3D俯仰视角动画; (3)客户端离线视频渲染导出:采用Canvas Stream与MediaRecorder硬件加速编码技术,支持1080P/4K多分辨率及16:9横屏、9:16竖屏动画视频导出; (4)用户中心与云端路线同步:提供OAuth快捷鉴权,支持个人行程方案的云端保存、编辑与历史管理; (5)会员订阅商业化闭环:集成国际支付通道,支持7天免费试用、Pro会员订阅权限控制与自动扣费。 3、业务流程与功能路径: 用户登录平台 -> 检索起点并添加途经点与终点 -> 侧边栏配置出行方式、视角相机参数及视频分辨率 -> 实时预览3D轨迹运镜动画 -> 点击一键录制渲染导出MP4视频 -> 路线自动同步至云端控制台。
基于大语言模型的智能旅游出行规划 Web 应用,提供 AI 行程规划与流式智能问答。-旅游助手
智能旅游助手是一个基于大语言模型的 Web 端出行规划应用。用户在首页选择目的地城市(内置近 40 个热门城市)、输入预算与出行天数,一键生成个性化行程方案:行程方案页按天展示上午/下午/晚上三时段的景点安排,提供住宿、餐饮、交通、门票、其他五类预算明细,并给出出行贴士与注意事项;还可携带城市上下文一键跳转 AI 对话,继续追问目的地信息。AI 对话页内置常用快捷问题,回答以打字机方式流式输出,支持随时停止生成。“我的”页面提供应用介绍。整体覆盖行前规划到行中咨询的完整出行场景。
基于微信小程序的火星科普与旅行指南应用-火星旅行指南
立项背景和目标 :随着天问一号、毅力号等火星探测任务的推进,公众对火星的兴趣日益浓厚。本项目面向普通用户,将真实的火星气象数据、地质地标、星际航行知识以可视化方式呈现,降低大众了解火星的门槛。 软件功能、核心功能模块的介绍 : 1. 火星气象查询 :覆盖 42 个中国城市对应的火星地表气象,展示地表温度、风速风向、气压、尘埃光学厚度等核心指标及 24 小时趋势曲线;通过云函数对接法国 LMD 火星气候数据库获取实时数据,失败时自动回退本地 24 小时数据集。 2. 3D 火星地表可视化 :基于 Three.js 构建可旋转、可缩放的 3D 火星模型,支持经纬度定位、城市对应地表展示、大气辉光与尘埃天气联动渲染,单指拖拽旋转、双指缩放。 3. 火星景点导览 :收录奥林帕斯山、水手谷、杰泽罗陨石坑等 10 个真实地标,含 NASA 公共领域实景照片与详细地质/探测资料,点击地标可 3D 定位并查看大图画廊。 4. 出行清单 :按生命维持、能源通讯、个人防护、工具补给四大类提供 20 项火星旅行必带物品,支持本地勾选与进度统计。 5. 星际航行信息 :基于圆轨道近似计算地火实时距离、光程、霍曼转移窗口期与下次冲日倒计时。 业务流程、功能路径描述 :用户进入主页 → 选择或 GPS 定位城市 → 查看实时火星气象与 24 小时趋势 → 点击进入 3D 火星地表页 → 切换地标查看实景与资料 → 通过出行清单准备物资 → 参考星际航行信息规划行程。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服