程序聚合 软件案例 基于大模型的多模态检索-阿里云

基于大模型的多模态检索-阿里云

2025-12-07 23:42:28
行业:企业服务(saas)、搜索
载体:云服务/云平台
技术:ONNX Runtime、OpenCV、PyTorch、Transformers

业务和功能介绍

改进传统基于实体检测和协同过滤的短视频推荐方式,转为利用多模态 ai 技术的推荐方式,解决原有推荐方式缺乏语义理解的缺点。自动生成视频描述和视频推荐标签,降低用户使用难度
功能:
1. 利用多模态召回以及倒排索引检索视频
2.实现对视频内容理解并回答问题

项目实现

1. 主导 Clip 预训练框架设计(ViVit + Bert),通过对比学习实现视频关键帧与描述的语义对齐,在 8 卡 4000+GPU 小时算力下完成 3000 万+ tokens 训练,语义匹配度提升30%,为推荐系统提供高精度特征提取基础。2. 微调 Blip 模型生成视频描述,用户生成描述认可率从 65%提升至 80%(+15%),显著降低用户生产内容门槛。3. 构建 Query2Label 多标签分类 post trtraining 流程,优化多标签生成逻辑,实现推荐标签召回率 0.76(较传统协同过滤提升 22%),支撑精准内容分发。4. 部署端到端模型服务至阿里云,支持视频描述与推荐标签动态生成。

示例图片视频


头秃中
24小时内活跃
方向: 人工智能-NLP和自然语言处理、人工智能-计算机视觉与图像处理、
交付率:100.00%
相似推荐
余职
灵活用工平台:达人广场,订单广场,钱包,搜索引擎,消息,以及配套后台系统,官网,团队共有:后端两人,前端两人,ui 设计一人,产品经理一人,测试一人,运维技术支持一人,内容不宜描述过多涉及商业机密!
记账-AccountPad
记账本,支持个人记账和共享记账; 支持按时间、分组对账单数据进行筛选; 支持对每个月的账单数据进行统计分析; 支持设置用户昵称和头像; 支持个性化设置。 (个人小程序,未年审,无法直接搜索到,如需体验可联系本人)
魔法棒控制-LED灯控
客户产品是一套多彩的LED灯光棒,用在家里装饰电视,营造一个绚丽多彩的环境。里面有蓝牙模块和摄像头。主要是通过APP调节LED灯的颜色,工作模式,跳动旋律灯。也可以通过摄像头实时抓取电视的色彩,分析rgb值,并控制LED灯显示对应的颜色。
微信扫码点餐小程序
## 1. 立项背景和目标 ### 背景分析 随着移动互联网技术的普及和餐饮行业数字化转型的需求日益增长,传统点餐方式存在效率低下、人力成本高、顾客体验不佳等问题。尤其在高峰期,顾客点餐排队时间长、服务员工作压力大、订单出错率高等问题尤为突出。 ### 项目目标 本项目旨在开发一套完整的扫码点餐系统,通过微信小程序为顾客提供便捷的自助点餐体验,同时为餐厅管理者提供高效的订单管理和数据统计工具。主要目标包括: - 提升顾客点餐体验,减少等待时间 - 降低餐厅人力成本,提高服务效率 - 实现订单数字化管理,减少错误率 - 提供数据分析支持,辅助经营决策 ## 2. 软件功能和核心模块介绍 ### 系统架构 本系统采用前后端分离架构,包含微信小程序前端、Java Spring Boot后端和Vue管理后台三大部分。 ### 核心功能模块 #### 微信小程序端 - **用户管理模块**:支持微信授权登录和账号密码登录 - **点餐模块**:分类浏览菜品、查看详情、加入购物车、下单 - **订单模块**:订单创建、支付、查看历史订单和订单详情 - **个人中心**:个人信息管理、订单记录查询 #### 管理后台 - **用户管理**:顾客信息查看和管理 - **员工管理**:员工账号管理、权限分配 - **菜品管理**:菜品信息维护、分类管理、价格设置 - **订单管理**:订单接单、完成、取消等状态管理 - **桌位管理**:桌位信息维护、二维码生成 - **店铺管理**:店铺信息设置、营业状态控制 #### 后端服务 - **用户服务**:处理用户登录、信息管理等业务逻辑 - **订单服务**:处理订单创建、支付、状态变更等核心业务 - **菜品服务**:提供菜品信息查询、分类管理等接口 - **店铺服务**:提供店铺信息查询、设置等接口 ## 3. 业务流程和功能路径描述 ### 顾客点餐流程 1. 顾客扫描桌面二维码,进入小程序点餐页面 2. 浏览菜品分类,选择所需菜品加入购物车 3. 确认购物车中的菜品,选择桌号并提交订单 4. 进行微信支付或选择餐后支付 5. 等待商家接单,查看订单状态和进度 6. 用餐完毕,可对服务进行评价 ### 商家接单流程 1. 管理后台接收到新订单通知 2. 员工查看订单详情,确认接单 3. 后厨根据订单信息准备菜品 4. 菜品制作完成后,服务员送餐 5. 确认顾客用餐完毕,标记订单完成 6. 如有问题,可处理退款或售后需求 ### 系统数据流向 1. 微信小程序用户操作产生数据请求 2. 前端发送请求至Java后端API接口 3. 后端处理业务逻辑,与数据库交互 4. 数据库存储订单、菜品、用户等核心信息 5. 后端返回处理结果至小程序前端 6. 管理后台通过WebSocket实时获取订单更新
一只狐棋牌室小程序
为合肥一只狐棋牌室开发的微信小程序,让用户可以在线直接下单预约,包厢会显示当前空闲时间段每半小时间隔,支持自己选择时间段和固定时长,选择完成下单之后可按时到店玩乐,支持在订单中远程开门这续单延时
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服