程序聚合软件案例基于大模型的多模态检索-阿里云

基于大模型的多模态检索-阿里云

2025-12-07 23:42:28

行业：企业服务(saas)、搜索

载体：云服务/云平台

技术：ONNX Runtime、OpenCV、PyTorch、Transformers

业务和功能介绍

改进传统基于实体检测和协同过滤的短视频推荐方式，转为利用多模态 ai 技术的推荐方式，解决原有推荐方式缺乏语义理解的缺点。自动生成视频描述和视频推荐标签，降低用户使用难度
功能：
1. 利用多模态召回以及倒排索引检索视频
2.实现对视频内容理解并回答问题

项目实现

1. 主导 Clip 预训练框架设计（ViVit + Bert），通过对比学习实现视频关键帧与描述的语义对齐，在 8 卡 4000+GPU 小时算力下完成 3000 万+ tokens 训练，语义匹配度提升30%，为推荐系统提供高精度特征提取基础。2. 微调 Blip 模型生成视频描述，用户生成描述认可率从 65%提升至 80%（+15%），显著降低用户生产内容门槛。3. 构建 Query2Label 多标签分类 post trtraining 流程，优化多标签生成逻辑，实现推荐标签召回率 0.76（较传统协同过滤提升 22%），支撑精准内容分发。4. 部署端到端模型服务至阿里云，支持视频描述与推荐标签动态生成。

示例图片视频

头秃中

30天前活跃

方向：人工智能-NLP和自然语言处理、人工智能-计算机视觉与图像处理、

交付率：100.00%

查看主页

相似推荐

Flutter我的日常饮食菜单-我的菜单

这是一款专为注重健康与生活品质的人群打造的日常饮食菜单 App。它能根据你的口味偏好、营养目标和饮食禁忌，智能生成每日三餐搭配建议，涵盖低脂、高蛋白、素食等多种方案。你可以记录每日摄入热量与营养素，查看饮食分析报告，还能一键生成购物清单，让买菜备餐更高效。内置海量家常菜谱与做法步骤，支持自定义菜单和定时提醒，帮你养成规律饮食习惯。界面清新简洁，操作直观，既是你的私人营养师，也是厨房里的贴心助手。

美特优智能健康-美特优

硬件采集原始数据（蓝牙从戒指传到手机APP） • 运动：步数、距离、卡路里消耗 • 睡眠：睡眠分期、REM快速眼动、睡眠评分 • 夜间监护：呼吸暂停监测、心率/血氧异常告警 • 24小时体征：心率、血氧、压力值、皮肤温度、体温 • 血压静态检测 APP端业务功能 1. 数据可视化：图表展示历史趋势，AI给出健康建议 2. 会员增值模块 ◦ AI自动生成健康报告，对接医疗资源 ◦ 7×24小时健康顾问（有医疗背景客服） ◦ 专家有限次数线上指导 ◦ 亲友关怀：健康报告同步、异常报警推送亲属

鸿蒙测试-鸿蒙原生态测试

承接甲方分配的软件测试项目，深度理解业务需求与技术方案，制定针对性测试计划；设计测试脑图拆解核心功能模块，梳理全量测试点与优先级，明确测试范围与风险点；编写测试 demo 完成核心功能预验证，提前识别需求或开发阶段的潜在缺陷；主导场景测试执行，覆盖正常业务流程、异常边界场景及兼容性场景，同时开展测试用例的设计、评审与迭代优化；

飞羽

本项目是一套功能完善的B2C电商平台，核心模块包含用户中心、商品管理、购物车、订单结算、支付网关、物流追踪及售后评价系统。对于使用者而言，实现了从商品浏览、智能搜索、下单支付到物流查询的全流程自助购物服务，同时也为管理员提供了可视化的数据看板以监控销售与库存。项目的主要功能路径设计为：用户注册登录后进入首页浏览推荐或搜索商品，点击商品详情页查看规格与评价，将心仪商品加入购物车，在结算页确认收货地址并选择支付方式完成付款，随后系统自动生成订单并推送物流状态，用户收货后可进行确认与评价，形成完整的交易闭环。

灵西小程序

灵西是合肥市肥西县官方推出的微信小程序，属于**智慧肥西**智慧城市平台的居民端入口，是肥西县集政务办理、民生服务、基层治理、为企服务于一体的综合便民小程序央广网。肥西县官方掌上城市服务平台。