基于多模态与大模型的短视频智能分析 Agent 系统

针对短视频平台内容爆炸式增长带来的推荐精准度不足、用户理解粗粒度等问题，设计并实现一个融合多模态理解与大语言模型决策能力的智能 Agent 系统，实现视频内容自动分类与动态用户画像构建，支撑个性化推荐、广告投放与内容治理等核心业务。
技术栈：Python, YOLOv8, Whisper, Qwen-VL, LangChain, Kafka, Flink, Milvus, Neo4j, FastAPI, Docker, Kubernetes

● 系统架构设计：主导构建模块化 Agent 架构，集成视频理解、行为分析、画像建模与 LLM 决策四大模块，支持实时流式处理与批量更新，系统日均处理视频 50W+，用户行为日志 2亿+ 条。
● 多模态：
基于 Qwen-VL 实现视频帧语义分类，准确率达 91.3%（Top-1）；
融合 YOLOv8（目标检测）、Whisper（ASR）、PaddleOCR（文本识别）实现多模态标签提取，标签覆盖率提升 45%。
● 用户画像引擎开发：
设计基于时间衰减的兴趣权重模型，构建用户兴趣向量；
使用 Milvus 存储用户向量表征，支持近实时相似用户检索（<100ms）；
构建 Neo4j 图谱，刻画“用户-兴趣-内容”关系，支持兴趣演化分析。
● LLM 决策 Agent 实现：
基于 LangChain 搭建 ReAct 架构 Agent，调用 Qwen2.5-32B-Instruct 实现自然语言决策推理；
输出个性化推荐、广告投放、创作者激励等策略建议，A/B 测试显示推荐点击率（CTR）提升 18.7%。
● 系统部署与服务化：
使用 FastAPI 封装核心接口，Docker + Kubernetes 实现微服务部署；
搭建可视化 Dashboard，支持运营人员实时查看用户画像与内容分布。