fppjk

立项背景与目标 背景： 跨模态检索（Cross-Modal Retrieval）是视觉-语言理解领域的核心任务，包含两类方向： - I2T（Image-to-Text）： 给定一张图片，从候选文本库中检索最匹配的文本描述 - T2I（Text-to-Image）： 给定一段文本，从候选图像库中检索最匹配的图片 传统的跨模态检索方法通常依赖大规模标注数据对模型进行微调训练（training-based），计算成本高、周期长，且跨领域泛化能力有 限。本项目探索一种**完全无训练（Training-Free）**的跨模态检索新范式——直接利用多模态大模型（MLLM）的语义理解和推理能力 ，结合层次化的上下文嵌入策略，在不进行任何模型微调的情况下，达到甚至超越有训练方法的检索精度。 目标： 1. 构建一个完整的、模块化的无训练跨模态检索流水线 2. 通过多维度图像描述生成和层次化语义嵌入，提升检索召回率 3. 引入 MLLM 重排序（Reranking）机制，在粗排的基础上做精细化语义匹配 4. 在 Flickr30K 和 COCO 2017 等标准数据集上验证方案的有效性 5. 通过一系列消融实验，系统分析各模块对最终性能的影响 软件功能 1. 图像多维度描述生成： 利用VL模型对每张图片从多个语义角度生成描述文本，为后续向量检索提供丰富的语义覆盖 2. 嵌入粗排： 采用自研嵌入策略，将多维度描述编码为高质量向量，计算图文相似度矩阵，输出 R@1/5/10 评估指标，并导出 Top-K 候选集供精排使用 3. MLLM Bidirectional Reranking： 在粗排 Top-K 候选集的基础上，对候选结果进行深度语义重排序，同时支持 I2T 和 T2I 两个方向 4. 自动化实验流水线： 通过 main.py 统一调度三阶段流程，自动进行 GPU 显存管理，支持大规模数据集批量处理 5. 稳定性测试： 对重排序模块进行多次重复推理，统计模型输出的一致性和稳定性 核心功能模块介绍 模块一：Stage1 - 图像描述生成（stage1_captioning.py） - 功能： 对数据集中的每张图片，利用 Qwen3模型生成四个独立维度的详细描述 模块二：Stage2 - HCE 粗排与评估（stage2_HCE.py） - 功能： 采用层次化上下文嵌入策略进行图文粗排检索，计算相似度矩阵并评估性能 - 核心类： CaptionRetrievalEvaluatorFast 模块三：Stage3-进行重排序Reranking

立项背景与目标：构建一套高质量的全球国家、美食、旅游景点、主要城市数据集，并通过交互式3D地球仪进行可视化呈现，服务于旅行、美食、旅游相关的Web内容项目。 核心功能模块： • 数据采集模块：从 Wikidata SPARQL 查询203个国家基础信息、美食（每国30条）、景点（每国30个，含坐标）、主要城市（每国6个） • 数据增强模块：通过Wikipedia REST API获取详细描述、图片和链接（中文优先，英文回退） • 数据合并导出：输出最终JSON文件（661KB） • 3D地球Web应用：Three.js渲染，含蓝色星球贴图、大气光晕着色器、星空背景、国家边界线、可点击国家、景点金色标记点 • 国家信息面板：侧滑面板，分Tab展示美食、景点、城市 • 搜索功能：支持中文名、英文名、ISO代码搜索国家 • 本地Web服务器：提供 /api/data 和 /api/world-atlas 两个API端点 最终数据规模：203个国家框架，52个有实际数据，287个美食项，977个景点（含坐标），254个城市（含坐标） 业务流程： 运行main.py → SPARQL查询203国基础信息 → 逐国采集美食/景点/城市 → Wikipedia增强描述 → 增量缓存到enriched.json（支持断点续采）→ merge合并 → 输出earth_data.json → 启动web/server.py → 浏览器加载3D地球 → 用户旋转/缩放/点击国家/搜索 → 查看美食/景点/城市

立项背景与目标：企业级教学项目，业务领域是美股市场监控结合AI驱动的舆情分析。覆盖Spring Boot、MyBatis-Plus、Vue 3、AI Agent（MCP协议）、LLM集成等全栈技术。 核心功能模块（4个模块）： 模块A — stock-mcp（MCP Server）：为AI Agent提供工具的MCP服务器，含DateTool（获取时间）、EmailTool（发送邮件），使用Spring AI SSE端点 模块B — stock-web（股票监控）： • RSS采集：每15秒从 stocktitan.net 拉取美股新闻RSS • 去重、翻译（百度API）、标签提取（Jsoup，34种信号标签如AI/收购/FDA/财报，映射中文+emoji） • 异常统计（24小时/3天/7天各股票异常频率） • 查询API（关键词/标签/时间范围筛选+分页） • Spark分析（Top异常股票和Top标签聚合） 模块C — stock-yuqing（舆情分析）： • 异步分析流水线：提交查询→异步任务→轮询完成 • AI任务规划（DeepSeek）：提取事件类型/地点/时间，生成3-5个搜索关键词 • 互联网搜索（Tavily）：多查询搜索，URL去重，相关性排序 • AI情感分析（DeepSeek）：8维度分析（事件概览、时间线、热点话题、风险等级、情感倾向、公众关切、关键发现、建议） • 策略生成（DeepSeek）：5维度危机应对策略 • 报告生成：程序化生成Markdown/JSON格式（不用LLM以节省Token） • 邮件投递：SMTP发送到用户指定邮箱 模块D — my-vue-dev（Vue 3前端）：登录/注册、股票监控仪表盘（含Spark分析图表）、图表对比视图、响应式布局 业务流程： • 股票监控：定时任务(15秒) → RSS拉取 → 去重 → 翻译 → 标签提取 → 存储 → 聚合统计 → 钉钉告警 → 前端REST查询展示 • 舆情分析：用户提交查询 → 创建任务(PENDING) → 后台异步8步流水线 → 状态更新(COMPLETED/FAILED) → 前端轮询 → 查看报告/邮件发送