基于Chinese-CLIP的图文跨模态检索系统

本项目针对传统图像检索依赖标签或单一模态特征、语义表达能力有限的问题，设计并实现了一套基于多模态对比学习的图文跨模态检索系统，实现“以文搜图”和“以图搜文”的语义级匹配。
系统核心功能包括文本查询图像、图像查询文本以及相似度排序展示。整体模块由数据处理模块、特征编码模块、相似度计算模块和检索展示模块构成。用户输入文本描述或上传图像后，系统能够在候选库中返回语义最相关的结果。
业务流程为：首先对图文数据进行清洗与配对处理；随后基于Chinese-CLIP模型提取图像与文本的联合语义特征；通过向量归一化后计算相似度，并结合高效向量检索库进行快速匹配；最终输出Top-K检索结果并进行可视化展示。

项目整体采用基于对比学习的双编码器架构，核心模型为Chinese-CLIP，通过分别对图像与文本进行编码，将不同模态映射到统一语义空间中进行相似度计算。系统架构分为数据层、模型层与检索层，其中检索层基于FAISS实现高效向量近邻搜索。

在项目中，我主要负责特征建模与检索优化部分。具体包括：完成Chinese-CLIP模型的部署与推理流程搭建；对图像与文本特征进行归一化处理，提高相似度计算稳定性；设计Top-K检索策略并实现结果排序与展示；同时参与数据预处理与实验调优工作。

项目难点主要在于跨模态语义对齐不足及检索精度不稳定。针对这些问题，我通过调整特征融合方式及相似度计算策略，对检索结果进行优化；同时通过对数据分布进行分析与筛选，提高模型在实际场景中的泛化能力。

最终系统能够实现稳定的跨模态检索功能，在实验数据上取得较好的匹配效果（Top-K命中率显著提升）。