永锋钢铁大模型

立项背景与目标 背景： 跨模态检索（Cross-Modal Retrieval）是视觉-语言理解领域的核心任务，包含两类方向： - I2T（Image-to-Text）： 给定一张图片，从候选文本库中检索最匹配的文本描述 - T2I（Text-to-Image）： 给定一段文本，从候选图像库中检索最匹配的图片 传统的跨模态检索方法通常依赖大规模标注数据对模型进行微调训练（training-based），计算成本高、周期长，且跨领域泛化能力有 限。本项目探索一种**完全无训练（Training-Free）**的跨模态检索新范式——直接利用多模态大模型（MLLM）的语义理解和推理能力 ，结合层次化的上下文嵌入策略，在不进行任何模型微调的情况下，达到甚至超越有训练方法的检索精度。 目标： 1. 构建一个完整的、模块化的无训练跨模态检索流水线 2. 通过多维度图像描述生成和层次化语义嵌入，提升检索召回率 3. 引入 MLLM 重排序（Reranking）机制，在粗排的基础上做精细化语义匹配 4. 在 Flickr30K 和 COCO 2017 等标准数据集上验证方案的有效性 5. 通过一系列消融实验，系统分析各模块对最终性能的影响 软件功能 1. 图像多维度描述生成： 利用VL模型对每张图片从多个语义角度生成描述文本，为后续向量检索提供丰富的语义覆盖 2. 嵌入粗排： 采用自研嵌入策略，将多维度描述编码为高质量向量，计算图文相似度矩阵，输出 R@1/5/10 评估指标，并导出 Top-K 候选集供精排使用 3. MLLM Bidirectional Reranking： 在粗排 Top-K 候选集的基础上，对候选结果进行深度语义重排序，同时支持 I2T 和 T2I 两个方向 4. 自动化实验流水线： 通过 main.py 统一调度三阶段流程，自动进行 GPU 显存管理，支持大规模数据集批量处理 5. 稳定性测试： 对重排序模块进行多次重复推理，统计模型输出的一致性和稳定性 核心功能模块介绍 模块一：Stage1 - 图像描述生成（stage1_captioning.py） - 功能： 对数据集中的每张图片，利用 Qwen3模型生成四个独立维度的详细描述 模块二：Stage2 - HCE 粗排与评估（stage2_HCE.py） - 功能： 采用层次化上下文嵌入策略进行图文粗排检索，计算相似度矩阵并评估性能 - 核心类： CaptionRetrievalEvaluatorFast 模块三：Stage3-进行重排序Reranking

该项目是整个产品中最重要的一环，主要作用是算法分析，通过逐张视频帧分析是否满足告警条件。算法组成有行为分析算 法，安全帽检测算法，超员检测算法等等。行为分析算法通过背景学习之后采用差帧法提取团块差异，达到目标跟踪的效 果；安全帽检测算法通过深度学习检测出安全帽之后，与人体目标进行重合度检测；超员算法同样通过深度学习检测人体目 标，达到报警条件，给出报警。

项目描述： 面向企业IT服务台场景，建设语音识别、图像识别与智能流程能力，打通“识别-处理-通知-反馈”闭环，提升服务处理效率与稳定性。 项目负责： ASR/OCR能力接入与工程化落地、智能流程链路建设、告警看板迭代、跨系统接口联调与线上稳定性保障。

1.立项背景和目标 随着PCB高密度、高精度发展趋势，金手指位置度检测成为影响连接可靠性的关键工序。传统人工检测效率低、一致性差，难以满足批量生产中的精度要求。针对方正PCB的实际产品，开发出一套基于线扫描相机与同轴线光的金手指位置度检测方案，目标实现对金手指中心线偏移量的自动化测量，检测重复性控制在0.01mm以内，提升检测效率与标准化水平。 2.软件功能、核心功能模块介绍 本方案主要包括图像采集模块、位置度计算模块、重复性分析模块、结果输出模块。图像采集模块通过线扫相机和伺服移动系统获取高分辨率PCB图像；位置度计算模块以“两线平分中分线”为基准，测量左右第一根金手指到中心线的距离；重复性分析模块对多次测量结果进行极差计算，评估系统稳定性；结果输出模块生成检测数据表，支持数据追溯。 3.业务流程、功能路径描述 操作员将PCB放入固定载具 → 启动设备 → 将产品送至扫描位 → 线扫相机与同轴线光采集图像 → 软件计算金手指位置度数据 → 设备自动切换至背光，翻转产品后二次扫描 → 完成检测后送出产品。整个过程通过软件界面实时监控检测状态与结果，支持数据导出和重复性验证。

1、项目有哪些具体功能模块 跨平台推理适配模块、五层防误唤醒检测模块、模型加载解析模块、音频梅尔频谱转换模块、多唤醒词并行识别模块。 2、项目的主要功能描述 支持加载各类框架导出的 ONNX 唤醒词模型，内置五层独立可控防误触发检测逻辑，搭配倍率、阈值、置信度可视化调节；一套代码兼容 ESP32、Android、Linux、Web 四大平台，支持单唤醒词、多唤醒词批量配置，可对接 voicute 在线平台一键生成适配模型。