业务和功能介绍
项目介绍：为提升大型仓储场景下的资产安全性与作业效率，公司部署 RFID 物联网系统，实现对高价值物资的实时追踪与异常行为预警。作为核心开发成员，我负责报警联动与寻物亮灯两大关键功能模块的集成与落地。
项目实现
核心职责与成果：
.实现非法提离实时报警联动
1.订阅 RFID 门禁设备发布的 MQTT 主题（如 rfid/gate/alarm），实时接收设备生成的 JSON 格式报警报文；
2.对接 WMS 系统校验物品出库状态，若为未授权提离，将原始报文安全落盘至监控目录（采用临时文件 + 原子重命名机制），触发下游告警服务；
3.通过 WatchService 监听目录事件，确保报警文件被可靠捕获，实现 0 漏报，支撑仓库安防合规。
集成厂家亮灯寻物系统
1.基于业务需求，调用厂家提供的 RESTful 亮灯接口（根据物品 ID 查询绑定标签 MAC）；
2.将返回的控制指令封装为标准化 JSON 报文，写入指定监控目录；
3.利用文件事件驱动架构（目录监听 + ENTRY_CREATE 触发），实现与灯控系统的异步解耦通信，寻物响应时间 < 1s。
4.构建高可靠文件事件处理框架设计统一的 JSON 文件生成与落盘组件，支持自动建目录、UTF-8 编码、唯一文件命名（功能_时间戳_随机数.json）；
.实现非法提离实时报警联动
1.订阅 RFID 门禁设备发布的 MQTT 主题（如 rfid/gate/alarm），实时接收设备生成的 JSON 格式报警报文；
2.对接 WMS 系统校验物品出库状态，若为未授权提离，将原始报文安全落盘至监控目录（采用临时文件 + 原子重命名机制），触发下游告警服务；
3.通过 WatchService 监听目录事件，确保报警文件被可靠捕获，实现 0 漏报，支撑仓库安防合规。
集成厂家亮灯寻物系统
1.基于业务需求，调用厂家提供的 RESTful 亮灯接口（根据物品 ID 查询绑定标签 MAC）；
2.将返回的控制指令封装为标准化 JSON 报文，写入指定监控目录；
3.利用文件事件驱动架构（目录监听 + ENTRY_CREATE 触发），实现与灯控系统的异步解耦通信，寻物响应时间 < 1s。
4.构建高可靠文件事件处理框架设计统一的 JSON 文件生成与落盘组件，支持自动建目录、UTF-8 编码、唯一文件命名（功能_时间戳_随机数.json）；
示例图片视频
相似推荐
跨模态检索tranning-free框架
立项背景与目标
背景： 跨模态检索（Cross-Modal Retrieval）是视觉-语言理解领域的核心任务，包含两类方向：
- I2T（Image-to-Text）： 给定一张图片，从候选文本库中检索最匹配的文本描述
- T2I（Text-to-Image）： 给定一段文本，从候选图像库中检索最匹配的图片
传统的跨模态检索方法通常依赖大规模标注数据对模型进行微调训练（training-based），计算成本高、周期长，且跨领域泛化能力有
限。本项目探索一种**完全无训练（Training-Free）**的跨模态检索新范式——直接利用多模态大模型（MLLM）的语义理解和推理能力
，结合层次化的上下文嵌入策略，在不进行任何模型微调的情况下，达到甚至超越有训练方法的检索精度。
目标：
1. 构建一个完整的、模块化的无训练跨模态检索流水线
2. 通过多维度图像描述生成和层次化语义嵌入，提升检索召回率
3. 引入 MLLM 重排序（Reranking）机制，在粗排的基础上做精细化语义匹配
4. 在 Flickr30K 和 COCO 2017 等标准数据集上验证方案的有效性
5. 通过一系列消融实验，系统分析各模块对最终性能的影响
软件功能
1. 图像多维度描述生成： 利用VL模型对每张图片从多个语义角度生成描述文本，为后续向量检索提供丰富的语义覆盖
2. 嵌入粗排： 采用自研嵌入策略，将多维度描述编码为高质量向量，计算图文相似度矩阵，输出 R@1/5/10 评估指标，并导出 Top-K 候选集供精排使用
3. MLLM Bidirectional Reranking： 在粗排 Top-K 候选集的基础上，对候选结果进行深度语义重排序，同时支持 I2T 和 T2I 两个方向
4. 自动化实验流水线： 通过 main.py 统一调度三阶段流程，自动进行 GPU 显存管理，支持大规模数据集批量处理
5. 稳定性测试： 对重排序模块进行多次重复推理，统计模型输出的一致性和稳定性
核心功能模块介绍
模块一：Stage1 - 图像描述生成（stage1_captioning.py）
- 功能： 对数据集中的每张图片，利用 Qwen3模型生成四个独立维度的详细描述
模块二：Stage2 - HCE 粗排与评估（stage2_HCE.py）
- 功能： 采用层次化上下文嵌入策略进行图文粗排检索，计算相似度矩阵并评估性能
- 核心类： CaptionRetrievalEvaluatorFast
模块三：Stage3-进行重排序Reranking
智能分析系统引擎
该项目是整个产品中最重要的一环，主要作用是算法分析，通过逐张视频帧分析是否满足告警条件。算法组成有行为分析算
法，安全帽检测算法，超员检测算法等等。行为分析算法通过背景学习之后采用差帧法提取团块差异，达到目标跟踪的效
果；安全帽检测算法通过深度学习检测出安全帽之后，与人体目标进行重合度检测；超员算法同样通过深度学习检测人体目
标，达到报警条件，给出报警。
Keep客户端
项目描述：
面向企业IT服务台场景，建设语音识别、图像识别与智能流程能力，打通“识别-处理-通知-反馈”闭环，提升服务处理效率与稳定性。
项目负责：
ASR/OCR能力接入与工程化落地、智能流程链路建设、告警看板迭代、跨系统接口联调与线上稳定性保障。
PCB金手指检测-方科PCB板
1.立项背景和目标
随着PCB高密度、高精度发展趋势，金手指位置度检测成为影响连接可靠性的关键工序。传统人工检测效率低、一致性差，难以满足批量生产中的精度要求。针对方正PCB的实际产品，开发出一套基于线扫描相机与同轴线光的金手指位置度检测方案，目标实现对金手指中心线偏移量的自动化测量，检测重复性控制在0.01mm以内，提升检测效率与标准化水平。
2.软件功能、核心功能模块介绍
本方案主要包括图像采集模块、位置度计算模块、重复性分析模块、结果输出模块。图像采集模块通过线扫相机和伺服移动系统获取高分辨率PCB图像；位置度计算模块以“两线平分中分线”为基准，测量左右第一根金手指到中心线的距离；重复性分析模块对多次测量结果进行极差计算，评估系统稳定性；结果输出模块生成检测数据表，支持数据追溯。
3.业务流程、功能路径描述
操作员将PCB放入固定载具 → 启动设备 → 将产品送至扫描位 → 线扫相机与同轴线光采集图像 → 软件计算金手指位置度数据 → 设备自动切换至背光，翻转产品后二次扫描 → 完成检测后送出产品。整个过程通过软件界面实时监控检测状态与结果，支持数据导出和重复性验证。
onnx-wakeword https://github.com/voicute/onnx-wakeword
1、项目有哪些具体功能模块
跨平台推理适配模块、五层防误唤醒检测模块、模型加载解析模块、音频梅尔频谱转换模块、多唤醒词并行识别模块。
2、项目的主要功能描述
支持加载各类框架导出的 ONNX 唤醒词模型，内置五层独立可控防误触发检测逻辑，搭配倍率、阈值、置信度可视化调节；一套代码兼容 ESP32、Android、Linux、Web 四大平台，支持单唤醒词、多唤醒词批量配置，可对接 voicute 在线平台一键生成适配模型。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服