用户上传图片至后端服务后,后端首先完成图片接收、格式校验、图像预处理等基础操作,随后调用 AI 多模态大模型对图片内容进行全域语义解析与场景化识别,精准判定图片中所包含的安全隐患具体类型,覆盖生产作业、消防、施工、设备、环境等多类安全风险场景;在完成隐患类型识别后,继续调用视觉检测大模型,基于目标检测、实例分割等技术对图片内隐患进行精准定位,输出隐患所在区域的坐标、边界范围等位置信息;后端再依据检测得到的隐患位置数据,对原始图片进行智能分割与可视化标注处理,将隐患区域单独分割提取并返回标注后的可视化图片;同时,后端联动行业安全隐患标准知识库,自动匹配该类隐患在对应行业内的风险等级、整改优先级、法定 / 标准整改时长、整改要求、责任主体及相关安全规范依据等关联信息,最终将分割后的隐患图片、隐患基础信息、行业配套管控数据统一整合返回,为安全隐患排查、整改闭环与风险管控提供完整的数据支撑。
基于 Django 框架搭建智能AI Agent 中枢服务,构建图片接收、任务调度、流程编排、AI 模型联动调用的全自动化处理链路;由 AI Agent 统一接收前端 / 客户端上传的图片文件,完成图片格式校验、尺寸归一化、画质优化等预处理操作后,严格按照既定执行流程分步调度 AI 模型:首先调用多模态大模型,对图片内容进行视觉语义解析,精准识别并提取图片中的安全隐患类型;在成功获取隐患类型结果后,AI Agent 自动触发下一步流程,调用视觉检测大模型,对图片进行全域目标检测,精准定位隐患所在的边界框、像素坐标等具体位置信息;待隐患位置检测完成后,AI Agent 继续调度执行最终环节,调用图像分割大模型,基于检测输出的位置数据,对原始图片中的隐患区域进行精准实例分割,提取独立的隐患分割区域与掩码图像;整个处理流程由 Django AI Agent 统一管控任务时序、接口调用、异常捕获、结果缓存,最终整合隐患类型、隐患位置、分割后隐患图像等全量处理数据,标准化返回至前端展示或下游系统使用。