业务和功能介绍
本项目基于 RK3588 + Android + RKNN 平台开发，面向边缘端智能识别场景，目标是在移动设备上实现一套具备 实时人脸检测、特征提取与身份识别 能力的人脸识别系统。系统采用 RetinaFace 作为人脸检测与关键点定位模型，能够准确输出人脸框及五官关键点；采用 MobileNet 作为轻量化人脸特征提取网络，在保证精度的同时兼顾端侧推理速度。软件核心功能包括摄像头实时取流、人脸检测、人脸对齐、特征向量提取、特征库比对、识别结果展示等模块。业务流程上，系统首先从摄像头获取图像帧，经 RetinaFace 完成人脸检测与关键点定位后，对目标人脸进行对齐和裁剪，再由 MobileNet 提取特征向量，并与本地注册的人脸特征库进行相似度比对，最终输出识别结果并在 Android 界面上实时展示。该系统可应用于门禁、考勤、身份核验等场景，具备较好的实时性、稳定性与落地能力。
项目实现
项目整体采用 Android Java/Kotlin + JNI/NDK + C/C++ + RKNN 的实现方案，上层负责摄像头预览、界面交互与结果展示，下层负责模型推理、图像预处理、后处理与识别逻辑。系统设计上分为图像采集模块、人脸检测模块、人脸对齐模块、特征提取模块、特征比对模块和结果回传模块，各模块通过 JNI 完成高效联动。我主要负责 RetinaFace 和 MobileNet 模型的 RKNN 部署适配、Android 端集成、识别流程打通与性能优化。在项目中，完成了模型从训练侧到端侧的转换与适配，解决了输入输出格式不一致、量化精度下降、预处理与训练流程不统一等问题；同时对摄像头帧处理、内存复用、异步线程调度和推理耗时进行了优化，提升了整体运行效率。项目难点主要在于端侧实时性要求高、检测与识别链路长，以及 Android 与 NPU 推理模块之间的数据传递效率问题。针对这些问题，我通过减少不必要的数据拷贝、优化人脸对齐与后处理流程、合理划分检测与识别线程、控制特征库检索开销等方式，最终实现了较稳定的实时识别效果，并保障了系统在长时间运行场景下的稳定性。
示例图片视频
相似推荐
智能多端协同平台-yinglong智能系统
立项背景和目标
本项目旨在构建一个集智能对话、自动化信息处理、终端远程控制于一体的业务中台。解决企业日常运维、信息采集、多系统协同中的重复性劳动问题，通过AI技术实现部分环节的无人值守。
2、核心功能模块
AI对话与推理模块：基于大语言模型的智能问答与决策支持，可辅助业务分析。
浏览器自动化模块：模拟用户操作网页，自动完成数据抓取、表单提交等任务。
情报API服务：对外提供结构化数据接口，支持第三方系统集成。
终端远程管理模块：通过WebSocket实现远程服务器命令执行与日志查看。
主控调度中心：统一管理各模块的任务队列、健康检查和异常告警。
3、业务流程
用户通过前端界面（或API调用）提交任务请求 → 主控中心解析任务类型 → 分发给对应的AI/自动化模块执行 → 结果存入Redis缓存并同步MySQL持久化 → 最终返回给用户。整个过程支持异步和同步两种模式。
包装袋生产日期检测
一、立项背景和目标
在现代工业化高速包装产线上，喷码漏印/错印/重印以及包装破损、封口不良等缺陷严重影响出厂合格率，传统人工抽检方式效率低、易漏检且无法做到全检。本项目面向高速自动化流水线，构建了一套“工业级 OCR 生产日期识别与表面缺陷在线智能质检系统”，实现包装表面特征毫秒级全检，并与产线 PLC 控制系统无缝联动，实现残次品 100% 自动定位与精准剔除。
二、软件功能与核心功能模块
1. 工业相机触发与高速图像采集模块：支持光电传感器外部硬件触发（Hard Trigger），实现微秒级曝光同步抓拍高速运动工件。
2. 喷码字符定位与 OCR 文本解析引擎：自适应定位生产日期、批号、保质期等变动喷码区域，执行多角度倾斜矫正、字符分割与高精度内容识别，并与生产工单标准文本实时核对校验。
3. 包装表面与封口缺陷检测模块：结合形态学与深度学习分割算法，实时识别包装漏液、褶皱、划痕、压边残缺及喷码模糊等外观缺陷。
4. PLC 通信与气动剔除协同模块：集成工业总线/串口通信协议，将检测判废结果与编码器脉冲位置同步传递给下位机 PLC，驱动气动电磁阀/机械推杆完成剔除动作。
三、业务流程与功能路径
工件流经检测工位 -> 光电信号触发工业相机抓拍高清图像 -> 图像处理流水线执行字符 OCR 结构化比对与表面缺陷检测 -> 综合判定工件良品/不良品等级 -> 判定为 NG 时通过工业通信协议向 PLC 发送剔除信号与编码器追踪位移 -> 机械剔除机构在指定位置将废品吹出/推入废品箱 -> 实时记录检测报表与瑕疵原图归档。
工作状态监测
一、立项背景和目标
在数字化工位管理、智慧办公与特种作业安防场景中，传统考勤系统仅能记录出入打卡，无法实时感知员工在岗状态及异常作业行为。本项目基于瑞芯微高性能边缘计算平台 RK3588，构建一套边缘侧低功耗、高实时性的“人脸识别与工作状态智能监测系统”，实现无感身份核验、在离岗检测及专注度/违规作业状态的边缘端一体化实时分析。
二、软件功能与核心功能模块
1. 高性能视频流采集与预处理模块：支持多路 RTSP/MIPI-CSI 高清工业摄像头视频流接入，利用硬件编解码单元（MPP）完成硬解与图像色彩空间转换（RGA）。
2. 边缘端人脸识别与活体检测模块：基于深度学习模型实现人脸快速检测、关键点对齐、RGB+红外双目静默活体防伪及本地特征库千万级特征向量秒级比对。
3. 工作状态与行为分析引擎：结合人体姿态估计与工位 ROI 区域检测，实时分析在岗/离岗时长、低头玩手机、脱岗疲劳打瞌睡及异常离席等工位状态。
4. 告警联动与边缘数据上报：支持状态异常事件触发抓拍、本地低延时告警，并通过 MQTT/HTTP 将脱敏状态数据结构化上报至企业中台。
三、业务流程与功能路径
摄像头实时输入视频流 -> RK3588 硬件解码与 RGA 图像裁剪缩放 -> NPU 驱动执行人脸识别算法完成身份绑定 -> 并行推理工位人体姿态与行为检测模型 -> 业务逻辑状态机聚合判定工位状态 -> 触发本地声光/日志告警并异步上报管控后台。
AI量体裁衣（日本公司外包项目）
一、立项背景和目标
传统西装高级定制高度依赖人工线下精准量体，存在服务门槛高、流程繁琐且难以实现规模化线上服务的问题。本项目旨在构建一套基于图像的“AI智能量体裁衣与穿搭顾问系统”，用户仅需上传全身照片，即可全自动解算西装定制所需的关键人体围度与骨骼几何数据，并依托智能体生成定制化穿搭与版型建议。
二、软件功能与核心功能模块
1. 图像采集与预处理模块：支持用户正面/侧面全身图像输入与图像质量自动化校验。
2. AI视觉量体计算引擎：集成人体关键点检测与三维人体参数化模型重构，精准拟合躯干网格并解算出肩宽、胸围、腰围、臀围、袖长、裤长等西装核心剪裁指标。
3. Coze AI穿搭咨询与决策工作流：将解算的量体数据、身形比例特征通过API传递给智能体，智能输出版型选择（修身/标准/宽松）、面料色彩及场合穿搭策略。
4. 服务端API与工作流协作：提供高并发服务端接口，实现图像上传、算法解算、结果回传与穿衣报告生成的全链路闭环。
三、业务流程与功能路径
用户上传人体图像 -> 系统调用人体检测与3D Mesh重构管线计算三维点云与骨骼关键点 -> 计算西装定制各项围度与长度参数 -> 结构化数据接入Coze智能体API工作流 -> 生成包含“精准量体数据 + 智能西装穿搭建议”的综合报告。
改进ProGAN的小样本纹理生成系统
1. 立项背景和目标：
针对传统ProGAN在生成高分辨率纹理时存在的模式崩塌、细节模糊及训练不稳定性问题，本项目旨在构建一套高保真纹理生成系统。目标是通过算法优化，实现4K级无缝纹理的自动化生成，解决游戏与影视制作中美术资产生产效率低、重复度高的问题，将单张高质量纹理的生产时间从数小时缩短至分钟级，并显著提升生成结果的多样性与真实感。
2. 软件功能、核心功能模块的介绍：
系统包含三大核心模块：
改进型生成对抗网络核心：引入自适应实例归一化与谱归一化技术，优化ProGAN的渐进式增长策略，增强高频细节表现力；
纹理后处理与优化模块：集成超分辨率重建与色彩校正算法，自动修复生成瑕疵，支持PBR材质贴图（法线、粗糙度等）的一键导出；
交互式评估看板：提供FID/IS指标实时监控与人工偏好反馈接口，支持用户通过文本或草图引导生成方向。
3. 业务流程、功能路径描述：
用户输入参数或参考图→系统初始化噪声向量→进入改进的ProGAN渐进式生成流程（从低分辨率逐步上采样至目标分辨率）→经过判别器多尺度校验→输出基础纹理→通过后处理模块增强细节→最终交付高清无缝纹理资产并自动归档。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服