业务和功能介绍
本项目基于 RK3588 + Android + RKNN 平台开发，面向边缘端智能识别场景，目标是在移动设备上实现一套具备 实时人脸检测、特征提取与身份识别 能力的人脸识别系统。系统采用 RetinaFace 作为人脸检测与关键点定位模型，能够准确输出人脸框及五官关键点；采用 MobileNet 作为轻量化人脸特征提取网络，在保证精度的同时兼顾端侧推理速度。软件核心功能包括摄像头实时取流、人脸检测、人脸对齐、特征向量提取、特征库比对、识别结果展示等模块。业务流程上，系统首先从摄像头获取图像帧，经 RetinaFace 完成人脸检测与关键点定位后，对目标人脸进行对齐和裁剪，再由 MobileNet 提取特征向量，并与本地注册的人脸特征库进行相似度比对，最终输出识别结果并在 Android 界面上实时展示。该系统可应用于门禁、考勤、身份核验等场景，具备较好的实时性、稳定性与落地能力。
项目实现
项目整体采用 Android Java/Kotlin + JNI/NDK + C/C++ + RKNN 的实现方案，上层负责摄像头预览、界面交互与结果展示，下层负责模型推理、图像预处理、后处理与识别逻辑。系统设计上分为图像采集模块、人脸检测模块、人脸对齐模块、特征提取模块、特征比对模块和结果回传模块，各模块通过 JNI 完成高效联动。我主要负责 RetinaFace 和 MobileNet 模型的 RKNN 部署适配、Android 端集成、识别流程打通与性能优化。在项目中，完成了模型从训练侧到端侧的转换与适配，解决了输入输出格式不一致、量化精度下降、预处理与训练流程不统一等问题；同时对摄像头帧处理、内存复用、异步线程调度和推理耗时进行了优化，提升了整体运行效率。项目难点主要在于端侧实时性要求高、检测与识别链路长，以及 Android 与 NPU 推理模块之间的数据传递效率问题。针对这些问题，我通过减少不必要的数据拷贝、优化人脸对齐与后处理流程、合理划分检测与识别线程、控制特征库检索开销等方式，最终实现了较稳定的实时识别效果，并保障了系统在长时间运行场景下的稳定性。
示例图片视频
相似推荐
RAG Agent
一、立项背景与目标
1. 立项背景
在传统的知识库问答系统中，普遍存在以下痛点：
- 流程混乱：通用ReAct Agent在处理复杂业务时，容易发生步骤跳跃或逻辑错乱，导致回答质量不稳定。
- 上下文断裂：多轮对话中，用户常使用代词（如“它多少钱？”），传统向量检索缺乏指代消解能力，导致检索失败。
- 意图混杂：闲聊式提问（如“你好”）与知识检索式提问（如“XX产品参数是多少”）被统一处理，浪费算力且影响用户体验。
- 状态丢失：用户刷新页面或稍后再访问时，对话历史无法延续，每次都是“新会话”。
2. 项目目标
- 构建一个流程可控、意图可分流、上下文可理解、状态可持久的智能知识助手。
- 实现复杂业务逻辑的结构化解耦，提升系统的可维护性与稳定性。
- 显著提升多轮对话场景下的检索命中率与回答准确率。
二、软件功能与核心模块
1.整体功能概述
本系统是一个基于LLM的智能对话式知识库问答助手，支持用户通过自然语言提问，从向量知识库中精准检索并生成回答。系统特别强化了多轮对话中的指代消解能力与流程可控性。
2.核心功能模块介绍
模块名称 功能说明
Planner（规划器） 基于LLM + 专用Prompt，硬编码业务流程。负责解析用户请求，按固定流程调度执行，防止逻辑跳跃。
语义路由器 基于LLM的分类工具，动态识别用户意图为“chat”（闲聊）或“retrieval”（知识检索），实现分支分流。
历史加载与写入模块 与Redis集成，自动追加对话历史，确保跨会话的上下文连续性。
查询重写模块 结合历史对话，将存在指代或省略的用户问题（如“它多少钱？”）改写为语义完整的独立问句。
混合检索引擎 同时执行向量语义检索与关键词检索，通过RRF算法融合排序，提升召回效果。
Executor（执行器） 根据Planner的指令，调用重写、检索、生成等环节，最终输出回答。
系统流程严格遵循：语义路由 → 历史加载 → (分支判断) → 查询改写/直接回答 → 知识库检索 → 最终生成
三、业务流程与功能路径
以下为用户与系统交互的完整功能路径描述：
场景一：用户进行知识检索（多轮对话）
场景二：用户发起闲聊
场景三：用户首次访问 / 会话恢复
端到端自动驾驶轻量化模型设计
本项目主要面向无人驾驶仿真研究、智能车辆轨迹跟踪与轻量化控制算法验证场景，围绕端到端自动驾驶技术开展系统设计与实验开发。项目基于 CARLA 仿真平台构建虚拟驾驶环境，通过采集车辆前视图像、行驶状态和控制指令等数据，训练轻量化神经网络模型，实现从环境感知输入到车辆控制输出的端到端映射。项目可用于自动驾驶算法教学、科研训练、数据采集、模型训练、仿真测试和轨迹跟踪效果评估，为低成本、高效率的自动驾驶算法验证提供支持。
本项目主要功能包括仿真环境搭建、自动驾驶数据采集、数据预处理、模型训练、模型推理和效果评估等模块。系统可在 CARLA 仿真环境中生成车辆行驶场景，自动采集车辆前方图像、方向盘转角、油门、刹车等控制数据，并生成对应的数据标签文件；同时支持对采集数据进行划分和预处理，形成训练集、验证集和测试集。模型部分采用轻量化端到端神经网络结构，通过输入车辆前视图像，直接预测车辆控制指令或轨迹跟踪相关参数，从而实现车辆在仿真道路中的自主行驶与轨迹跟踪。项目还支持训练过程记录、模型保存、测试推理和结果可视化，便于对算法性能进行分析和改进。
k8s加ray集群部署
基于 Kubernetes 和 Ray 构建大规模分布式训练系统，常常会面对一个典型需求：训练任务需要调用独立的仿真环境（如游戏引擎、机器人模拟器、工业仿真软件等），而这些仿真环境本身已打包为 Docker 镜像，必须在一个隔离的容器内运行。此时，将容器化的仿真环境与 Ray 的工作节点相结合，并在 Kubernetes Pod 内安全、高效地运行仿真容器，就成了架构的关键。Docker‑in‑Docker（DinD）便是解决此类场景的重要技术之一。
AI学生手册问答助手-学生手册助手
本项目是一个面向学生事务资料查询场景的 AI 问答工具，主要解决学生在阅读学生手册、校规文件和办事流程时查找困难、理解成本高、重复咨询多的问题。
系统支持基于已整理资料进行智能问答，用户可以咨询学籍管理、考试安排、奖学金、请假、处分、实践学分等规则类问题。项目提供普通回答和专业回答两种模式：普通回答适合快速查询，专业回答会补充依据、办理流程、可信度提示和必要的流程图说明。
系统还支持资料上传学习功能，可将 Markdown 或文本格式的规章文件加入知识库，使问答范围不局限于默认资料。整体目标是把分散、较长、阅读门槛较高的制度文件，转化为更容易理解和检索的交互式问答体验。
AI英语学习平台-VerbaPath
SmartLearn Pro 是一个面向英语学习场景的 AI 学习平台，核心目标是把文章、单词、听说读写训练和复习计划整合到一个学习闭环中。系统支持文本/PDF 导入、AI 阅读分析、生词提取、闪卡复习、记忆曲线复习、阅读考试训练、翻译挑战、AI 写作批改、口语教练、学习笔记、知识图谱和学习流画布等功能。
用户可以导入学习资料，系统自动生成词汇、语法结构、阅读理解题和复习内容；在学习过程中可以将生词、难句、错题和写作素材沉淀为笔记，并通过 FSRS 记忆算法安排后续复习。项目还集成了语音识别、AI 对话和 TTS 语音合成能力，用于模拟 IELTS、商务英语、日常聊天等口语训练场景，帮助用户完成从输入、练习、反馈到复习的完整学习流程。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服