人工智能 嵌入式软件 软件定制 案例

一、立项背景和目标 在数字化工位管理、智慧办公与特种作业安防场景中，传统考勤系统仅能记录出入打卡，无法实时感知员工在岗状态及异常作业行为。本项目基于瑞芯微高性能边缘计算平台 RK3588，构建一套边缘侧低功耗、高实时性的“人脸识别与工作状态智能监测系统”，实现无感身份核验、在离岗检测及专注度/违规作业状态的边缘端一体化实时分析。 二、软件功能与核心功能模块 1. 高性能视频流采集与预处理模块：支持多路 RTSP/MIPI-CSI 高清工业摄像头视频流接入，利用硬件编解码单元（MPP）完成硬解与图像色彩空间转换（RGA）。 2. 边缘端人脸识别与活体检测模块：基于深度学习模型实现人脸快速检测、关键点对齐、RGB+红外双目静默活体防伪及本地特征库千万级特征向量秒级比对。 3. 工作状态与行为分析引擎：结合人体姿态估计与工位 ROI 区域检测，实时分析在岗/离岗时长、低头玩手机、脱岗疲劳打瞌睡及异常离席等工位状态。 4. 告警联动与边缘数据上报：支持状态异常事件触发抓拍、本地低延时告警，并通过 MQTT/HTTP 将脱敏状态数据结构化上报至企业中台。 三、业务流程与功能路径 摄像头实时输入视频流 -> RK3588 硬件解码与 RGA 图像裁剪缩放 -> NPU 驱动执行人脸识别算法完成身份绑定 -> 并行推理工位人体姿态与行为检测模型 -> 业务逻辑状态机聚合判定工位状态 -> 触发本地声光/日志告警并异步上报管控后台。

1. 业务驱动功能 · 根据业务需求（如商品推荐、图像分类、搜索排序）定义模型要解决的具体问题，并设置相应的业务目标（如提升点击率、转化率）。 · 明确模型输出与业务动作的对接方式（如推荐列表、搜索结果、分类标签）。 2. 项目核心功能 · 开发微调流程：数据标注、模型训练、效果评估、迭代优化的完整工具链。 · 支持与业务系统对接，接收业务数据并返回推理结果。 · 具备模型版本管理与回滚能力。 3. 功能路径 · 业务需求 → 明确任务目标（如推荐系统） · 采集并清洗业务数据（用户行为+商品信息） · 选择合适的预训练模型 · 在验证集上评估效果，通过测试后部署上线 · 持续监控并定期更新模型

背景：在空中为无人机提供定位和导引 基于3588 完成目标的识别，跟踪和控制，图像处理和编码 对发现的目标进行识别跟踪，牵引飞机飞向目标。对摄像头传输的数据进行编码，通过无线传输至地面站进行播放

1、立项背景和目标： 随着物联网与边缘计算快速发展，嵌入式设备承担智能识别任务的需求日益增长。树莓派凭借低成本、易部署优势成为边缘识别常用载体，但受限于算力，复杂模型难以直接部署。本项目在Windows下基于YOLOv5训练轻量化目标检测模型，支持人脸及5类以上日常物品识别，部署至树莓派4结合摄像头实现实时视频流识别，验证从训练到嵌入式端落地的完整链路，为嵌入式AI识别提供可行方案。 2、软件功能、核心功能模块： 系统包含三大核心模块：①目标检测模块——基于YOLOv5实现人脸及日常物品实时检测与定位，输出边界框坐标和类别标签；②人脸识别子模块——实现指定人脸库的身份识别与匹配；③实时视频流处理模块——调用树莓派摄像头完成帧采集、预处理及模型推理，画面叠加标注结果。最终系统帧率5FPS以上，检测mAP≥80%，人脸识别准确率≥85%。 3、业务流程、功能路径描述： 用户启动树莓派执行主程序→系统初始化摄像头并采集实时视频流→每帧图像经尺寸归一化预处理→加载本地YOLOv5轻量化模型推理→输出目标类别、置信度、边界框→OpenCV叠加矩形框和标签至原始画面→HDMI输出至显示器。形成“采集→推理→渲染→输出”闭环流水线，用户无需额外操作即可持续获得识别反馈。

小智是一款基于 ESP32 系列芯片的开源 AI 语音对话机器人固件，支持数十种开发板。项目目标是在超低成本的嵌入式硬件上实现完整的 AI 语音交互体验： 仅需 ESP32-C3（~$1.5）+ 简单外围电路即可运行 集成语音唤醒、实时对话、表情动画、舵机控制等全部功能 通过 WiFi 连接云端 LLM 服务，实现自然语言理解与 TTS 语音合成 支持 OTA 固件升级和设备激活绑定

这是一个自主开发的表格数据清洗演示项目，面向需要重复整理 Excel、CSV 文件的办公场景。工具支持清除文本首尾空格、删除空白行、按照用户指定的列去除重复记录，并将处理结果保存为新文件，避免覆盖原始数据。用户通过命令行指定源文件、去重列和输出位置即可运行，适合客户名单、商品资料、订单记录等结构化表格的批量预处理。当前支持 CSV 和 XLSX 格式，后续可根据具体需求增加字段转换、表格合并和异常数据标记等规则。

1、实现从现实地图要素到铁路电子地图数字化全过程。 2、实现铁路轨道、信号机等要素自动提取，北斗GIS导航数据分析算法设计。 3、铁路安全调防系统测酒、指纹打卡、面容等模块设计。 4、铁路安全调防系统，列车运行状态实时查询、历史轨迹回放、记录列车状态、报警状态提醒及记录。

业务背景： 解决传统 PCB 产线上料依赖像素模板匹配导致的大量痛点（如仅支持单一版型、换型成本高、流程易卡顿、易受强 光/复杂背景干扰导致误判 NG 等），实现高柔性、无人化的智能上料。 核心功能： 1、无模板无序识别：无需制作传统像素模板，对区域内任意角度放置、无序堆叠的电路板进行实时识别。 2、位姿计算与坐标下发：自动计算物料几何中心与旋转角度，通过工控网络将抓取坐标实时下发。 3、自动抓取与放置闭环：联动 SCARA/六轴机械臂与柔性吸盘，自动按序抓取物料、矫正倾斜角度并平稳放置至下道工序传送带。

传统 PCB 金手指斜边加工依赖人工校正夹具，受振动、温度、光照干扰导致加工精度漂移、废品率高。本系统基于双目 CCD 视觉方案，实现 PCB 金手指自动定位测量。核心模块包含图像采集模块、视觉检测模块、运动补偿控制模块、人机交互界面模块。业务流程：工件上料→双目相机采集图像→算法求解金手指坐标偏移→下发指令驱动伺服轴自动补偿→机床完成精加工，超差自动报警，实现高精度无人自动化加工，目标将加工精度稳定控制在 10μm 以内，降低产品报废率。

一、项目具体功能模块 1. 视觉图像采集模块 对接海康威视工业相机，软硬触发自动拍照，采集无序堆叠 PCB 物料图像； 2. 无模板视觉识别模块 自研深度学习识别算法 + 残差网络追踪，无需提前制作像素模板，识别任意版型电路板，自动计算物料几何中心、矫正放置角度； 3. 机器人运动控制通讯模块 基于汇川机器人 SDK 开发，通过 Modbus TCP 协议将视觉坐标实时下发机械臂； 4. 柔性抓取执行模块 配套柔性吸盘专用抓取算法，控制机械臂有序取料、角度矫正、平稳放置传送带； 5. 产线数据与异常管控模块 自动识别光学 / 背景干扰，减少 NG 故障信号，全流程数据记录，配套完整源码交付。 二、 使用者落地实现的功能 1. 柔性无换型生产：摆脱传统单一版型限制，多种 PCB 物料无需制作模板即可自动识别，大幅减少换型调试工时； 2. 全自动无人上料：物料小车到位后全程自动化 —— 拍照识别→坐标计算→机器人抓取→对位下料，无需人工值守上料、调机； 3. 抗干扰稳定生产：解决车间光线、物料堆叠背景干扰问题，降低设备报错停机频次； 4. 产线效能优化：提升上料节拍速度，缩减岗位人力投入，减少不良品触发； 5. 完整自主可控交付：项目配套全部源代码，企业可自主二次调试、迭代优化，同时配套技术落地培训。 三、项目运用的核心技术 1. 硬件对接开发：汇川机器人硬件 SDK、海康威视相机 SDK 二次开发； 2. 视觉底层算法：OpenCV 图像处理、自研残差网络目标追踪结构、自研检测头与专属损失函数； 3. 无序物料识别算法：无模板堆叠物料识别、亚像素级几何中心计算、物料角度自动矫正； 4. 工业通讯：Modbus TCP 实时坐标传输； 5. 运动控制：柔性吸盘抓取专属运动算法，机械臂联动调度逻辑。 四、项目核心优势 1. 识别精度高：物料识别准确度 98.1%，适配 PCB 高端制造精度标准； 2. 生产效率提升：上料流程速率整体提升 30%； 3. 人力成本节约：无需专人值守调机、制作模板，节省产线 20% 人力成本； 4. 稳定性更强：受光线、物料背景干扰产生的 NG 报错信号减少 13%； 5. 柔性通用：无模板识别，支持多版型共线生产，换型零模板制作成本； 6. 交付完整可控：项目源码一次性交付，企业具备自主迭代、维护能力，适配长期产线升级。

核心技术架构 1. 平台接入层 框架：NoneBot2 + OneBot V11 QQ 接入：NapCatQQ（最终方案，解决了登录风控问题） 放弃过的方案：go-cqhttp（风控）、Lagrange（签名失效） 2. 对话大脑层（分层人格引擎） 消息处理优先级从高到低： 经典梗硬匹配库（关键词直接返回） system_prompt.txt（基础人设提示词，v9 版本，经过多轮优化） 人格规则检索（traits/styles/behaviors 三个 JSON，语义匹配触发） 直播记忆 RAG（80+ 条场景化陈述，智谱 Embedding + 余弦相似度） 用户短期记忆（最近 3 轮对话）+ 长期记忆系统 3. 记忆系统 短期记忆：记录最近 3 轮对话（6 条消息），解决借口一致性问题 长期记忆：MemGPT 风格的增量更新机制，为每位用户维护独立记忆卡，包含印象标签、用户事实、自我披露记录、关系等级。关系等级随互动次数自动升级（stranger → acquaintance → familiar → close），动态调整 AI 的括号频率、心虚频率和防御姿态 4. 人格数据层 system_prompt.txt：从真实数据反写蒸馏，经过 v1-v9 九轮迭代优化 三个 JSON 文件（traits/styles/behaviors）：由 analyze_persona.py 从场景化陈述中自动提取 80+ 条场景化陈述：覆盖日常喜剧、深夜脆弱、童年友情、家庭关系、粉丝互动、同事社交、情感经历等维度 5. 数据流水线 语音转写：faster-whisper (medium) + 本地 GPU (RTX 4060) 场景化陈述生成：专用提示词，从切片提取结构化第三人称描述 向量化入库：generate_vectors.py → corpus_vectors.json 人格蒸馏：generate_persona.py → 更新 persona/ 下三个 JSON

1. 立项背景和目标：传统台灯功能单一，无法满足K12学龄儿童个性化、智能化学习需求，且家长辅导压力大、儿童用眼健康问题突出。本项目旨在设计一款集护眼照明、AI助学、健康管理于一体的智能台灯，从“照明工具”升级为“智能学习伴侣”，目标包括构建低成本高性能硬件系统、实现PID智能调光、集成离线语音与云端AI服务，并通过完整测试验证系统稳定性。 2. 软件功能、核心功能模块介绍：系统划分为五大核心模块——AI智能护眼照明（基于PID闭环控制动态调节色温与亮度）、环境感知与健康提醒（人体在位检测+用眼计时，45分钟多模态提醒）、离线语音交互（LD3320本地指令解析，响应≤0.8s）、远程互联与控制（MQTT连接微信云，支持APP调参、状态查看、OTA升级）、绘本识别与学习辅导（OV2640采集图像，云端OCR识别+语音合成播放）。 3. 业务流程、功能路径描述：以“APP远程调光”为例，用户APP发起调光指令→云端服务器转发并穿透NAT→设备WiFi接收并校验→PID算法计算PWM占空比执行调光→设备实时采集灯光与环境数据封装上报→APP定时拉取状态刷新界面，形成“指令下发-执行-反馈”闭环。绘本识别流程为：摄像头采集图像→预处理提取特征→上传云端AI引擎进行OCR识别与内容匹配→结果合成语音播放，实现低延迟指读。

1、立项原因 旨在系统性降低洗衣行业技术依赖高、赔付风险大、运营效率低三大痛点。通过AI技术替代部分人工经验判断，解决因洗护失误导致的赔付损失，同时将前台验衣、估价、客户沟通等环节数字化，并自动化处理订单流转与经营分析，全面提升门店利润空间与管理效能。 2、行业场景 立足洗衣门店实际作业流程——从前台接件时的价值评估与风险加价、客户话术辅助，到中台衣物污渍救治的风险分析与详细操作报告生成，再到后台自动开单、上挂取件通知及经营数据洞察。系统作为常规管理系统的智能化升级模块，深度适配洗衣行业“高技能要求、高服务触点、高赔付敏感”的复合型业务场景。 3、功能模块 AI助手模块：集成于商家系统，通过文字对话和图片识别分析衣物面料与污渍风险，自动生成结构化的救治操作报告，同时辅助前台进行衣物价值评估、动态加价建议等生成。 门店核心业务管理模块：管理衣物分类、SKU商品及标签，支持购物车开单、预创建订单、自由商品录入，覆盖订单确认、扫码支付及整单退单的全流程。 洗护流转：实现衣物上挂、照片上传，支持条码检索待洗衣物，通过控制货架灯条亮灯辅助快速取件，并提供预警提醒。 会员营销模块：管理会员建档、信息编辑、充值升级，支持多卡持有，自定义会员卡模板，并配置优惠券及营销工具。 经营数据分析：首页展示今日订单量、在店衣物数、预警数量及订单状态统计；提供日报/月报/年报趋势图，支持数据异步导出。 系统基础与权限：管理员工账号及角色权限，维护门店基本信息，提供图片上传OSS、设备推送注册、数据同步等通用基础能力。 4、核心功能 降低技术依赖与赔付风险：AI在接件时自动评估衣物洗护风险，帮助店员对高价值或高风险衣物动态加价，并生成详细的救治操作报告，将老师傅经验标准化，减少因洗坏衣物导致的赔付损失，同时辅助生成专业的客户沟通话术。 全链路自动化流转：从开单、洗护到上挂、取件，AI可直接调用业务工具自动完成开单、上挂取件通知等操作，并与硬件灯条联动快速定位衣物，大幅减少人工沟通和查找耗时，提升订单流转效率。 数据驱动的经营决策：通过实时看板监控订单量、衣物滞留时长、收入结构等关键指标，帮助店长及时调整营销策略与排班，并支持历史数据导出进行深度分析。 可持续自学习进化：系统收集用户点赞、收藏、追问等行为反馈，通过定时任务动态调整案例检索权重，使后续推荐与救治建议越来越精准，实现越用越智能。

面向会议记录、工业对讲、人机交互及嵌入式智能终端在风扇、空调、键盘敲击和室内混响等噪声环境下的语音采集需求，设计并实现一套基于GD32H759IMT6微控制器的边缘语音降噪系统。系统通过ES7210音频采集模块、SAI和DMA连续获取48 kHz多通道音频，在本地完成通道选择、音量统计、短时傅里叶变换、频带特征提取、神经网络推理、频谱掩蔽和语音重建，无需依赖云端服务器。 系统支持RAW原始音频、RNNoise对照降噪和自研CRN降噪三种工作模式，可通过触摸屏完成模式切换、输入通道选择、增益调整、开始或停止录音以及屏幕截图。LCD实时显示原始与降噪波形、音量、模型状态、录音时间、缓存状态和输出文件名；TF卡可保存原始WAV录音、CRN降噪音频及LCD截图，形成“音频采集—边缘推理—效果显示—文件保存”的完整闭环。

开发一个基于 cesium 的三维建模智慧工地管理系统，借助 GIS 工具或无人机倾斜摄影技术导入 工地的三维模型，在工地的关键部位部署摄像头监控用于检测安全帽或非法入侵等异常行为，在摄像头端进 行危险行为的检测之后，将异常信息及定位数据传输至云端服务器，该功能可以监控工地异常，将异常信息 在三维场景当中实时显示。该软件也可以使用投影技术将二维视频转换到三维模型的对应场景中，更加直观 地检测工地情况。

本类项目是基于非制冷红外探测器的成像模组项目。 旨在实现低功耗、小体积、高质量图像以及视频接口高兼容性。 本项目是团队合作项目，我主要负责FPGA工程架构设计、软核软件架构设计，并参与某些具体的算法/视频接口/外设驱动的实现及调试。

通过AI辅助资料结构化、概念试探、方案表达与文本校核 在不改变核心设计逻辑的前提下，对现有流程进行结构化升级，帮助团队实现更高效的方案推进、更稳定的过程控制，以及更高质量的成果输出。 帮助设计团队减少重复劳动，把精力投入到创意判断和方案深化中。

该项目是整个产品中最重要的一环，主要作用是算法分析，通过逐张视频帧分析是否满足告警条件。算法组成有行为分析算 法，安全帽检测算法，超员检测算法等等。行为分析算法通过背景学习之后采用差帧法提取团块差异，达到目标跟踪的效 果；安全帽检测算法通过深度学习检测出安全帽之后，与人体目标进行重合度检测；超员算法同样通过深度学习检测人体目 标，达到报警条件，给出报警。

基于 STM32F103 单片机开发的磁条导航 AGV 自动导引车，以磁条为路径标识，通过底部霍尔传感器阵列采集磁场信号，实现路径识别与纠偏控制。 系统采用差速驱动方案，STM32F103 作为主控单元，实现传感器数据采集、PID 路径纠偏算法、电机调速控制及避障逻辑。通过实时对比传感器检测到的磁场偏移量，动态调整左右轮转速，使 AGV 始终沿磁条中心行驶，定位精度可达 ±10mm。

一、立项背景与目标 港口岸桥电机碳刷在振动、粉尘、光照多变环境下易掉落，人工巡检难以及时发现，易造成电机损坏及停机损失。本项目基于NVIDIA Jetson边缘计算平台，在Ubuntu系统上部署YOLOv8模型，实现碳刷状态的实时视觉检测，替代人工巡检。 二、软件功能与核心模块 软件功能包括：RTSP视频流实时解码与预处理、YOLOv8模型推理（在位/掉落二分类）、滑动窗口防抖滤波、检测结果可视化叠加、报警状态输出（通过HTTP/Modbus接口与PLC对接）。核心模块： 视频接入与预处理：使用OpenCV解码多路RTSP流，完成尺寸缩放、归一化及光照自适应增强； YOLOv8推理引擎：在Jetson上将训练好的PyTorch模型转换为TensorRT格式，利用GPU加速实现实时推理。 状态判定与防抖：实现连续N帧滑动窗口投票机制，过滤因振动或飞鸟造成的单帧误检； 系统集成与输出：基于Ubuntu开发后台服务，通过HTTP/Modbus协议向PLC方提供报警状态接口，供对接人员调用。 三、业务流程与功能路径 业务流程：摄像头采集碳刷图像 → OpenCV解码并预处理 → YOLOv8 TensorRT推理输出状态 → 滑动窗口防抖确认 → 更新报警状态至共享接口 → PLC方轮询读取或接收推送。功能路径：通过Web配置页面添加RTSP源并设置检测区域；调整置信度阈值与防抖帧数；查看实时检测画面（绿框在位/红框掉落）；通过HTTP接口获取当前状态供PLC对接测试。