人工智能 嵌入式软件 软件定制 案例

基于 STM32F103 单片机开发的磁条导航 AGV 自动导引车，以磁条为路径标识，通过底部霍尔传感器阵列采集磁场信号，实现路径识别与纠偏控制。 系统采用差速驱动方案，STM32F103 作为主控单元，实现传感器数据采集、PID 路径纠偏算法、电机调速控制及避障逻辑。通过实时对比传感器检测到的磁场偏移量，动态调整左右轮转速，使 AGV 始终沿磁条中心行驶，定位精度可达 ±10mm。

一、立项背景与目标 港口岸桥电机碳刷在振动、粉尘、光照多变环境下易掉落，人工巡检难以及时发现，易造成电机损坏及停机损失。本项目基于NVIDIA Jetson边缘计算平台，在Ubuntu系统上部署YOLOv8模型，实现碳刷状态的实时视觉检测，替代人工巡检。 二、软件功能与核心模块 软件功能包括：RTSP视频流实时解码与预处理、YOLOv8模型推理（在位/掉落二分类）、滑动窗口防抖滤波、检测结果可视化叠加、报警状态输出（通过HTTP/Modbus接口与PLC对接）。核心模块： 视频接入与预处理：使用OpenCV解码多路RTSP流，完成尺寸缩放、归一化及光照自适应增强； YOLOv8推理引擎：在Jetson上将训练好的PyTorch模型转换为TensorRT格式，利用GPU加速实现实时推理。 状态判定与防抖：实现连续N帧滑动窗口投票机制，过滤因振动或飞鸟造成的单帧误检； 系统集成与输出：基于Ubuntu开发后台服务，通过HTTP/Modbus协议向PLC方提供报警状态接口，供对接人员调用。 三、业务流程与功能路径 业务流程：摄像头采集碳刷图像 → OpenCV解码并预处理 → YOLOv8 TensorRT推理输出状态 → 滑动窗口防抖确认 → 更新报警状态至共享接口 → PLC方轮询读取或接收推送。功能路径：通过Web配置页面添加RTSP源并设置检测区域；调整置信度阈值与防抖帧数；查看实时检测画面（绿框在位/红框掉落）；通过HTTP接口获取当前状态供PLC对接测试。

该项目面向边缘智能摄像机场景，目标是在 MLU-3226 平台上实现图像采集、端侧智能分析、视频流输出、远程通信和设备升级等能力。系统主要包括设备接入、图像处理、AI 推理、RTSP 推流、网络通信、OTA 升级和系统配置管理等模块。业务流程上，摄像机完成图像采集后进入图像处理模块，结合检测、识别、OCR 等模型完成端侧推理，再将原始视频或处理结果通过 RTSP、HTTPS/TOR 等方式对外提供，支持远程查看、数据上报、状态管理和版本升级，提升设备在复杂现场环境下的自动化运行能力。

本项目面向遥感图像目标识别与处理场景建设，目标是将图像采集、目标检测推理、结果融合与结果输出拆分为可独立部署的服务模块，提升算法接入、运行调试和现场交付效率。系统包含数据源服务、目标识别推理服务、结果处理服务等核心模块，支持模拟图像输入和硬件数据接入，推理服务对接模型文件完成目标检测，结果处理服务对识别框、设备状态和融合结果进行统一处理。业务流程为数据源采集图像后通过服务接口传递给推理模块，推理模块完成识别并输出结构化结果，后处理模块再进行融合、封装和上报。

本项目面向卫星载荷在轨运行场景，目标是构建一套可部署在星载计算平台上的综合任务管理软件，支撑地面指令接收、任务调度、状态采集、数据处理和遥测下传等核心业务。系统围绕“指令进入、协议解析、任务执行、状态监控、结果反馈”的业务闭环设计，提供指令处理、数据总线、协议编解码、智能处理任务编排、设备状态采集、遥测数据组帧与下传等功能模块。业务流程上，地面上行指令经过编解码模块解析后进入指令处理模块，由执行协调器根据指令类型、约束条件和会话状态分发到对应业务行为；任务运行过程中，各模块通过数据总线交换状态、告警、推理结果和设备数据，状态采集模块持续监控关键指标，遥测模块按配置完成数据汇聚、序列化、组帧和链路分发，实现星上任务的可控、可观测和可追踪运行。

项目目的：针对IPC（智能摄像头）场景下的猫狗目标检测、实例分割与颜色分类任务，构建轻量级多任务模型，实现检测、分割、颜色识别一体化 pipeline，支持边缘设备实时推理。 技术栈：PyTorch、NanoDet-Plus、ShuffleNetV2、PicoSAM3、OpenCV、HSV颜色空间、模型蒸馏、知识蒸馏、GFL Loss、Mosaic数据增强、TensorRT部署、NCNN量化、SAM3辅助标注、Docker容器化、分布式任务调度。

针对超声医学影像中的斑点噪声问题，开发了一套具备结构保持能力和自动调参功能的智能去噪系统。系统核心功能包括： - 斑点噪声抑制 ：采用深度学习方法有效去除超声图像中的斑点噪声，提升图像质量 - 结构信息保持 ：在去噪的同时保护图像中的组织结构和边缘细节，避免过度平滑 - 自动参数优化 ：基于贝叶斯优化算法自动搜索最优网络参数和超参数配置 - 多模态支持 ：支持多种超声成像模式（B超、彩色多普勒等）的去噪处理 该系统可应用于临床超声诊断、医学研究等场景，帮助医生更清晰地观察病变区域，提高诊断准确性。

1、立项背景和目标 在金属表面缺陷检测（如裂纹、划痕、麻点）的实际生产线上，受光照变化、纹理背景干扰等因素影响，预训练的目标检测器即使架构先进，推理时的置信度阈值若不匹配现场环境，也容易产生大量漏检或误报。传统方法往往需要重新训练模型或增加后处理模块，导致计算开销上升。本项目的目标是：在不改变YOLOv8n网络权重、不增加任何浮点运算量（零FLOPs）的前提下，仅通过推理时阈值的系统化校准，显著提升检测器的稳定性和F1-score，为工业部署提供一种“零成本”的性能优化方案。 2、软件功能、核心功能模块的介绍 数据集统一与清洗：融合NEU-DET与GC10-DET两个公开金属表面缺陷数据集，统一为17类缺陷（剔除单例标签），划分训练/验证/测试集。 基线YOLOv8n检测器：采用Ultralytics YOLOv8n作为基础模型，在合并数据集上进行微调，支持实时缺陷定位与分类。 固定阈值校准模块：在验证集上对置信度阈值（0.1~0.9步长0.01）进行网格搜索，以最大化F1-score为目标，选出最优阈值。该模块不修改模型结构，推理时仅替换阈值参数，实现零FLOPs提升。 质量感知自适应阈值（可选控制）：基于图像亮度、对比度、清晰度、噪声估计计算单张图像质量分Q，动态调整阈值适用于光照变化剧烈的场景。 类别依赖的双风险阈值（可选控制）：根据每个类别的经验假阳性率与假阴性率，进行类别级别的阈值微调，可在误报敏感的生产线上进一步降低虚警。 消融对比模块：实现P2特征增强分支的YOLOv8n-P2变体，以及CLAHE预处理变体，用于验证“增加复杂度是否一定带来性能提升”。 3、业务流程、功能路径描述 用户输入金属表面灰度/彩色图像 → 调用已微调的YOLOv8n模型进行推理 → 系统读取校准后的最优阈值（或自适应阈值）对检测框进行过滤 → 输出缺陷类别、置信度、边界框坐标 → 可视化叠加于原图上。整个流程相比原始YOLOv8n仅改变一个阈值参数，推理速度完全不变，内存占用不变，无缝集成到现有产线质检系统中。

1、机器人模块：通过与学习者的语音交互，利用OpenClaw API为在学习者PC上实现项目代码编写、项目思路交流、技术盲点以及作业上等交流，完成教师的教学动作。 2、APP模块： 全程记录机器人（教师）与学习者的交互过程，给出分析评价以及后续学习建议提供给学习者，可以通过app进行教学管控安排 3、AI AGENT：为机器人模块提供交流决策等等的能力。 4、学伴机器人管理系统： 机器人绑定、项目课程大纲录入管理等

1、无人机设备管理与监控： 2、航线规划（天地图上规划）： 航点航线规划：起飞点->降落点、挂载以及飞行动作设计 3、飞行任务管理 任务规划、下发任务以及飞行任务的监控（飞行状态与实时直播视频） 4、无人机任务结果识别与推理 5、系统大屏

项目描述： 本项目旨在开发一套自动化垃圾分类系统，通过结合树莓派5、STM32、摄像头等硬件，实现对垃圾的实时识别与分类。 关键技术与工具： • 硬件平台： 树莓派5、STM32、摄像头、二自由度舵机、超声波传感器等 • 软件平台： yolo11、deepsort、OpenCV、Python、stm32 • 功能模块： 舵机控制、垃圾分类识别、满载检测

1. 机器人控制，机械臂、底盘、全身控制 2. 基于机器人TCP控制，坐标切换 3. 机器人URDF展示 4. 机器人基本信息监控 5. 机器人任务控制与workflow编排 6. 机器人导航、点位规划等功能 7. 机器人相关部位标定 8. 机器人基本日志信息内容查看和检索 9. 机器状态监控，使能、上下电等功能

本项目实现了一套基于FPGA的多频调制激光测距系统，主要用于中远距离高精度测量场景（10m~3000m）。系统采用三频调制方案（150MHz、1.5MHz、50kHz），结合相位测距原理，实现高精度与大范围兼顾。 在系统设计中，通过FPGA生成多路调制信号驱动激光发射模块，同时接收光电探测器返回的TTL信号。利用高速时钟对参考信号与回波信号进行时间同步采样，通过相位差计算获取距离信息。 核心功能包括： 多频信号生成（基于PLL倍频与分频） 回波信号采样与同步处理 相位差测量（基于时间戳/边沿检测） 多频融合算法消除测距模糊 输出毫米级精度的距离结果 该方案相比单频测距，有效解决了相位模糊问题，实现“长距离+高精度”的统一，适用于激光雷达、工业测距、无人设备等场景。

1、立项背景和目标 在传统的工业制造领域，设备维护主要依赖两种模式：一是“事后维修”，即设备坏了再修，这往往导致非计划性停机，造成巨大的生产损失；二是“定期保养”，即无论设备状态如何，都按固定周期进行维护，这会造成维护过度或不足，浪费人力物力。随着工业4.0和智能制造的推进，市场迫切需要一种能够实时监测设备健康状态、提前预警潜在故障的解决方案。本项目旨在研发一款低成本、高实时性、低功耗的嵌入式预测性维护系统。通过在设备端直接运行轻量级AI算法，实现数据本地处理、实时分析和故障预警，避免将所有数据传输至云端所带来的延迟、带宽和隐私安全问题，最终帮助客户实现设备运维的智能化和精益化，降低综合维护成本30%以上。 2、软件功能、核心功能模块的介绍 本嵌入式软件运行在以ARM Cortex-M内核为核心的微控制器上，主要包含以下核心功能模块： 多源数据采集与同步模块： 精确驱动板载加速度传感器、温度传感器，以可配置的采样率（例如：25.6kHz）同步采集设备的振动和温度原始数据，并进行数字滤波处理，剔除工频干扰。 边缘特征提取与AI推理模块： 在时域和频域对原始数据进行特征工程，提取峰值、有效值、峭度指标、频谱能量分布等关键特征。核心是运行一个经过剪枝和量化处理的轻量级神经网络模型，基于提取的特征对设备健康状态进行实时推理，输出健康指数和故障类型（如：轴承磨损、齿轮断齿、转子不平衡）。 实时状态监控与诊断模块： 根据AI推理结果，结合预设的多级报警阈值，实时判断设备状态（正常、注意、警告、严重）。支持对历史趋势数据的本地存储和滚动更新，为诊断提供依据。 数据通信与协议模块： 基于工业标准Modbus RTU协议，通过RS485接口将设备ID、实时健康指数、报警代码等关键信息上传至PLC或数据网关。同时，支持通过该接口进行参数配置（如采样频率、报警阈值）和固件远程升级。 3、业务流程、功能路径描述 系统初始化与自检： 设备上电后，软件进行硬件自检和参数加载，进入低功耗待机模式。 数据采集触发： 当设备开始运行时，振动/温度达到设定触发阈值，或通过Modbus指令触发，软件激活高精度定时器，驱动传感器以预设频率（如25.6kHz）采集1024点或2048点的数据块。 边缘计算与推理： 路径： 数据采集模块 -> 信号预处理模块（去直流、滤波） -> 特征提取模块（计算时域/频域特征值）。 提取的特征向量被送入固化在代码中的轻量级AI推理引擎。 路径： AI推理引擎 -> 健康状态分类器。 推理引擎输出一个包含健康指数和故障概率的向量。 报警判断与输出： 路径： 状态诊断模块 -> 报警逻辑判断。

车载智能终端是出行大数据云平台的数据采集前端，主要面向城市公共交通，支撑运营监控、调度、客流分析等业务。 用于实现车载智能视频分析，通过AI算法模型在端侧对实时视频进行分析处理，用于采集客流量、司机疲劳驾驶等等, 从而实现给业务侧提供精准数据支撑。主要用于公交车、大巴车等场景，也可以扩展应用到各类视频分析的其他场景。

该产品面向政府监管、物业、维保、保险、业主等多元主体，形成覆盖电梯全生命周期的应用生态。 该产品集成加速度传感器、气压传感器、陀螺仪、AI 图像与声音识别等，对轿厢、井道等全链路运行状态进行采集，并传送至电梯全生命周期云平台，实现大数据边缘计算。对紧急事件进行快速处理，包括困人、异常运行、故障等场景的实时报警与推送。

### 多 Agent 智能协作 6 个专业 Agent（Sisyphus、Code Analyzer、Programmer、Refactor Master、Test Expert、Librarian）通过 4 种协作模式（Sequential、Parallel、Debate、Main-with-Helpers）智能协作。基于意图识别自动选择 Agent，并行执行提升效率，自动综合多专家意见。 ### 深度代码理解 集成 LSP（Language Server Protocol）、AST（抽象语法树）分析和语义代码搜索。支持 Python、JavaScript、TypeScript 等主流语言，提供类型推导、引用分析、基于向量的语义检索。自动识别代码结构和依赖关系。 ### 智能编排系统 7 种编排策略（Simple、ReAct、Multi-Agent、Parallel、Conditional、Workflow、Sisyphus）自动选择最优方案。ReAct 模式支持推理-行动循环，条件分支实现动态决策，并行执行提升性能。 ### 完整工具链 34+ 专业工具，包含项目理解（文档发现、结构分析、代码地图）、代码搜索（文本、正则、语义、AST）、LSP 工具（诊断、跳转、引用、重命名）、文件操作（读写、批量操作、补丁）、Git 工具（状态、差异、日志）。 ### 智能记忆系统 分层存储架构（会话级、用户级、全局级），对话树结构支持多分支，智能压缩和摘要，相关性检索。多轮对话保持上下文，记住用户偏好和习惯，跨会话知识复用。 ### Skill 配置系统 14+ 预置技能，灵活的 Prompt 模板，工具和编排器配置，可扩展的技能定义。YAML 配置驱动，Jinja2 模板引擎，动态加载和热更新。

立项背景 在无人机目标识别场景中，有时需要在同一系统中同时完成多类目标或多任务的识别。如果为每个任务分别部署独立模型，将导致模型参数量大、推理效率低、部署和维护成本高。 因此，有必要在保证检测效果的前提下，通过结构设计实现多任务目标检测的统一与优化。 立项目标 基于 YOLO 目标检测框架，设计并实现一种共享主干网络的多目标识别方案，通过引入多 Head / Neck 结构，在同一模型中完成多个检测任务，降低整体参数量和计算开销，提高系统的实用性与部署效率。 二、软件功能与核心模块介绍 1. 软件功能介绍 支持基于 YOLO 的多目标检测 支持多个检测任务在同一模型中并行执行 通过共享主干网络减少模型参数规模 支持图片与视频流输入 提供检测结果的可视化输出 2. 核心模块介绍 （1）特征提取模块（Backbone） 负责对输入图像进行统一的特征提取，作为多个检测任务的共享基础，减少重复计算。 （2）特征融合模块（Neck） 针对不同任务配置独立的特征融合结构，在共享特征的基础上增强各任务的表达能力。 （3）检测头模块（Head） 为不同任务分别设置检测头，完成各自的目标分类与位置回归。 三、业务流程与功能背景介绍 1. 功能背景介绍 在多任务目标检测场景中，传统方案通常采用多个独立模型分别处理不同任务，存在资源占用高、系统复杂度高的问题。本项目通过统一模型结构，实现多任务目标检测的集中处理，更适合对性能和资源敏感的应用场景。 2. 业务流程说明 2.1. 训练流程 收集多任务标注数据，每个任务拥有独立的训练集 数据统一格式，方便输入共享主干网络 所有任务的数据都会用于更新共享的 Backbone，确保基础特征表示能力适用于所有任务 Backbone 学习通用特征，减少模型参数重复 每个任务独立训练自己的 Neck 与 Head 模块 根据任务目标进行优化，保证任务专有特征有效提取 与共享 Backbone 协同工作，实现多任务并行优化 训练过程中，Backbone 与各任务分支交替优化 最终得到既共享通用特征，又具备多任务检测能力的模型 2.2 使用流程 Backbone 对输入数据提取通用特征，作为多任务检测基础 各任务独立的 Neck & Head 模块接收共享特征 输出各自的检测结果（如不同目标类别或任务指标） 将各任务检测结果汇总 支持视频流叠加显示或输出结构化数据（CSV/JSON） 汇总检测结果并进行可视化输出

在这个项目中，我们三人一组，主要实现的功能是利用Vivado软件操作平台在ZedBoard-zynq-7000c484开发板平台上实现卷积神经网络算法优化的目标。 通过上述优化，在相同硬件资源条件下，最终实现的运算速度比传统计算快183倍，比硬件优化方法快20%。这个项目获得了全国集成电路创新创业大赛二等奖。 我们的总体设计方法是这样的，首先在 C++平台上实现卷积核算法和反卷积算法，然后通过 vivado HLS 仿真进行总线带宽、pipeline、内部缓存、计算单元等方面硬件的优化，仿真波形和实际相符后，生成相应的 IP 核，vivado 导入 IP 核和 zynq7000 进行实物仿真，经过验证正确后烧入 fpga。图像从电脑端通过串口输入开发板，由于片内缓存不足以一次性存储1024个channel的150*150的图像，所以采用动态缓存的办法，Zynq 边对图像进行卷积处理，边从特征 cache 读取图像数据，一个 channel 处理完成后立即输出至 SDSDRAM（输出数据量较小），并空出相应的缓存资源供后续 channel的图像使用。我们将开发板的 8 个 LED 设置为输出结果，板上运行时，可通过 LED判断输出波形。

本项目开发出基于人脸检测与跟踪算法的远程驾驶系统。驾驶员通过脸部的细微运动即可远程控制车辆的行驶，解放了双手。项目的核心是基于 AdaBoost 算法的人脸检测与跟踪技术以及基于 TCP-SOCKET 的远程通信技术。项目的关键技术难点在于人脸检测的准确性、判别算法的鲁棒性和通信系统的实时性。项目很好地满足了这几点要求。