人工智能 嵌入式软件 软件定制 案例

项目描述： 本项目旨在开发一套自动化垃圾分类系统，通过结合树莓派5、STM32、摄像头等硬件，实现对垃圾的实时识别与分类。 关键技术与工具： • 硬件平台： 树莓派5、STM32、摄像头、二自由度舵机、超声波传感器等 • 软件平台： yolo11、deepsort、OpenCV、Python、stm32 • 功能模块： 舵机控制、垃圾分类识别、满载检测

1. 机器人控制，机械臂、底盘、全身控制 2. 基于机器人TCP控制，坐标切换 3. 机器人URDF展示 4. 机器人基本信息监控 5. 机器人任务控制与workflow编排 6. 机器人导航、点位规划等功能 7. 机器人相关部位标定 8. 机器人基本日志信息内容查看和检索 9. 机器状态监控，使能、上下电等功能

本项目实现了一套基于FPGA的多频调制激光测距系统，主要用于中远距离高精度测量场景（10m~3000m）。系统采用三频调制方案（150MHz、1.5MHz、50kHz），结合相位测距原理，实现高精度与大范围兼顾。 在系统设计中，通过FPGA生成多路调制信号驱动激光发射模块，同时接收光电探测器返回的TTL信号。利用高速时钟对参考信号与回波信号进行时间同步采样，通过相位差计算获取距离信息。 核心功能包括： 多频信号生成（基于PLL倍频与分频） 回波信号采样与同步处理 相位差测量（基于时间戳/边沿检测） 多频融合算法消除测距模糊 输出毫米级精度的距离结果 该方案相比单频测距，有效解决了相位模糊问题，实现“长距离+高精度”的统一，适用于激光雷达、工业测距、无人设备等场景。

1、立项背景和目标 在传统的工业制造领域，设备维护主要依赖两种模式：一是“事后维修”，即设备坏了再修，这往往导致非计划性停机，造成巨大的生产损失；二是“定期保养”，即无论设备状态如何，都按固定周期进行维护，这会造成维护过度或不足，浪费人力物力。随着工业4.0和智能制造的推进，市场迫切需要一种能够实时监测设备健康状态、提前预警潜在故障的解决方案。本项目旨在研发一款低成本、高实时性、低功耗的嵌入式预测性维护系统。通过在设备端直接运行轻量级AI算法，实现数据本地处理、实时分析和故障预警，避免将所有数据传输至云端所带来的延迟、带宽和隐私安全问题，最终帮助客户实现设备运维的智能化和精益化，降低综合维护成本30%以上。 2、软件功能、核心功能模块的介绍 本嵌入式软件运行在以ARM Cortex-M内核为核心的微控制器上，主要包含以下核心功能模块： 多源数据采集与同步模块： 精确驱动板载加速度传感器、温度传感器，以可配置的采样率（例如：25.6kHz）同步采集设备的振动和温度原始数据，并进行数字滤波处理，剔除工频干扰。 边缘特征提取与AI推理模块： 在时域和频域对原始数据进行特征工程，提取峰值、有效值、峭度指标、频谱能量分布等关键特征。核心是运行一个经过剪枝和量化处理的轻量级神经网络模型，基于提取的特征对设备健康状态进行实时推理，输出健康指数和故障类型（如：轴承磨损、齿轮断齿、转子不平衡）。 实时状态监控与诊断模块： 根据AI推理结果，结合预设的多级报警阈值，实时判断设备状态（正常、注意、警告、严重）。支持对历史趋势数据的本地存储和滚动更新，为诊断提供依据。 数据通信与协议模块： 基于工业标准Modbus RTU协议，通过RS485接口将设备ID、实时健康指数、报警代码等关键信息上传至PLC或数据网关。同时，支持通过该接口进行参数配置（如采样频率、报警阈值）和固件远程升级。 3、业务流程、功能路径描述 系统初始化与自检： 设备上电后，软件进行硬件自检和参数加载，进入低功耗待机模式。 数据采集触发： 当设备开始运行时，振动/温度达到设定触发阈值，或通过Modbus指令触发，软件激活高精度定时器，驱动传感器以预设频率（如25.6kHz）采集1024点或2048点的数据块。 边缘计算与推理： 路径： 数据采集模块 -> 信号预处理模块（去直流、滤波） -> 特征提取模块（计算时域/频域特征值）。 提取的特征向量被送入固化在代码中的轻量级AI推理引擎。 路径： AI推理引擎 -> 健康状态分类器。 推理引擎输出一个包含健康指数和故障概率的向量。 报警判断与输出： 路径： 状态诊断模块 -> 报警逻辑判断。

车载智能终端是出行大数据云平台的数据采集前端，主要面向城市公共交通，支撑运营监控、调度、客流分析等业务。 用于实现车载智能视频分析，通过AI算法模型在端侧对实时视频进行分析处理，用于采集客流量、司机疲劳驾驶等等, 从而实现给业务侧提供精准数据支撑。主要用于公交车、大巴车等场景，也可以扩展应用到各类视频分析的其他场景。

该产品面向政府监管、物业、维保、保险、业主等多元主体，形成覆盖电梯全生命周期的应用生态。 该产品集成加速度传感器、气压传感器、陀螺仪、AI 图像与声音识别等，对轿厢、井道等全链路运行状态进行采集，并传送至电梯全生命周期云平台，实现大数据边缘计算。对紧急事件进行快速处理，包括困人、异常运行、故障等场景的实时报警与推送。

### 多 Agent 智能协作 6 个专业 Agent（Sisyphus、Code Analyzer、Programmer、Refactor Master、Test Expert、Librarian）通过 4 种协作模式（Sequential、Parallel、Debate、Main-with-Helpers）智能协作。基于意图识别自动选择 Agent，并行执行提升效率，自动综合多专家意见。 ### 深度代码理解 集成 LSP（Language Server Protocol）、AST（抽象语法树）分析和语义代码搜索。支持 Python、JavaScript、TypeScript 等主流语言，提供类型推导、引用分析、基于向量的语义检索。自动识别代码结构和依赖关系。 ### 智能编排系统 7 种编排策略（Simple、ReAct、Multi-Agent、Parallel、Conditional、Workflow、Sisyphus）自动选择最优方案。ReAct 模式支持推理-行动循环，条件分支实现动态决策，并行执行提升性能。 ### 完整工具链 34+ 专业工具，包含项目理解（文档发现、结构分析、代码地图）、代码搜索（文本、正则、语义、AST）、LSP 工具（诊断、跳转、引用、重命名）、文件操作（读写、批量操作、补丁）、Git 工具（状态、差异、日志）。 ### 智能记忆系统 分层存储架构（会话级、用户级、全局级），对话树结构支持多分支，智能压缩和摘要，相关性检索。多轮对话保持上下文，记住用户偏好和习惯，跨会话知识复用。 ### Skill 配置系统 14+ 预置技能，灵活的 Prompt 模板，工具和编排器配置，可扩展的技能定义。YAML 配置驱动，Jinja2 模板引擎，动态加载和热更新。

该项目是将ai、康养陪护、日常净饮等方面融合的产物。涵盖了微信小程序端、后台运营端、安卓硬件端。用户可以通过微信扫码进行绑定设备和人员，设置自己喜爱的小辈们的声音作为安卓端音色，进行别样的人机交互生活，从而使得数据流入后台。通过算法或手动触发或语音唤醒等方式进行紧急情况的呼救

立项背景 在无人机目标识别场景中，有时需要在同一系统中同时完成多类目标或多任务的识别。如果为每个任务分别部署独立模型，将导致模型参数量大、推理效率低、部署和维护成本高。 因此，有必要在保证检测效果的前提下，通过结构设计实现多任务目标检测的统一与优化。 立项目标 基于 YOLO 目标检测框架，设计并实现一种共享主干网络的多目标识别方案，通过引入多 Head / Neck 结构，在同一模型中完成多个检测任务，降低整体参数量和计算开销，提高系统的实用性与部署效率。 二、软件功能与核心模块介绍 1. 软件功能介绍 支持基于 YOLO 的多目标检测 支持多个检测任务在同一模型中并行执行 通过共享主干网络减少模型参数规模 支持图片与视频流输入 提供检测结果的可视化输出 2. 核心模块介绍 （1）特征提取模块（Backbone） 负责对输入图像进行统一的特征提取，作为多个检测任务的共享基础，减少重复计算。 （2）特征融合模块（Neck） 针对不同任务配置独立的特征融合结构，在共享特征的基础上增强各任务的表达能力。 （3）检测头模块（Head） 为不同任务分别设置检测头，完成各自的目标分类与位置回归。 三、业务流程与功能背景介绍 1. 功能背景介绍 在多任务目标检测场景中，传统方案通常采用多个独立模型分别处理不同任务，存在资源占用高、系统复杂度高的问题。本项目通过统一模型结构，实现多任务目标检测的集中处理，更适合对性能和资源敏感的应用场景。 2. 业务流程说明 2.1. 训练流程 收集多任务标注数据，每个任务拥有独立的训练集 数据统一格式，方便输入共享主干网络 所有任务的数据都会用于更新共享的 Backbone，确保基础特征表示能力适用于所有任务 Backbone 学习通用特征，减少模型参数重复 每个任务独立训练自己的 Neck 与 Head 模块 根据任务目标进行优化，保证任务专有特征有效提取 与共享 Backbone 协同工作，实现多任务并行优化 训练过程中，Backbone 与各任务分支交替优化 最终得到既共享通用特征，又具备多任务检测能力的模型 2.2 使用流程 Backbone 对输入数据提取通用特征，作为多任务检测基础 各任务独立的 Neck & Head 模块接收共享特征 输出各自的检测结果（如不同目标类别或任务指标） 将各任务检测结果汇总 支持视频流叠加显示或输出结构化数据（CSV/JSON） 汇总检测结果并进行可视化输出

在这个项目中，我们三人一组，主要实现的功能是利用Vivado软件操作平台在ZedBoard-zynq-7000c484开发板平台上实现卷积神经网络算法优化的目标。 通过上述优化，在相同硬件资源条件下，最终实现的运算速度比传统计算快183倍，比硬件优化方法快20%。这个项目获得了全国集成电路创新创业大赛二等奖。 我们的总体设计方法是这样的，首先在 C++平台上实现卷积核算法和反卷积算法，然后通过 vivado HLS 仿真进行总线带宽、pipeline、内部缓存、计算单元等方面硬件的优化，仿真波形和实际相符后，生成相应的 IP 核，vivado 导入 IP 核和 zynq7000 进行实物仿真，经过验证正确后烧入 fpga。图像从电脑端通过串口输入开发板，由于片内缓存不足以一次性存储1024个channel的150*150的图像，所以采用动态缓存的办法，Zynq 边对图像进行卷积处理，边从特征 cache 读取图像数据，一个 channel 处理完成后立即输出至 SDSDRAM（输出数据量较小），并空出相应的缓存资源供后续 channel的图像使用。我们将开发板的 8 个 LED 设置为输出结果，板上运行时，可通过 LED判断输出波形。

本项目开发出基于人脸检测与跟踪算法的远程驾驶系统。驾驶员通过脸部的细微运动即可远程控制车辆的行驶，解放了双手。项目的核心是基于 AdaBoost 算法的人脸检测与跟踪技术以及基于 TCP-SOCKET 的远程通信技术。项目的关键技术难点在于人脸检测的准确性、判别算法的鲁棒性和通信系统的实时性。项目很好地满足了这几点要求。

实现了机器人机械爪抓取和放置物体的demo。实现了物体的自动识别与机械臂的运动规划，实现了机器人的即时导航与定位功能。在仿真平台上实现了机械爪的抓取和放置，并实现了人机协同。最终的机器人既可独立完成抓取任务，也可以在人工辅助下完成抓取任务。

首先，利用MATLAB实现了传统的AOA室内定位方法。然后，利用Python及TensorFlow训练神经网络并利用神经网络预测AOA。神经网络的预测结果比传统AOA方式更加准确。最后，利用集成学习将传统AOA定位方式与神经网络融合，进一步提高了准确度。（提升了10cm左右）。

参加机甲大师超级对抗赛，负责英雄机器人的电气布线、开发板配置、控制算法编写与调试。 机器人的功能需包括麦克纳姆式底盘解算，云台pitch、yaw双自由度，摩擦轮与拨弹盘电机协同实现42mm弹丸发射并精准打击16m距离目标。 同时机器人需搭载miniPC与相机实现实时目标检测与瞄准，我们电控需与视觉协调通信实现云台快相应自动瞄准与击打。

采用 CAD 辅助医师诊断进行消化道系统检查，包括操作质量检测、病变检测和分类，一方面可以在一定程度上提升肠道息肉的检出率，从而降低漏诊率；另一方面可以加快每次诊断的时间，从而提升对病人的检测效率。 本项目拟构建人工智能辅助的消化道内窥镜实时定位和检测系统。前期甲方构建了基于卷积神经网络的消化系统图关键位置定位算法和病变检测分割的算法。基于此系统现需要对已有算法进行包装，构建可用于临床测试的系统，并整理此项目中涉及用于系统接口，以便于后续平台开发。

项目介绍：基于视频的步态分析用于评估阿尔茨海默病和路易体痴呆症 技术覆盖：数据获取和清理-数据预处理-深度学习模型设计和实现-模型训练和调优-样例打包-部署方案设计和实施 特有创新：基于最新医学研究成果提炼模型进行智能化检测的开发，数百名患者医师参与共建，具有广泛临床和康养社区使用场景

项目介绍：可编程控制的人形或仿生类行走机器人。根据公布的任务和现场发布的任务，参与现场展示交流的学生能够运用各种传感器包括视觉（大小、形状、颜色）识别、材质（铁质、塑料）分类、位置（坐标、方向）确定等，设计制作一款双足人或仿生类多足机器人，并具备对指定物品进行分拣与搬运的能力。

陪伴式智能家居控制机器人是一款可以语音控制智能家居控制（可以控制灯，扫地机器人，空气净化器，塔扇，灯等）。还具有语音闲聊，语音控制播放音乐，主动贴心问候，语音生活助手，屏幕动态表情反馈，自主充电的功能。还具有远程监控，语音遥控，声控智能家居控制，护眼提醒，语言和表情的远程传送，视频通话，语音购物，老人陪护，幼儿陪护教育等功能。 它是融智能语音技术，智能家居控制技术，物联网技术等为一身的消费级智能机器人。

智能健康一体机是具有血压，心电，血糖，体脂，血氧五大身体指数测量的医疗机械，它具有功能丰富，使用简单，操作容易，携带方便的特点。除此之外，它还集成了挂号和文字及语音护理咨询，视频家医咨询，测量数据的云端保存等功能。它的手机端APP可以使用户随时随地查看并了解自己所关心的人的健康状况。 它不仅仅是医疗器械，它是一个强大的医疗服务终端。它的强大体现在：它可以实现一键挂号，也可以实现线上和线下的健康咨询，家医问诊，线上线下买药等功能。

基于瑞芯微 AI 智能算力盒子，依托 Python、C++ 神经网络模型技术，搭建工业级全流程追溯系统。集成嵌入式 AI Box、雷达、传感器等异构设备，借助 LoRa 网络与 MQTT 协议，实现充装现场稳定的数据采集、实时进行分析语音智能播报，数据定时上传及视频流历史截取回放。