人工智能 硬件 软件定制 案例

背景：在空中为无人机提供定位和导引 基于3588 完成目标的识别，跟踪和控制，图像处理和编码 对发现的目标进行识别跟踪，牵引飞机飞向目标。对摄像头传输的数据进行编码，通过无线传输至地面站进行播放

1、立项背景和目标： 随着物联网与边缘计算快速发展，嵌入式设备承担智能识别任务的需求日益增长。树莓派凭借低成本、易部署优势成为边缘识别常用载体，但受限于算力，复杂模型难以直接部署。本项目在Windows下基于YOLOv5训练轻量化目标检测模型，支持人脸及5类以上日常物品识别，部署至树莓派4结合摄像头实现实时视频流识别，验证从训练到嵌入式端落地的完整链路，为嵌入式AI识别提供可行方案。 2、软件功能、核心功能模块： 系统包含三大核心模块：①目标检测模块——基于YOLOv5实现人脸及日常物品实时检测与定位，输出边界框坐标和类别标签；②人脸识别子模块——实现指定人脸库的身份识别与匹配；③实时视频流处理模块——调用树莓派摄像头完成帧采集、预处理及模型推理，画面叠加标注结果。最终系统帧率5FPS以上，检测mAP≥80%，人脸识别准确率≥85%。 3、业务流程、功能路径描述： 用户启动树莓派执行主程序→系统初始化摄像头并采集实时视频流→每帧图像经尺寸归一化预处理→加载本地YOLOv5轻量化模型推理→输出目标类别、置信度、边界框→OpenCV叠加矩形框和标签至原始画面→HDMI输出至显示器。形成“采集→推理→渲染→输出”闭环流水线，用户无需额外操作即可持续获得识别反馈。

1、立项背景和目标：针对小学项目式学习中教师难以同时兼顾多组学生、课堂过程数据难沉淀、学生创意表达支持不足等问题，建设以AI语音交互为核心的智能助教平台，将智能能力融入PBL小组协作，提升课堂参与度、个性化辅导能力和教师管理效率。 2、软件功能、核心功能模块介绍：平台包含学生端AI语音助教、声纹识别与对话分析、教师端课堂控制台、学习进度与心理状态洞察、AI生图、摄像头视觉识别、课堂硬件控制、账号与权限管理等模块。 3、业务流程、功能路径描述：教师创建课程和学习小组并配置任务，学生通过终端唤起AI助教进行提问、讨论和创意创作；系统按声纹区分参与者，记录对话并分析学习状态和进度，教师端实时查看并调节课堂节奏，AI生图和视觉模块输出辅助素材，课后沉淀学习记录和评价结果。

在华为手表上建立一个相机控制app，用来控制大疆相机实现其可穿戴端控制硬件的物联网需求。改项目作为大疆内部的外包项目被定义为产品里程碑项目，具有快速调动手表控制相机进行拍摄，录像，高清晰度拍摄及连续多图一键拍摄等功能。主要包含表盘，进入时进行pin码蓝牙认证，开启相机，点击拍摄，切换10种拍摄模式等

业务背景： 解决传统 PCB 产线上料依赖像素模板匹配导致的大量痛点（如仅支持单一版型、换型成本高、流程易卡顿、易受强 光/复杂背景干扰导致误判 NG 等），实现高柔性、无人化的智能上料。 核心功能： 1、无模板无序识别：无需制作传统像素模板，对区域内任意角度放置、无序堆叠的电路板进行实时识别。 2、位姿计算与坐标下发：自动计算物料几何中心与旋转角度，通过工控网络将抓取坐标实时下发。 3、自动抓取与放置闭环：联动 SCARA/六轴机械臂与柔性吸盘，自动按序抓取物料、矫正倾斜角度并平稳放置至下道工序传送带。

传统 PCB 金手指斜边加工依赖人工校正夹具，受振动、温度、光照干扰导致加工精度漂移、废品率高。本系统基于双目 CCD 视觉方案，实现 PCB 金手指自动定位测量。核心模块包含图像采集模块、视觉检测模块、运动补偿控制模块、人机交互界面模块。业务流程：工件上料→双目相机采集图像→算法求解金手指坐标偏移→下发指令驱动伺服轴自动补偿→机床完成精加工，超差自动报警，实现高精度无人自动化加工，目标将加工精度稳定控制在 10μm 以内，降低产品报废率。

1. 具体功能模块 整机硬件集中控制模块 统一集成电磁阀、夹具轨道直线电机、丝杆电机、主轴、PLC 各类硬件信号，开发整机统一 SDK，完成全部硬件底层驱动集成，实现机床全部件集中调度控制。 多维度精度漂移抑制模块 通过 10 轴 IMU 采集振动数据搭建微震误差模型，搭配 WHT11 温度传感器构建热形变补偿模型，基于 U-Net 网络搭建刀具磨损识别模型，从震动、温度、刀具损耗三个维度抵消加工精度偏移。 双目高精度视觉定位模块 搭载 2000 万像素双目 CCD 相机，采用改进 ResNet18 网络完成金手指追踪定位，搭配自研亚像素几何边缘查找算法，70 毫秒内锁定精准加工坐标。 自适应恒强光源控制模块 采用 PID 闭环控制环形 LED 光源，支持工控机、设备自带控制器双端调控，软硬触发模式可选，消除导轨移动、车间光照波动带来的图像像素特征丢失问题。 轴联动运动加工模块 通过 Modbus TCP 通讯传输视觉定位坐标，系统自动反算加工轴位置，补偿物料倾斜偏差，联动主轴、丝杆完成全自动切削加工。 全流程自动化闭环模块 覆盖物料上料、夹具自动定位、视觉检测、高精度加工、成品出料完整工序，实时记录精度、速度、报废数据，支持设备运行状态实时监控。 2.功能 无需人工调整夹具物料倾斜角度，系统自动完成定位补偿，省去人工校准工序，实现全流程无人加工闭环。 稳定实现 0.8μm-1.4μm 加工精度，满足高端 PCB 金手指小于 10μm 的高精度生产要求。 自动抑制刀具加工弹跳、高温热漂移、刀具磨损带来的加工误差，有效降低产品报废与返工数量。 消除机床移动、现场光照变化对视觉成像的干扰，长期生产过程中金手指图像特征完整保留，加工成品一致性稳定。 一套控制系统统筹光源、视觉、电机、主轴、PLC 全部硬件，不用搭配多套独立控制程序，设备运维操作简单。 3. 技术 整机全硬件 SDK 集成开发，多电机、主轴、电磁阀、PLC 底层驱动协议整合技术。 多传感器融合误差补偿技术，包含 10 轴 IMU 微震建模、WHT11 温度热形变补偿、U-Net 刀具磨损视觉识别。 2000 万像素双目 CCD 视觉成像技术，改进 ResNet18 目标追踪算法，自研亚像素物料边缘查找算法。 PID 恒强环形光源自适应调控技术，支持软硬双触发成像控制。 Modbus TCP 工业实时通讯技术，视觉坐标反算与多加工轴联动运动控制技术。 4. 优势 加工精度稳定维持在 0.8μm-1.4μm，远超客户 10μm 的精度标准，适配高端 PCB 精加工生产需求。 产品废品率降低 32%，有效减少原材料损耗与返工工时。 产线整体加工速度提升 60%，单位时间产出量大幅提高。 完全取消人工调机、校准工位，实现全自动无人化连续生产。 自适应光源系统解决光照变化干扰，视觉成像长期稳定，设备故障率更低

1. 立项背景和目标：传统台灯功能单一，无法满足K12学龄儿童个性化、智能化学习需求，且家长辅导压力大、儿童用眼健康问题突出。本项目旨在设计一款集护眼照明、AI助学、健康管理于一体的智能台灯，从“照明工具”升级为“智能学习伴侣”，目标包括构建低成本高性能硬件系统、实现PID智能调光、集成离线语音与云端AI服务，并通过完整测试验证系统稳定性。 2. 软件功能、核心功能模块介绍：系统划分为五大核心模块——AI智能护眼照明（基于PID闭环控制动态调节色温与亮度）、环境感知与健康提醒（人体在位检测+用眼计时，45分钟多模态提醒）、离线语音交互（LD3320本地指令解析，响应≤0.8s）、远程互联与控制（MQTT连接微信云，支持APP调参、状态查看、OTA升级）、绘本识别与学习辅导（OV2640采集图像，云端OCR识别+语音合成播放）。 3. 业务流程、功能路径描述：以“APP远程调光”为例，用户APP发起调光指令→云端服务器转发并穿透NAT→设备WiFi接收并校验→PID算法计算PWM占空比执行调光→设备实时采集灯光与环境数据封装上报→APP定时拉取状态刷新界面，形成“指令下发-执行-反馈”闭环。绘本识别流程为：摄像头采集图像→预处理提取特征→上传云端AI引擎进行OCR识别与内容匹配→结果合成语音播放，实现低延迟指读。

市面上的蓝牙语音遥控器方案普遍依赖厂商私有云服务，用户无法自行部署和定制语音处理逻辑。本项目的立项目标是从零打造一款完全开源、可自主部署的 AI 语音遥控器，覆盖从硬件 PCB 设计到云端后台的全链路，让开发者和硬件爱好者可以低成本复现并自由扩展。 核心功能模块包括四个部分：（1）硬件层：基于 ESP32-S3 模组自制 2 层 PCB，集成 PDM MEMS 麦克风、MAX98357A I2S 音频功放、TP4065 锂电池充电管理和 USB Type-C 接口，成品可装入市售遥控器外壳，单台 BOM 成本约 75-95 元；（2）固件层：基于 ESP-IDF v5.4 开发，实现 BLE HID 遥控（键盘/鼠标/多媒体）、SoftAP WiFi 配网（支持多组 WiFi 记忆）、PDM 麦克风采集、I2S 音频播放、HTTPS 语音管线和 OTA 双分区固件升级；（3）Android APP：作为语音桥接端，通过 UDP 接收 ESP32 的音频流，HTTP POST 转发给云端后台处理，再将 TTS 合成的音频回传给遥控器播放，同时提供蓝牙连接管理、WiFi 配网界面和远程日志查看功能；（4）PHP 云端后台：实现可插拔的 ASR→LLM→TTS 语音处理管线，支持 FunASR（免费语音识别）、微软 Edge TTS（免费语音合成）和 DeepSeek 等 OpenAI 兼容大模型 API，并提供 OTA 固件版本管理后台和 API 日志监控面板。 业务流程为：用户按下遥控器语音键 → ESP32 PDM 麦克风采集 16kHz PCM 音频 → 优先通过 UDP 发送给 Android APP 桥接转发（本地模式），若 APP 不可达则自动切换为 HTTPS 直连云端（云端模式）→ Web 后台依次执行语音识别（FunASR，约 1 秒）、大模型生成回复（DeepSeek，约 1.5 秒）、语音合成（Edge TTS，约 0.7 秒）→ PCM 音频通过 HTTP 响应返回 → ESP32 I2S 播放语音回复。整个流程端到端延迟约 3-4 秒。遥控器同时支持 BLE HID 标准协议，可直接控制 PC、电视、智能家居设备的方向键、确认键和多媒体按键。

将安卓S905L机顶盒，2GB+16GB配置，完整改造为可以跑通armbian的linux服务器，本地部署openclaw服务并且完整运行，实现本地24小时低功耗运行的AI服务器（整机功耗小于5W），并且配置网络穿透，外网也可访问。同时部署了青龙自动化运行平台，可用于跑自动化脚本及任务

面向会议记录、工业对讲、人机交互及嵌入式智能终端在风扇、空调、键盘敲击和室内混响等噪声环境下的语音采集需求，设计并实现一套基于GD32H759IMT6微控制器的边缘语音降噪系统。系统通过ES7210音频采集模块、SAI和DMA连续获取48 kHz多通道音频，在本地完成通道选择、音量统计、短时傅里叶变换、频带特征提取、神经网络推理、频谱掩蔽和语音重建，无需依赖云端服务器。 系统支持RAW原始音频、RNNoise对照降噪和自研CRN降噪三种工作模式，可通过触摸屏完成模式切换、输入通道选择、增益调整、开始或停止录音以及屏幕截图。LCD实时显示原始与降噪波形、音量、模型状态、录音时间、缓存状态和输出文件名；TF卡可保存原始WAV录音、CRN降噪音频及LCD截图，形成“音频采集—边缘推理—效果显示—文件保存”的完整闭环。

一、业务概述 本系统面向商用智能饮水设备运营场景，搭建一套软硬一体物联网管控平台，解决多台饮水终端分散管理、现场运维成本高、设备状态无法实时掌握、远程调控难等痛点。平台采用 TCP+HTTP 双通道通信，对接线下 4G 饮水设备，实现设备联网接入、运行数据采集、远程出水 / 加热控制、离线指令缓存补发、运行数据留存对账全流程业务能力，运营人员可通过 Web 后台统一管理所有终端，无需现场上门操作，大幅降低设备运维、巡检人力成本，适配小区、工厂、校园等多点位饮水设备规模化运营管理需求。 二、核心业务功能 设备联网接入管理 设备通过 4G 网络主动建立 TCP 长连接接入平台，设备上线完成注册登记；依靠 20 秒心跳机制实时判定在线状态，闲置超时自动断连并支持断线重连，平台统一维护全量设备台账，实时展示每台设备在线 / 离线状态、GPS 位置信息。 远程设备操控 后台通过 HTTP 接口下发控制指令，支持远程控制设备出水，自定义出水量、出水温度；远程启动加热，设定加热时长。设备在线时指令实时下发执行；设备离线则将指令存入 Redis 队列，待设备重新上线自动补发，同时完整记录每一条控制指令日志。 设备运行数据实时采集 持续接收设备上报运行状态、温度、水量、定位等数据，实时缓存至 Redis 快速查看，关键运行记录同步持久化至 MySQL 长期留存，支持后续数据查询、运营统计。 自动化定时运维任务 系统内置定时运维逻辑，每 22 分钟自动执行短时加热，避免水路停滞变质；定时批量巡检全部设备在线状态；定期轮询离线指令队列，保障积压指令有序下发。 高稳定并发运维保障 采用数据库连接池支撑大批量设备并发接入；Redis 缓存分担查询压力，搭配 MySQL 实现数据双重备份；数据库、通信链路故障支持自动重连恢复，保障 7×24 小时不间断稳定运行。 后台 Web 管理能力 提供标准化 HTTP 接口，管理端可查询全局系统配置、查看全部设备清单、一键下发各类控制指令，操作简单直观，适配运营人员日常日常对账、巡检、设备调控工作。 三、业务价值 远程管控替代上门运维，减少线下巡检人力与出行成本； 双通道通信兼顾设备实时控制与后台便捷管理，适配 4G 户外设备弱网环境； 全量设备数据自动留存，便于运营数据复盘、故障追溯； 模块化架构可拓展，后续可新增计费、故障告警、多类型智能设备接入等业务能力。

当前国内高端AI算力芯片依赖海外产品，存在技术封锁、功耗高、带宽不足等难题。本项目同步完成2.5D算力芯片与四层硅-铌酸锂堆叠3D垂直异质集成光子算力芯片两套架构研发，依托硬件开发、人工智能技术，采用VHDL/Verilog硬件描述语言、C/C++完成芯片逻辑与控制程序开发。2.5D架构衍生多款行业专用芯片，无人驾驶汽车芯片采用5nm工艺，机车、人形机器人、无人机算力芯片采用14nm工艺；3D光子算力芯片基于14nm打造，预留5nm迭代方案，通过3D异质键合、硅光集成工艺，以光子运算替代传统电路计算，大幅提升算力带宽、降低运行功耗，面向自动驾驶、轨道交通、人形机器人、工业无人机及大模型算力集群场景，实现国产多规格算力硬件自主可控，突破海外芯片技术壁垒。

本类项目是基于非制冷红外探测器的成像模组项目。 旨在实现低功耗、小体积、高质量图像以及视频接口高兼容性。 本项目是团队合作项目，我主要负责FPGA工程架构设计、软核软件架构设计，并参与某些具体的算法/视频接口/外设驱动的实现及调试。

项目采用 STM32 作为飞控核心，搭配 AI 视觉处理模块，整体架构分为飞控单元、视觉单元、通信单元三部分。我负责完成硬件电路设计、飞控固件开发与 AI 视觉算法的移植调试，实现了多传感器融合的智能避障与目标识别功能。开发中解决了强电磁干扰下通信稳定性差、复杂环境下路径规划卡顿等问题，最终交付的系统支持自主起降、定点悬停与数据回传，已完成多场景实地测试。

项目描述： 本项目旨在开发一套自动化垃圾分类系统，通过结合树莓派5、STM32、摄像头等硬件，实现对垃圾的实时识别与分类。 关键技术与工具： • 硬件平台： 树莓派5、STM32、摄像头、二自由度舵机、超声波传感器等 • 软件平台： yolo11、deepsort、OpenCV、Python、stm32 • 功能模块： 舵机控制、垃圾分类识别、满载检测

本项目实现了一套基于FPGA的多频调制激光测距系统，主要用于中远距离高精度测量场景（10m~3000m）。系统采用三频调制方案（150MHz、1.5MHz、50kHz），结合相位测距原理，实现高精度与大范围兼顾。 在系统设计中，通过FPGA生成多路调制信号驱动激光发射模块，同时接收光电探测器返回的TTL信号。利用高速时钟对参考信号与回波信号进行时间同步采样，通过相位差计算获取距离信息。 核心功能包括： 多频信号生成（基于PLL倍频与分频） 回波信号采样与同步处理 相位差测量（基于时间戳/边沿检测） 多频融合算法消除测距模糊 输出毫米级精度的距离结果 该方案相比单频测距，有效解决了相位模糊问题，实现“长距离+高精度”的统一，适用于激光雷达、工业测距、无人设备等场景。

车载智能终端是出行大数据云平台的数据采集前端，主要面向城市公共交通，支撑运营监控、调度、客流分析等业务。 用于实现车载智能视频分析，通过AI算法模型在端侧对实时视频进行分析处理，用于采集客流量、司机疲劳驾驶等等, 从而实现给业务侧提供精准数据支撑。主要用于公交车、大巴车等场景，也可以扩展应用到各类视频分析的其他场景。

该产品面向政府监管、物业、维保、保险、业主等多元主体，形成覆盖电梯全生命周期的应用生态。 该产品集成加速度传感器、气压传感器、陀螺仪、AI 图像与声音识别等，对轿厢、井道等全链路运行状态进行采集，并传送至电梯全生命周期云平台，实现大数据边缘计算。对紧急事件进行快速处理，包括困人、异常运行、故障等场景的实时报警与推送。

本项目为牛肚村雪菜体验园定制了AI实时交互数字人一体机。系统基于FastGPT知识库构建，内置雪菜园及老港镇专属资料，回答准确率超95%。功能涵盖75寸/65寸高清竖屏展示、实时语音对话、口型同步驱动及摄像头互动。数字人作为智能导游，为游客提供展馆引导、政策讲解及趣味互动，显著提升了乡村旅游景点的科技感与服务效率。