人工智能 算法模型 软件定制 案例

核心功能模块： 智能拍照模块：通过一体机的高清摄像头，引导用户完成照片拍摄，并进行基础的人脸检测与图像预处理。 AI换装/人脸融合模块：这是系统的核心。用户选择心仪的虚拟服装、角色或背景模板后，系统调用AI模型，将用户的人脸精确、自然地融合到模板中，生成换装或合影效果图。 在线商城与支付模块：用户可浏览不同的拍照套餐、相框模板等商品，加入购物车并通过集成的移动支付（如微信支付）完成下单。 即时打印与电子交付模块：支付完成后，系统自动连接高清照片打印机完成照片打印；同时，电子版照片会通过小程序或短信发送给用户，方便分享和保存。 多端管理与监控模块： 管理后台：供运营方管理设备、模板、价格策略，并查看经营数据。 运营App：供现场运营人员远程监控设备状态、处理打印异常和退款等。 用户小程序：供用户查看购买记录、下载电子照片。 业务流程描述：用户在一体机触屏上选择喜欢的主题或模板 -> 根据引导完成拍照 -> 系统自动进行AI换脸/换装处理并预览效果 -> 用户满意后，选择购买套餐（如打印照片或获取电子版）-> 通过手机扫码完成支付 -> 系统自动打印照片并推送电子版到用户小程序

1. 为什么要做这个） PLC工程师写SCL代码有个很烦的事——语法规矩特别多。等于号在C语言里是==，在SCL里是=。赋值在别处用=，SCL非得用:=。IF后面忘了END_IF，CASE漏了ELSE，编译器只告诉你错了，不告诉你哪错，更不会帮你改。一个工程师来回编译、报错、猜、改能折腾很长时间。后来发现大模型也能写SCL，但写出来的更离谱——&&、!=这些C语言习惯全带进来，true/false小写不认，IF/CASE各种缺胳膊少腿。思路很简单：既然LLM犯的错就那么几类，每类长什么样我们也知道，写一套固定规则帮它改就行了。不用重新训练模型，写死规则，来一个修一个，结果永远确定。 2. 能干什么 拆成四块：第一，让大模型写代码。用大白话描述控制需求，背后接了好几个大模型可以换着用。第二，帮它补骨架。LLM经常忘了关IF、关CASE，用一个叫下推自动机的方法跟踪成对关键字，哪缺了自动在正确位置补上。本质是聪明的括号匹配，但能处理嵌套——IF里套CASE，正则搞不定，必须用栈。第三，帮它改小毛病。&&改AND，!=改<>，true改TRUE，一共11种常见错误，8种自动改，3种标记提醒。改等于号最危险——在IF条件里它是合法比较符不能瞎改，设了三层保护确保不破坏逻辑。第四，浏览器打开就能用，代码直接复制到TIA Portal编译。 3. 怎么用 三步：网页上用大白话写控制逻辑，选PLC型号。点生成等几秒，大模型出初稿。工具自动修一遍语法错误，拷走拿去编译。想再改可以手动编辑或者对话精修。从需求到能编译的代码，快的就几分钟。

PyTorch 动态图机制在 GPU 上虽能良好运行，但在 CPU 服务器或边缘设备上，Eager Mode 的执行效率远低于优化后的静态图方案，单帧推理耗时约 80-120ms，难以达到实时（25 FPS）要求。 跨语言集成困难：现有业务后端为 C++ 微服务架构（如视频合成管线、直播推流模块），PyTorch 模型需通过 Python 子进程或 RPC 服务调用，跨进程通信引入额外 15-30ms 延迟，且增加了系统复杂度和故障点。 基于上述背景，本项目拟将 Wav2Lip 模型从 PyTorch 格式转换为 ONNX 标准格式，并使用 C++ 重写推理管线，实现轻量化、高性能、易集成的生产级唇音同步引擎。

用 STM32MP257 和 ESP32-S3 搭了一套双芯片系统。M33 负责硬实时采集和控制，A35 跑 Linux 做复杂一点的推理和通信，ESP32-S3 当无线通信模块用和安全模块。数据通过 MQTT 传到 Docker 后端存储和可视化。训练框架 PyTorch，边缘推理引擎 ONNX Runtime，可视化 TensorBoard + Plotly。从硬实时控制芯片到云端训练，再到边缘端异构部署 的全栈式群体智能系统。系统底层采用 STM32MP257（A35+M33+NPU）与 ESP32-S3 双芯异构架构，确保微秒级安全响应与高算力 AI 推理共存；中层通过 EMQX + TimescaleDB + Grafana 实现千万级消息的实时数据中枢与时空可视化；上层接入课题组的多智能体强化学习（MARL）算法库（HetDPS、LazyAgents、MADPS 等），解决异构集群在稀疏奖励、通信受限、责任分散等挑战下的协同决策问题。

本项目与南京市惟精环境科技有限公司合作，通过实地调研其水环境治理业务，针对传统水质监测"监测点少、数据滞后、预警靠人工经验"的痛点，构建一套集实时监测、智能预测、扩散模拟、自动预警、三维可视化与 AI 问答于一体的水质监测预警平台。 平台面向监测中心运维人员与管理决策者，覆盖从数据采集到处置决策的完整闭环，核心功能模块包括： 1. 实时监测：对接 5 类传感器（温湿度、pH、浊度、溶解氧/COD、氨氮/总磷）共 9 项水质指标，通过 MQTT/TCP 采集、WebSocket 秒级推送，前端实时曲线与数据表格联动展示，支持历史查询与 CSV 导出。 2. LSTM 时序预测：对各指标进行未来 24–72 小时多步预测，输出预测曲线与 95% 置信区间，辅助提前研判水质变化趋势。 3. 污染扩散模拟：基于高斯扩散模型，按污染源位置、强度、水流参数计算扩散范围，以热力图与时序动画呈现影响区域。 4. 综合预警：融合时序预测与扩散结果生成五级预警，并落地"触发→确认→处理中→已解决→已关闭"的完整预警生命周期管理，全程留痕可追溯。 5. 数字孪生：基于 Cesium 三维地图标注监测站点并叠加实时数据。 6. AI 数字人助手：基于 RAG 检索增强生成的专业问答，结合水污染防治法规与处置预案知识库，支持流式回复与语音交互，为应急处置提供决策建议。

立项背景与目标 背景： 跨模态检索（Cross-Modal Retrieval）是视觉-语言理解领域的核心任务，包含两类方向： - I2T（Image-to-Text）： 给定一张图片，从候选文本库中检索最匹配的文本描述 - T2I（Text-to-Image）： 给定一段文本，从候选图像库中检索最匹配的图片 传统的跨模态检索方法通常依赖大规模标注数据对模型进行微调训练（training-based），计算成本高、周期长，且跨领域泛化能力有 限。本项目探索一种**完全无训练（Training-Free）**的跨模态检索新范式——直接利用多模态大模型（MLLM）的语义理解和推理能力 ，结合层次化的上下文嵌入策略，在不进行任何模型微调的情况下，达到甚至超越有训练方法的检索精度。 目标： 1. 构建一个完整的、模块化的无训练跨模态检索流水线 2. 通过多维度图像描述生成和层次化语义嵌入，提升检索召回率 3. 引入 MLLM 重排序（Reranking）机制，在粗排的基础上做精细化语义匹配 4. 在 Flickr30K 和 COCO 2017 等标准数据集上验证方案的有效性 5. 通过一系列消融实验，系统分析各模块对最终性能的影响 软件功能 1. 图像多维度描述生成： 利用VL模型对每张图片从多个语义角度生成描述文本，为后续向量检索提供丰富的语义覆盖 2. 嵌入粗排： 采用自研嵌入策略，将多维度描述编码为高质量向量，计算图文相似度矩阵，输出 R@1/5/10 评估指标，并导出 Top-K 候选集供精排使用 3. MLLM Bidirectional Reranking： 在粗排 Top-K 候选集的基础上，对候选结果进行深度语义重排序，同时支持 I2T 和 T2I 两个方向 4. 自动化实验流水线： 通过 main.py 统一调度三阶段流程，自动进行 GPU 显存管理，支持大规模数据集批量处理 5. 稳定性测试： 对重排序模块进行多次重复推理，统计模型输出的一致性和稳定性 核心功能模块介绍 模块一：Stage1 - 图像描述生成（stage1_captioning.py） - 功能： 对数据集中的每张图片，利用 Qwen3模型生成四个独立维度的详细描述 模块二：Stage2 - HCE 粗排与评估（stage2_HCE.py） - 功能： 采用层次化上下文嵌入策略进行图文粗排检索，计算相似度矩阵并评估性能 - 核心类： CaptionRetrievalEvaluatorFast 模块三：Stage3-进行重排序Reranking

1.立项背景和目标 随着PCB高密度、高精度发展趋势，金手指位置度检测成为影响连接可靠性的关键工序。传统人工检测效率低、一致性差，难以满足批量生产中的精度要求。针对方正PCB的实际产品，开发出一套基于线扫描相机与同轴线光的金手指位置度检测方案，目标实现对金手指中心线偏移量的自动化测量，检测重复性控制在0.01mm以内，提升检测效率与标准化水平。 2.软件功能、核心功能模块介绍 本方案主要包括图像采集模块、位置度计算模块、重复性分析模块、结果输出模块。图像采集模块通过线扫相机和伺服移动系统获取高分辨率PCB图像；位置度计算模块以“两线平分中分线”为基准，测量左右第一根金手指到中心线的距离；重复性分析模块对多次测量结果进行极差计算，评估系统稳定性；结果输出模块生成检测数据表，支持数据追溯。 3.业务流程、功能路径描述 操作员将PCB放入固定载具 → 启动设备 → 将产品送至扫描位 → 线扫相机与同轴线光采集图像 → 软件计算金手指位置度数据 → 设备自动切换至背光，翻转产品后二次扫描 → 完成检测后送出产品。整个过程通过软件界面实时监控检测状态与结果，支持数据导出和重复性验证。

1、项目有哪些具体功能模块 跨平台推理适配模块、五层防误唤醒检测模块、模型加载解析模块、音频梅尔频谱转换模块、多唤醒词并行识别模块。 2、项目的主要功能描述 支持加载各类框架导出的 ONNX 唤醒词模型，内置五层独立可控防误触发检测逻辑，搭配倍率、阈值、置信度可视化调节；一套代码兼容 ESP32、Android、Linux、Web 四大平台，支持单唤醒词、多唤醒词批量配置，可对接 voicute 在线平台一键生成适配模型。

智能症状诊断（对话式问诊） 业务描述：用户以自然语言描述主诉（如“膝关节不能下蹲”），AI通过多轮追问，引导用户补充细节（如疼痛部位、活动受限幅度、伴随体征）。 典型界面： 用户发送“不能下蹲” → AI先提问“下蹲幅度：小幅度障碍还是不能站直？” → 再问“过伸试验强阳性？” → 逐步缩小范围，输出可能的病因（滑膜炎、髌骨嵌顿、腘肌损伤等）。 价值：模拟医生问诊逻辑，避免用户盲目猜测，提高诊断专业性。 2️⃣ 分层鉴别诊断（结构化推理） 业务描述：按照预设的临床路径（如“下蹲障碍”诊断树），AI自动输出分步骤的鉴别诊断列表，区分小幅度障碍、不能站直、后侧疼痛等不同分支。 截图体现： 小幅度障碍 → 肿胀（查滑膜炎） / 髌骨嵌顿（查股骨-髌骨关系） 不能站直 → 过伸试验强阳性（查膝后侧） / 过屈试验阳性（查膝前侧） 后侧疼痛 → 查臀后侧、腘斜韧带等具体结构 大幅度障碍 → 查脊柱侧弯、骨盆旋移、腿型等全身因素 价值：帮助医生/学员建立清晰的临床思维路径，减少漏诊。 3️⃣ 治疗靶点推荐（针刀/针灸定位） 业务描述：当AI完成诊断后，直接输出需要查治的具体解剖结构或压痛点，例如“查治臀后侧、腘斜韧带、腘肌下隐窝、籽骨、半腱肌、半膜肌”。 扩展功能：可进一步点击某个靶点，查看针刀松解进针方法、解剖图示、操作视频。 价值：从“是什么病”快速过渡到“怎么治”，尤其适合针刀医师临床参考。 4️⃣ 体征试验引导（辅助检查） 业务描述：AI主动建议用户或医生完成特定物理检查试验，如“正/反4字试验、直腿抬高试验、过屈/过伸试验”，并根据试验结果再推理。 交互方式：用户点击试验名称，可以查看操作图解或视频演示；也可输入试验结果为“阳性/阴性”，AI更新诊断结论。 价值：标准化体格检查，提升远程问诊的可靠性。 5️⃣ 多模态教学资源关联 业务描述：在诊断结果下方，直接推荐相关的教学视频、名医课程，例如截图中的“膝关节相关疾病的诊断及进针思路”、“唐国振膝关节临床操作演示”。 业务形态：可免费预览部分内容，完整课程需付费/订阅解锁。 价值：实现“即诊即学”，构建从诊疗到教育的闭环，增加用户粘性和付费转化。 6️⃣ 主动追问与健康档案记录 业务描述：在用户未主动提问时，AI可主动发起常见问题，例如截图底部的三个引导按钮： “下蹲时膝关节有无疼痛？” “膝关节活动时有响声吗？” “平时走路或站立时膝盖感觉如何？” 数据沉淀：用户回答内容自动归入个人健康档案，形成长期追踪记录，未来复诊时可对比变化。 价值：变被动问答为主动健康管理，提升用户活跃度和数据丰富度。 7️⃣ 再答一次/调整诊断（可控生成） 业务描述：用户若对当前AI诊断不满意，可以点击“再答一次”按钮，AI会重新生成一组诊断思路或换一种推理逻辑（例如增加考虑肌筋膜链）

立项背景： 传统聊天机器人缺乏持续性人格和情感交互能力，每次对话都是"失忆"状态。本项目旨在构建一个具有完整情感模型、多层记忆系统和自主进化能力的智能伴侣系统，实现"有灵魂的AI"。 核心功能： 1. 情感引擎： 基于3D VAD（效价-唤醒度-掌控感）连续情绪模型，9个情绪锚点，支持刺激分类与指数衰减，E值系数影响回复风格强度； 2. 记忆系统： L1-L5五层认知分层，双相遗忘曲线（指数+幂律衰减），SQLite FTS5全文检索，Obsidian兼容格式； 3. 关系成长： 4阶段演进（初识→热恋→甜蜜→稳定），基于消息量和互动频率动态调整语言风格； 4. Agent循环： think→tool→result→continue架构，支持14种工具调用（文件操作、网络搜索、Shell执行、浏览器控制等）； 5. 安全体系： K公式决策引擎、A5五维风险分级、Prompt注入检测、文件操作保护； 6. 自主行为： 稳态压力模型驱动主动消息，5个内部压力源竞争决策。 业务流程： 用户消息→情绪衰减→记忆检索→系统提示词组装→Agent工具调用循环→情绪解析→承诺调度→记忆存储→分片回复。

基于开源框架 Hermes Agent 打造的智能AI助手系统，支持 DeepSeek/Claude 等多模型灵活切换。具备持久化记忆与技能自进化能力，集成工具调用（代码执行、文件操作、网页搜索、图片生成），实现复杂任务自动分解执行。通过消息网关支持微信/Telegram等多平台接入，让AI能力触手可及。

参与外部企业项目外包，应用MediaPipe技术实现动作智能计数系统。负责开发后端程序，用于识别视频中的人体动作，包括俯卧撑和引体向上等。成功编写后端计数程序，确保动作识别的准确性和计数功能的稳定性。同时，负责前后端连接的实现，实现JAVA端和python端的数据传输并维护系统的稳定性。

在计算机视觉领域，人体姿态检测作为支撑动作分析、人机交互、智能安防、医疗康复等关键领域的核心技术，长期面临检测精度与实时性之间的平衡难题。这一挑战贯穿技术发展的多个阶段：早期基于手工设计特征的方法，如主动形状模型（ASM）和主动外观模型（AAM），依赖人工定义的几何特征模板与统计模型，在复杂光照变化、多角度姿态变换或遮挡场景中，特征表达能力呈现显著局限性，导致关节点定位精度难以突破物理瓶颈，尤其在低分辨率或模糊图像中，检测误差常超过 20 像素。基于图模型的条件随机场（CRF）虽通过概率图模型建模关节点间的空间依赖关系，但其推理过程的时间复杂度随关节点数量呈指数级增长（例如，17 个关节点的全连接CRF计算复杂度达O(N17)，N为图像像素数），使得该方法在实时视频流处理场景中（如帧率要求≥ 25 FPS的监控系统）完全不可行。 深度学习技术的兴起推动姿态检测进入数据驱动时代，衍生出两大主流技术范式：自顶向下方法与自底向上方法。自顶向下方法以Mask R-CNN、HRNet为代表，通过“先检测人体实例，再逐例预测关节点”的两阶段流程，在单人场景中可实现较高精度（如HRNet在COCO数据集上mAP@0.5达0.91），但其计算成本随图像中人体数量线性增加——当画面包含10人时，推理时间较单人场景延长10倍，导致在人群密集的公共场景（如地铁站、体育场）中实时性显著下降。自底向上方法如OpenPose通过关键点检测与分组的解耦设计，理论上计算成本与人体数量无关，但其跨目标关节点分组依赖启发式规则（如距离阈值、外观特征匹配），在多人重叠或姿态相似场景中误关联率高达35%，尤其在舞蹈、体育竞技等关节点密集交互的场景中，分组错误导致的姿态结构断裂问题频发

本项目面向户外高尔夫球场自动化作业场景，为移动机器人提供 AI 视觉感知、目标识别、状态判断和任务辅助决策能力。系统接入左右相机、激光点云、里程计、地图、设备状态等多源数据，完成高尔夫球识别、球满判断、卡球检测、三角标识识别、前方障碍检测、局部/全局球密度地图生成等功能。 机器人在作业过程中可根据视觉检测结果统计球量、判断是否需要返航卸球，并结合行为树状态、任务状态、电量信息和地图区域信息进行联动控制。同时系统支持动态参数配置、图像缓存、检测结果解析、ROS 服务调用、状态发布、异常告警和 rosbag 数据保存，便于现场调试、算法验证和后续数据回放分析。

业务定位 面向PCB制造商、SMT贴片厂及电子质检服务商，提供基于高分辨率X-ray成像的自动化无损检测方案，用于识别压合、焊接及内层结构中的隐蔽缺陷，避免故障板流入后续工序或成品市场。 核心功能 - BGA/LGA空焊虚焊检测：精准捕捉焊球内部气泡（空洞）比例、枕头效应及开路/短路。 - 埋盲孔与内层线路分析：可检内层铜箔断裂、叠孔错位、树脂填充不足等不易外观发现的问题。 -多层对位偏移量测：自动计算各层靶标偏移值，判断压合偏移是否超限。 - AI辅助判读：实时标记疑似缺陷，生成检测报告，支持与CAM设计数据比对。

场景：面向家庭安防场景，针对用户对包裹相关事件（投递、家人取件、快递员取件、包裹盗窃）的高关注需求，基于视觉大语 言模型（VLM）的视频理解能力，构建多类别事件识别系统。 任务：负责视频多模态大模型的选型、训练与压缩， 构建覆盖图文预训练 → 安防垂域微调 → 偏好对齐（DPO） 的完整训练体 系，并设计轻量化方案以支持边端部署。

这个项目最有价值的地方，是它把大模型从简单聊天能力落到了企业数据分析场景里。我们没有直接让模型生成答案，而是把问题拆成意图识别、证据召回、Schema 召回、SQL 生成、语义校验、SQL 执行、Python 分析和报告生成多个阶段。这样做的好处是链路更可控，出错后也更容易定位和重试。

一、立项背景与目标 1. 立项背景 在传统的知识库问答系统中，普遍存在以下痛点： - 流程混乱：通用ReAct Agent在处理复杂业务时，容易发生步骤跳跃或逻辑错乱，导致回答质量不稳定。 - 上下文断裂：多轮对话中，用户常使用代词（如“它多少钱？”），传统向量检索缺乏指代消解能力，导致检索失败。 - 意图混杂：闲聊式提问（如“你好”）与知识检索式提问（如“XX产品参数是多少”）被统一处理，浪费算力且影响用户体验。 - 状态丢失：用户刷新页面或稍后再访问时，对话历史无法延续，每次都是“新会话”。 2. 项目目标 - 构建一个流程可控、意图可分流、上下文可理解、状态可持久的智能知识助手。 - 实现复杂业务逻辑的结构化解耦，提升系统的可维护性与稳定性。 - 显著提升多轮对话场景下的检索命中率与回答准确率。 二、软件功能与核心模块 1.整体功能概述 本系统是一个基于LLM的智能对话式知识库问答助手，支持用户通过自然语言提问，从向量知识库中精准检索并生成回答。系统特别强化了多轮对话中的指代消解能力与流程可控性。 2.核心功能模块介绍 模块名称 功能说明 Planner（规划器） 基于LLM + 专用Prompt，硬编码业务流程。负责解析用户请求，按固定流程调度执行，防止逻辑跳跃。 语义路由器 基于LLM的分类工具，动态识别用户意图为“chat”（闲聊）或“retrieval”（知识检索），实现分支分流。 历史加载与写入模块 与Redis集成，自动追加对话历史，确保跨会话的上下文连续性。 查询重写模块 结合历史对话，将存在指代或省略的用户问题（如“它多少钱？”）改写为语义完整的独立问句。 混合检索引擎 同时执行向量语义检索与关键词检索，通过RRF算法融合排序，提升召回效果。 Executor（执行器） 根据Planner的指令，调用重写、检索、生成等环节，最终输出回答。 系统流程严格遵循：语义路由 → 历史加载 → (分支判断) → 查询改写/直接回答 → 知识库检索 → 最终生成 三、业务流程与功能路径 以下为用户与系统交互的完整功能路径描述： 场景一：用户进行知识检索（多轮对话） 场景二：用户发起闲聊 场景三：用户首次访问 / 会话恢复

本项目主要面向无人驾驶仿真研究、智能车辆轨迹跟踪与轻量化控制算法验证场景，围绕端到端自动驾驶技术开展系统设计与实验开发。项目基于 CARLA 仿真平台构建虚拟驾驶环境，通过采集车辆前视图像、行驶状态和控制指令等数据，训练轻量化神经网络模型，实现从环境感知输入到车辆控制输出的端到端映射。项目可用于自动驾驶算法教学、科研训练、数据采集、模型训练、仿真测试和轨迹跟踪效果评估，为低成本、高效率的自动驾驶算法验证提供支持。 本项目主要功能包括仿真环境搭建、自动驾驶数据采集、数据预处理、模型训练、模型推理和效果评估等模块。系统可在 CARLA 仿真环境中生成车辆行驶场景，自动采集车辆前方图像、方向盘转角、油门、刹车等控制数据，并生成对应的数据标签文件；同时支持对采集数据进行划分和预处理，形成训练集、验证集和测试集。模型部分采用轻量化端到端神经网络结构，通过输入车辆前视图像，直接预测车辆控制指令或轨迹跟踪相关参数，从而实现车辆在仿真道路中的自主行驶与轨迹跟踪。项目还支持训练过程记录、模型保存、测试推理和结果可视化，便于对算法性能进行分析和改进。

为解决生产环境故障排查效率低、依赖人工经验的问题，需构建一套具备自动诊断与经验复用能力的智能运维助手。(1) 构建运维Agent，将性能诊断、故障排查等场景封装为Skill，通过意图路由按需调用；基于MCP集成监控、日志等运维工具辅助诊断。(2) 构建多层记忆机制。短期记忆基于Redis实时维护诊断会话状态；向量记忆跨周期召回相似历史故障案例；图记忆基于Neo4j建立服务、告警、故障等依赖关系，支持根因追溯。(3) 经验闭环与RAG知识库构建。基于已解决的故障事件，自动提取故障模式与解决方案并写入记忆，实现知识复用闭环；支持文档上传，经智能切分、向量化后索引入库，为诊断提供外部知识支撑