业务和功能介绍
这是一个《原神》游戏的按键可视化项目的实现和ai代肝的尝试（代肝未实现好的效果）。
背景：由于本人游戏操作太差，网上大神的视频基本都没有按键可视化，所以想构建一个视频画面-键鼠操作的模型。后续因为有了画面-键鼠操作对，就尝试加入了文本指令，构建ai游戏模型。
功能介绍：
1、数据采集脚本：实现了游戏画面-键鼠的同步采集，驱动级鼠标监听方案完全规避了3d开放世界游戏和fps游戏等游戏对鼠标位置的锁定。同时解决了游戏灵敏度和屏幕分辨率和屏幕比例不一致导致的问题。
2、数据清洗脚本：实现了数据的清洗，在保留数据时序不乱的情况下对其进行清洗，防止因数据不平衡导致的训练失败。
3、场景分割脚本：（此为游戏代肝部分）实现了多线程特征提取、多维度轻量特征（画面亮度分布、HSV颜色直方图、边缘密度、动作特征）整合、多线程数据保存。
4、数据标注程序：（此为游戏代肝部分）实现了基于tkinter的数据标注，主要是给视频打上动作标签。
5、训练循环：包含模型结构（经典的cnn和全连接）、dataset结构和训练脚本。按键和代肝共两套。
6、按键推理脚本：基于游戏画面的按键推理。
7、ai代肝模型脚本：基于多vlm智能体（含微调）的游戏代肝推理脚本。
背景：由于本人游戏操作太差，网上大神的视频基本都没有按键可视化，所以想构建一个视频画面-键鼠操作的模型。后续因为有了画面-键鼠操作对，就尝试加入了文本指令，构建ai游戏模型。
功能介绍：
1、数据采集脚本：实现了游戏画面-键鼠的同步采集，驱动级鼠标监听方案完全规避了3d开放世界游戏和fps游戏等游戏对鼠标位置的锁定。同时解决了游戏灵敏度和屏幕分辨率和屏幕比例不一致导致的问题。
2、数据清洗脚本：实现了数据的清洗，在保留数据时序不乱的情况下对其进行清洗，防止因数据不平衡导致的训练失败。
3、场景分割脚本：（此为游戏代肝部分）实现了多线程特征提取、多维度轻量特征（画面亮度分布、HSV颜色直方图、边缘密度、动作特征）整合、多线程数据保存。
4、数据标注程序：（此为游戏代肝部分）实现了基于tkinter的数据标注，主要是给视频打上动作标签。
5、训练循环：包含模型结构（经典的cnn和全连接）、dataset结构和训练脚本。按键和代肝共两套。
6、按键推理脚本：基于游戏画面的按键推理。
7、ai代肝模型脚本：基于多vlm智能体（含微调）的游戏代肝推理脚本。
项目实现
分两部分：
第一部分-游戏画面推理键鼠：
稍显简单，主要是经典的数据管道和cnn模型。
我遇到的困难：游戏锁定鼠标位置，无法对鼠标进行采集
解决方案：不再偷懒，使用更复杂和低级的驱动级鼠标采集
第二部分-游戏代练：
模仿2025年的成功案例（SIMA2、Lumine等），使用更轻量的2b vlm模型进行微调，将电脑配置从H100*4下放到rtx 3060（主要是我没那么多钱）。
整体分为双层：1、高级指挥vlm，使用api调用解决。2、低级执行vlm，就是上述2b的vlm模型，这里其实是将推理层和执行底层合并了。
大模型实时推理的时序性问题解决：最多精力耗费，最终决定让模型推理当前时间后1秒的操作，在推理时使用两个同样的模型异步合作推理，互相接力，实现无缝衔接推理。
数据量问题：须使用极多数据确保学习效果，但我只用了极少量标注和未标注数据进行训练，最终效果不佳。
长序列推理问题：绝大多数任务不可能只有一秒，所以我使用长序列推理，以新增token为基础，让模型输出<|thinking_start|><|thinking_end|><|action_start|><|action_end|>这几个token，利用大语言模型自带的上下文能力实现整体的衔接
数据标注问题：开发数据标注工具，自动加入上述token
第一部分-游戏画面推理键鼠：
稍显简单，主要是经典的数据管道和cnn模型。
我遇到的困难：游戏锁定鼠标位置，无法对鼠标进行采集
解决方案：不再偷懒，使用更复杂和低级的驱动级鼠标采集
第二部分-游戏代练：
模仿2025年的成功案例（SIMA2、Lumine等），使用更轻量的2b vlm模型进行微调，将电脑配置从H100*4下放到rtx 3060（主要是我没那么多钱）。
整体分为双层：1、高级指挥vlm，使用api调用解决。2、低级执行vlm，就是上述2b的vlm模型，这里其实是将推理层和执行底层合并了。
大模型实时推理的时序性问题解决：最多精力耗费，最终决定让模型推理当前时间后1秒的操作，在推理时使用两个同样的模型异步合作推理，互相接力，实现无缝衔接推理。
数据量问题：须使用极多数据确保学习效果，但我只用了极少量标注和未标注数据进行训练，最终效果不佳。
长序列推理问题：绝大多数任务不可能只有一秒，所以我使用长序列推理，以新增token为基础，让模型输出<|thinking_start|><|thinking_end|><|action_start|><|action_end|>
数据标注问题：开发数据标注工具，自动加入上述token
示例图片视频
相似推荐
基于stm32的可视化物联网平台检测系统
本系统基于 STM32 主控，集成多类环境传感器采集温湿度、空气质量等数据，通过物联网模块上传至可视化平台，实现数据实时监测、异常告警与远程控制，界面直观易用，适用于智能家居、工业监测等场景，兼具高可靠性与低功耗特性。
宇数B2机器狗开发
基于定制的宇数B2机器狗上的云台设别开发实时识别的功能
1.实时识别云台回传的rtsp流，并将识别后的画面推传出去，使其在客户端可以实时看到识别框的画面。
2.录制识别到的短视频并回传到平台，用于数据分析。
仓储物流管理系统-一物一码
这个项目是基于若依（RuoYi）v3.8.2 深度二次开发的一套企业级“一物一码追溯与供应链协同平台”。
主要服务快消制造场景中的箱码、瓶码、托盘码关联管理与全链路追踪：支持箱托关系查询、码级明细下钻、入库/出库记录管理、历史追溯以及多工厂维度的数据过滤；同时提供问题上报与闭环处理能力，支持按工厂、产线、供应商、问题类型进行协同流转，并可导出统计数据。系统还集成了微信小程序接口，支持移动端登录、权限下发、扫码查询、业务操作上报，便于一线人员在仓库、产线和现场快速处理任务。此外，项目接入了人脸认证流程（含二维码校验、认证次数控制、认证结果回写），用于关键操作场景的身份核验与风控。结合 WMS、外部平台调用与日志审计能力，这个项目本质上是一套将“防伪追溯、仓储物流、现场质控、移动协同、身份认证”打通的数字化运营系统，目标是提升数据可追踪性、作业规范性和异常处理效率。
工业数据采集
windows平台软件，主要用于工业设备PLC数据采集，系统框图展示，系统数据采集和显示，系统告警实时提醒，
提供系统操作控制界面，快速的操作系统的功能；系统数据实时显示和保存，历史数据的显示和图表绘制。
智慧停车系统
一、立项背景与目标
当前城市停车难、停车乱问题突出，路内外停车资源分散、利用率低，人工管理效率低下且易出现收费不规范等问题，同时政府对城市静态交通治理、智慧交通建设的需求日益迫切。基于此，智慧停车平台立项，核心目标是依托新一代信息技术，统筹城市停车资源，构建城市级静态交通管理体系，实现停车资源数字化、可视化管理，优化车主停车体验，助力政府交通治理，赋能停车企业提质增效，推动智慧停车与智慧生活生态深度融合。
二、软件功能、核心功能模块介绍
智慧停车平台涵盖多端协同功能，覆盖web端、移动手机端、后台运营端等多个终端，核心功能模块围绕车主服务、运营管理、政府监管、平台支撑四大维度展开。
（一）核心功能模块
1. 车主服务模块：作为核心前端模块，提供车位查询、在线预约、智能导航、无感支付、订单管理、电子发票等全流程服务，新增AI停车助手、共享车位、充电洗车等延伸服务，支持多渠道支付，大幅提升车主停车便捷度。
2. 运营管理模块：面向停车运营企业，提供设备远程监控、泊位实时管理、计费规则设置、订单统计、巡检管理等功能，结合数字孪生技术直观展示停车场状态，实现精细化运营，提升管理效率。
3. 政府监管模块：为交通管理部门提供停车数据汇总、拥堵预测、扩容建议等服务，梳理130多个行业核心指标，实现与车管、交管部门数据对接，助力城市交通规划和动静态交通一体化治理。
4. 平台支撑模块：包含大数据、星光物联、数字孪生平台，负责数据采集、分析与可视化，支撑全平台稳定运行，为各模块提供数据支持，保障平台安全与迭代升级。
（二）辅助功能
涵盖智能客服、消息推送、实名认证、积分商城等功能，优化用户体验，同时支持停车费复议、投诉处理等服务，完善服务闭环；新增特色功能，丰富运营场景。
三、业务流程、功能路径描述
（一）核心业务流程
平台业务围绕“资源整合-用户服务-运营管理-数据赋能”闭环展开：整合各类停车资源，通过智能硬件采集泊位信息；为车主提供全流程停车服务；运营企业实现精细化管理，政府依托数据开展交通治理；通过大数据优化资源配置，拓展生态服务，形成完整闭环。
（二）核心功能路径
1. 车主停车路径：车主通过APP/小程序登录→查询空闲车位→预约（可选）→导航前往→车辆识别放行→自动计时→离场支付→抬杆放行，可申请电子发票、查询订单。
2. 运营管理路径：运营人员登录后台→查看停车场实时状态→设置计费规则与巡检任务→处理设备故障→统计数据→通过分析优化运营策略。
3. 政府监管路径：工作人员登录监管端→查看停车资源与拥堵情况→获取分析报告→依据数据制定交通治理政策，实现精细化监管。
平台实现停车资源“一张网”管理，打通三方信息壁垒，形成“停车-出行-生活”一体化服务生态，目前已在全国40多个城市落地，管理泊位超60万个，服务车辆达3000多万辆。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服