jbcaaa

这是一个《原神》游戏的按键可视化项目的实现和ai代肝的尝试（代肝未实现好的效果）。 背景：由于本人游戏操作太差，网上大神的视频基本都没有按键可视化，所以想构建一个视频画面-键鼠操作的模型。后续因为有了画面-键鼠操作对，就尝试加入了文本指令，构建ai游戏模型。 功能介绍： 1、数据采集脚本：实现了游戏画面-键鼠的同步采集，驱动级鼠标监听方案完全规避了3d开放世界游戏和fps游戏等游戏对鼠标位置的锁定。同时解决了游戏灵敏度和屏幕分辨率和屏幕比例不一致导致的问题。 2、数据清洗脚本：实现了数据的清洗，在保留数据时序不乱的情况下对其进行清洗，防止因数据不平衡导致的训练失败。 3、场景分割脚本：（此为游戏代肝部分）实现了多线程特征提取、多维度轻量特征（画面亮度分布、HSV颜色直方图、边缘密度、动作特征）整合、多线程数据保存。 4、数据标注程序：（此为游戏代肝部分）实现了基于tkinter的数据标注，主要是给视频打上动作标签。 5、训练循环：包含模型结构（经典的cnn和全连接）、dataset结构和训练脚本。按键和代肝共两套。 6、按键推理脚本：基于游戏画面的按键推理。 7、ai代肝模型脚本：基于多vlm智能体（含微调）的游戏代肝推理脚本。