最初这个个人兴趣项目是想让这个模型可以实现自主行动,自主通过图像识别来走路和瞄准,判断目前所在地图位置,忙活半个月甚至不能实现简单的走路功能,查阅相关资料,发现类似的项目实现了只有读取直接读取人物角色所在位置,这个功能想通过这个卷积加 LSTM 记忆模型是不能实现的,至少以我目前的水平实现不了,所以我退而求其次修改成人来操作,模型辅助瞄准
整体架构很简单,两层结构,首先是通过 mss库来截取窗口图片,处理后输入到微调训练过的 yolo 模型,输出敌人目标在屏幕的位置,然后把鼠标平滑处理,平移过去,然后人开枪就行了,
遇到的难点:1、第一个遇到的难点是当时一直用win32库来截取图片,没有mss截取的帧数高
2、一开始鼠标移动是一个难题,win32api.mouse_event调用这个函数,但是就算是以管理员运行和关闭防火墙照样还是不能移动,后面改成在init_system 新增管理员权限检查,并且把软件程序全部重启刷新缓存,才能移动