多智能体博弈系统

智能体决策时往往需要兼顾实时性、协同性和鲁棒性，为了解决智能体在高维状态空间中长期决策困难的问题，本项目提出一种多智能体协作对抗方法。该模型可以：
1.构建拟真的城市对抗环境模型，支持多类智能体的交互与博弈；
2.通过强化学习提升多智能体协作与对抗能力，兼顾同构与异构智能体；
3.提高收敛速度和奖励回报率。
该模型构建了真实对抗环境，采用近端策略优化的AC结构，结合嵌入方法解决异构智能体的空间差异；还设计了自适应经验采样模块，融合 on-policy 与 off-policy 数据，提高经验利用率并加快收敛速度；最后采用了权重继承机制，在智能体消失时将其策略传递给队友，保证任务执行的连续性和快速适应性。
系统运行流程包括四个阶段：首先进行初始化与建模，设置城市环境和智能体组别；其次是交互与训练，由AC网络输出动作并进行价值评估，将状态与奖励存入经验池；接着在策略优化阶段，通过近端策略优化结合自适应采样不断改进策略，同时利用嵌入方法保证异构智能体的训练一致性；最后进入分布式执行，各智能体基于局部观测独立决策，并通过权重继承保持协作，从而实现最终目标。

本项目由我一人负责，环境建模集合数学方法采用Python编写出仿真框架，支持动态变化的建筑物和目标点等。策略优化基于PyTorch深度学习框架实现，核心是带RNN的AC网络，并引入嵌入方法解决异构状态与动作空间差异。经验采样模块融合 on-policy 与 off-policy 策略，采用自适应采样机制提升数据利用效率。
项目实施过程中遇到三类难点：一是异构智能体的空间差异，传统方法难以统一处理，本项目通过向量嵌入映射到共享空间，使不同智能体能够在统一特征空间中协作学习；二是策略收敛与训练效率，为避免策略更新过大引发不稳定，采用近端策略优化的裁剪目标函数，并结合自适应经验采样加快收敛速度；三是任务连续性与鲁棒性，智能体在对抗中可能消失或失效，本项目设计了权重继承机制，使剩余智能体能够快速接管任务，提升整体系统的适应性与稳定性。