Skip to content

Reference — 多任务通信 ​

环境信息

  • PettingZoo 名称: simple_reference_v3
  • 智能体: 2 个 (互为说者和听者)
  • 地标数量: 3
  • 类型: 双向通信 + 目标推理
  • 动作维度: 15 (5 运动 + 10 通信)

游戏目标 ​

每个智能体同时扮演说者和听者的双重角色:

  • 说者角色: 能看到对方的目标地标颜色,需要通过通信信号告知对方
  • 听者角色: 根据收到的通信信号导航到自己的目标地标

这是评测 LLM 建立通信协议能力的核心环境。

观测空间 ​

每个智能体的观测包含:

字段维度含义
vel2自身速度
landmarks[]3 组 (各含距离和方向)3 个地标的相对位置
partner_goal_rgb3对方目标地标的 RGB 颜色
partner_target_id1推断出的对方目标 ID
heard_signal变长接收到的对方通信信号

颜色与地标对应 ​

每个地标有唯一的 RGB 颜色。智能体需要将看到的颜色与地标位置关联起来。

动作空间 ​

特殊动作维度

Reference 的动作维度为 15!

索引含义
a[0..4]运动力 (标准 5 维: no-op, left, right, down, up)
a[5..14]通信信号 (10 维向量发送给对方)

奖励函数 ​

所有智能体共享奖励:每个智能体到各自目标地标的距离之和的负值。

reward = -Σ_agent dist(agent, target_landmark)

提示词策略 ​

关键挑战:如何通过 10 维信号传递目标地标信息?

策略 A: 信号编码地标 ID
- 地标 0: 信号前 3 维设为 [1,0,0]
- 地标 1: 信号前 3 维设为 [0,1,0]  
- 地标 2: 信号前 3 维设为 [0,0,1]

策略 B: 信号编码地标颜色
- 直接将 RGB 值映射到信号的前 3 维

运行方式 ​

bash
python reference.py

Built with ❤️ for Multi-Agent AI Research