Reference — 多任务通信
环境信息
- PettingZoo 名称:
simple_reference_v3 - 智能体: 2 个 (互为说者和听者)
- 地标数量: 3
- 类型: 双向通信 + 目标推理
- 动作维度: 15 (5 运动 + 10 通信)
游戏目标
每个智能体同时扮演说者和听者的双重角色:
- 说者角色: 能看到对方的目标地标颜色,需要通过通信信号告知对方
- 听者角色: 根据收到的通信信号导航到自己的目标地标
这是评测 LLM 建立通信协议能力的核心环境。
观测空间
每个智能体的观测包含:
| 字段 | 维度 | 含义 |
|---|---|---|
vel | 2 | 自身速度 |
landmarks[] | 3 组 (各含距离和方向) | 3 个地标的相对位置 |
partner_goal_rgb | 3 | 对方目标地标的 RGB 颜色 |
partner_target_id | 1 | 推断出的对方目标 ID |
heard_signal | 变长 | 接收到的对方通信信号 |
颜色与地标对应
每个地标有唯一的 RGB 颜色。智能体需要将看到的颜色与地标位置关联起来。
动作空间
特殊动作维度
Reference 的动作维度为 15!
| 索引 | 含义 |
|---|---|
a[0..4] | 运动力 (标准 5 维: no-op, left, right, down, up) |
a[5..14] | 通信信号 (10 维向量发送给对方) |
奖励函数
所有智能体共享奖励:每个智能体到各自目标地标的距离之和的负值。
reward = -Σ_agent dist(agent, target_landmark)提示词策略
关键挑战:如何通过 10 维信号传递目标地标信息?
策略 A: 信号编码地标 ID
- 地标 0: 信号前 3 维设为 [1,0,0]
- 地标 1: 信号前 3 维设为 [0,1,0]
- 地标 2: 信号前 3 维设为 [0,0,1]
策略 B: 信号编码地标颜色
- 直接将 RGB 值映射到信号的前 3 维运行方式
bash
python reference.py