从一个例子开始
一个角色知道目标在哪里,却不能移动;另一个角色能移动,却不知道目标。单独把它们评得再高,也不能直接说明两者能否配合。怎样让语言模型真正面对这种信息分工?
要评价合作,需要一个人掌握的信息和采取的动作,能够影响另一个人的决策与共同结果。
一步步想清楚
- 01
单个智能体的任务覆盖不了所有互动
合作、通信和利益冲突依赖多个参与者。需要让它们在同一个环境里,看到不同信息并产生相互影响。
- 02
成熟强化学习环境已经提供了任务结构
MPE 和 Google Football 有明确的状态、动作和结果。接入语言模型后,可以观察模型如何在这些规则下作决策。
- 03
适配接口决定模型究竟在做什么
局部观测如何描述、通信信号怎样传递、一个模型控制谁,都会影响结果。因此比较时需要把角色和观察范围说清楚。
先记住这条线
环境给出各自观察
人物、位置、球权或通信信息
模型选择动作
把语言决策映射为环境操作
共同执行与比较
观察角色回报、得分和行为
我参与的工作,具体怎样落地
将观察翻译为模型能读的内容
为 MPE 的角色信息和 Google Football 的球场局势编写自然语言适配。
把输出接回实际动作
MPE 输出移动或通信动作;Google Football 解析方向、传球和射门等离散动作。当前足球配置由模型控制一名球员。
批量运行并保存过程
比较模型的任务结果、角色回报、延迟和解析情况,并用轨迹与视频解释分数背后的行为。
MPE 的 Speaker 知道目标但不能移动,Listener 能移动却不知道目标,必须依靠通信动作配合。足球则观察传球、跑位和射门决策;当前配置控制一名球员,不等同于多个独立语言模型球员彼此通信。
做出了什么,结果意味着什么
完成四种模型的横向试测,呈现了不同任务和角色下的能力差异:MPE 中模型排名随任务变化,对抗回报需按阵营观察;Google Football 中 GLM-5 得分表现领先,Gemini-3.0-Flash 响应更快。自然语言接口让经典环境成为比较大模型协作与交互能力的工具。
四种模型的试测显示,排名会随任务和角色变化。Google Football 中得分较好的模型和响应较快的模型也不相同。这说明“模型强不强”需要落到具体交互能力上观察。
我怎样理解这件事
我希望把协作能力从“模型看起来聪明”里单独拿出来。MPE 的局部信息和不同角色,让通信与联合行动有了可观察的后果;Google Football 则把决策放进连续变化的局势。
不同任务中的排名会变化,响应速度和得分表现也未必由同一个模型领先。比较水位时,应该先说明角色、观测和控制范围,再解释指标。
想再往里看一点?
几个名字,放回上下文理解
- MPE
- 一组包含合作、竞争和通信任务的多智能体粒子环境。
- 观测—动作接口
- 把环境信息交给模型,再把模型选择转回环境能够执行的操作。
- 零样本接入
- 让模型按说明直接尝试任务,不先为该任务专门训练它。
完整方法图与技术路径
将两类经典强化学习环境接入语言模型:MPE 将各角色的局部观测转成文本,将模型输出映射为移动或通信动作;足球将球场坐标、球权和局势转成文字,再解析为离散动作。解耦模型与环境接口,配置角色、规则和观测说明,批量记录动作、回报、延迟与回放。
接口做好就等于证明多智能体更强吗?
接口提供测量条件。合作相对于独立行动带来多少收益,还需要安排对应实验;现有试测先展示不同模型在具体任务中的差异。
继续读
MPE 仓库 ↗Google Football 仓库 ↗让 AI 做算法研究,从一个 MLP 开始
让 AI 真正修改、训练和比较一个熟悉的小模型,看清自动实验怎样发生。