黄胜泽研究与实践
← 返回项目实践

多智能体评测

会独立做题,是否也意味着会与别人配合?

用需要配合或竞争的环境,观察单人任务看不到的交互能力。

从一个例子开始

一个角色知道目标在哪里,却不能移动;另一个角色能移动,却不知道目标。单独把它们评得再高,也不能直接说明两者能否配合。怎样让语言模型真正面对这种信息分工?

要评价合作,需要一个人掌握的信息和采取的动作,能够影响另一个人的决策与共同结果。

一步步想清楚

  1. 01

    单个智能体的任务覆盖不了所有互动

    合作、通信和利益冲突依赖多个参与者。需要让它们在同一个环境里,看到不同信息并产生相互影响。

  2. 02

    成熟强化学习环境已经提供了任务结构

    MPE 和 Google Football 有明确的状态、动作和结果。接入语言模型后,可以观察模型如何在这些规则下作决策。

  3. 03

    适配接口决定模型究竟在做什么

    局部观测如何描述、通信信号怎样传递、一个模型控制谁,都会影响结果。因此比较时需要把角色和观察范围说清楚。

先记住这条线

01

环境给出各自观察

人物、位置、球权或通信信息

02

模型选择动作

把语言决策映射为环境操作

03

共同执行与比较

观察角色回报、得分和行为

我参与的工作,具体怎样落地

  1. 将观察翻译为模型能读的内容

    为 MPE 的角色信息和 Google Football 的球场局势编写自然语言适配。

  2. 把输出接回实际动作

    MPE 输出移动或通信动作;Google Football 解析方向、传球和射门等离散动作。当前足球配置由模型控制一名球员。

  3. 批量运行并保存过程

    比较模型的任务结果、角色回报、延迟和解析情况,并用轨迹与视频解释分数背后的行为。

回到具体情境

MPE 的 Speaker 知道目标但不能移动,Listener 能移动却不知道目标,必须依靠通信动作配合。足球则观察传球、跑位和射门决策;当前配置控制一名球员,不等同于多个独立语言模型球员彼此通信。

做出了什么,结果意味着什么

完成四种模型的横向试测,呈现了不同任务和角色下的能力差异:MPE 中模型排名随任务变化,对抗回报需按阵营观察;Google Football 中 GLM-5 得分表现领先,Gemini-3.0-Flash 响应更快。自然语言接口让经典环境成为比较大模型协作与交互能力的工具。

四种模型的试测显示,排名会随任务和角色变化。Google Football 中得分较好的模型和响应较快的模型也不相同。这说明“模型强不强”需要落到具体交互能力上观察。

我怎样理解这件事

我希望把协作能力从“模型看起来聪明”里单独拿出来。MPE 的局部信息和不同角色,让通信与联合行动有了可观察的后果;Google Football 则把决策放进连续变化的局势。

不同任务中的排名会变化,响应速度和得分表现也未必由同一个模型领先。比较水位时,应该先说明角色、观测和控制范围,再解释指标。

想再往里看一点?

几个名字,放回上下文理解
MPE
一组包含合作、竞争和通信任务的多智能体粒子环境。
观测—动作接口
把环境信息交给模型,再把模型选择转回环境能够执行的操作。
零样本接入
让模型按说明直接尝试任务,不先为该任务专门训练它。
完整方法图与技术路径
多智能体评测 完整方法图
上排看 MPE 的局部观测、通信与多角色动作;下排看 Google Football 的局势、战术动作和结果记录。对比的是模型在任务中的具体表现。

将两类经典强化学习环境接入语言模型:MPE 将各角色的局部观测转成文本,将模型输出映射为移动或通信动作;足球将球场坐标、球权和局势转成文字,再解析为离散动作。解耦模型与环境接口,配置角色、规则和观测说明,批量记录动作、回报、延迟与回放。

接口做好就等于证明多智能体更强吗?

接口提供测量条件。合作相对于独立行动带来多少收益,还需要安排对应实验;现有试测先展示不同模型在具体任务中的差异。

继续读

MPE 仓库 ↗Google Football 仓库 ↗
另一项相关的工作

让 AI 做算法研究,从一个 MLP 开始

让 AI 真正修改、训练和比较一个熟悉的小模型,看清自动实验怎样发生。