让 AI 组队干活，最强模型也只完成约一半任务：AgentWorld 如何评测 Agent 协作能力？

单个智能体的能力在持续增强，但团队层面的协作是否同步提升，是一个需要单独验证的问题。AgentWorld 的定位正是把这个问题从“听起来合理的对话”拉回到“必须真正发生的动作”：它把长时程任务、角色不对称和黑盒交互结合到同一个协作评测环境中。

任务集由 100 个人工设计任务和 100 个增强变体组成，涵盖战斗、制作、采集、交易、探索、生存、建造和协调等类型。任务需要 3 至 20 个智能体参与，许多任务包含连续的资源交接与行动依赖。

角色不对称意味着不同智能体拥有不同技能、物品和初始条件，队伍必须据此安排工作；黑盒交互意味着智能体不能直接读取队友的内部推理状态，只能通过环境观察、聊天和行动结果判断队友在做什么；多轮执行则要求团队在数十轮预算内持续更新状态。为减少低层操作干扰，AgentWorld 提供了 13 个高层 API 工具，例如采集或攻击工具可以封装导航和具体执行流程。

在统一的提示模板、工具定义和交互协议下，论文评测了 Gemini 3 Flash、Claude Haiku 4.5、GPT-5 Mini 和 DeepSeek R1-70B。主任务集上，四个模型驱动的团队任务成功率分别为 52.0%、45.0%、36.0% 和 20.0%；增强任务集上，对应成功率为 24.0%、26.0%、21.0% 和 10.0%。

主任务集上的最高成功率为 52.0%。这个数字本身并不说明协作能力已经接近某个天花板，但它确实把问题具体化了：当任务需要跨角色交接、持续同步和多次依赖时，团队层面的完成率明显低于个体能力的直觉预期。

更值得注意的是“做到一部分”和“真正做完”之间的落差。Gemini 3 Flash 在主任务集上的部分成功率为 71.5%，完整任务成功率为 52.0%。团队推进了一些中间目标，并不保证最后的资源交接或制作步骤能够完成。

通信量与成功率之间没有呈现“越多越好”的简单关系。GPT-5 Mini 平均每个主任务发送 44.1 条聊天消息，成功率为 36.0%；Gemini 3 Flash 平均发送 11.0 条，成功率为 52.0%。

这组结果并不能证明少聊天会提升成功率，但它提醒我们：消息数量无法直接替代协作质量。更值得关注的是，一条消息是否更新了有效信息，是否消除了分工歧义，以及接收方是否据此采取了行动。

论文对通信轨迹的分析归纳出多类失败：重复询问已经解决的问题、认错角色或资源接收者、报告错误的物品信息，以及在关键步骤尚未完成时宣布任务结束。这些现象说明，多智能体系统需要维护的不只是“任务计划”，还有不断变化的团队状态。

只统计成功率，还不足以描述团队的工作方式。两个团队都完成了任务，其中一个分工明确、交接顺畅，另一个经历了大量重复采集、无效等待和信息误解，如果只看最终结果，两者会得到相同的成功标签。

为此，论文提出了 Causal Collaboration Effectiveness（CCE，因果协作有效性）。成功任务的 CCE 等于被判定为对成功有贡献的动作数除以团队执行的总动作数。它从完成目标的动作开始沿时间向前回溯：这次制作依赖哪些材料？材料来自哪次转移？转移又依赖谁的采集或加工？算法借助大语言模型对候选动作之间的因果依赖作出判断，逐步构建行动关系图。

论文示意图中，三个智能体共执行 27 个动作，其中 12 个被纳入通向任务成功的贡献链，因此该示意轨迹的 CCE 约为 44.4%。这一比例不代表整个数据集的平均结果。论文将失败任务的 CCE 按定义记为 0，这是指标的计分约定，并不意味着失败过程中的每次尝试都毫无价值。

CCE 仍依赖大语言模型对候选动作之间因果依赖的判断，不能单独证明一套系统已经具备通用协作能力。它应与成功率、部分成功率结合阅读，而不宜被当作一个独立的“团队默契分”。

论文作者表示，AgentWorld 的实验结果对应特定模型、提示、工具接口和执行协议，还不足以把协作困难归结为所有大模型的普遍上限。更丰富的规划、记忆或通信设计能否提升协作表现，来源称仍有探索空间。

来源未给出 CCE 在全部任务上的平均数值，仅有单条示意轨迹的 12/27；来源也未说明增强任务集与主任务集差异的具体设计细节。这些空白意味着，当前结果更适合被读作一个可复查的起点，而不是对多智能体协作能力的终局判断。

该论文已被 COLM 2026 接收，由来自 OpenAgents、哥伦比亚大学、宾夕法尼亚大学、首尔大学和宾夕法尼亚州立大学的研究者共同完成，共同第一作者为 Raphael Shu、Yusen Zhang 和 Young Min Cho。