采用互操作性标准（如模型上下文协议MCP）可帮助企业洞察智能体和模型在封闭环境外的运作机制。然而现有基准测试大多无法捕捉与MCP的真实交互场景。
Salesforce AI研究院开发了名为MCP-Universe的开源基准测试，旨在追踪大语言模型与现实MCP服务器的交互过程。研究团队认为，这将更真实反映模型与企业实用工具间的实时互动。初期测试显示，OpenAI最新发布的GPT-5等模型虽表现强劲，但在真实场景中仍存在缺陷。
"现有基准测试主要关注大语言模型的孤立能力，如指令遵循、数学推理或函数调用，缺乏对模型在多样化场景中与现实MCP服务器交互的综合评估。"Salesforce在论文中阐述道。
MCP-Universe通过工具使用、多轮工具调用、长上下文窗口和大规模工具空间四个维度评估模型性能。其测试基于真实数据源和环境的现有MCP服务器构建。
Salesforce人工智能研究总监李俊楠向VentureBeat透露："许多模型在企业级任务中仍存在明显局限。"
"两大核心挑战是：长上下文处理——面对超长或复杂输入时，模型会出现信息丢失或推理不一致；以及未知工具使用——模型缺乏人类即时适应新工具的能力。"李俊楠指出，"因此企业AI不能依赖单一模型，而需要整合数据上下文、增强推理和信任防护的平台化解决方案。"
MCP-Universe与此前发布的MCPEvals最大区别在于：后者采用合成任务评估，而新基准完全基于真实交互场景。
运作机制
该基准模拟企业六大核心领域：位置导航、存储库管理、金融分析、3D设计、浏览器自动化和网络搜索。通过11个MCP服务器共生成231项测试任务。
研究团队设计了反映真实用例的新型MCP任务。例如在路线规划场景中，模型需确定最佳经停点并最终定位目的地。
评估采用三重机制：格式验证器检查输出规范性，静态验证器追踪正确率，动态验证器处理实时波动数据（如航班价格/GitHub问题）。
"MCP-Universe通过执行导向的评估范式，在复杂场景中对智能体进行压力测试，并提供了可扩展的框架/代码库。"李俊楠强调。
头部模型亦遇挑战
测试涵盖xAI的Grok-4、Anthropic的Claude系列、OpenAI全系产品、谷歌Gemini等主流模型，参数量均超1200亿。
结果显示：GPT-5综合表现最佳（金融分析尤为突出）；Grok-4称霸浏览器自动化；Claude-4.0 Sonnet位列第三。开源模型中GLM-4.5表现最优。
但所有模型在长上下文处理（位置导航/金融分析等场景）和未知工具使用时性能显著下滑，超过半数企业常规任务完成度不及格。
论文指出："当前顶尖大语言模型在多样化MCP任务中的可靠性仍不足。MCP-Universe为现有基准未覆盖领域提供了必要的挑战性测试环境。"
李俊楠期望企业能通过该基准精准定位智能体失效场景，进而优化MCP工具框架或实施方式。
