基础设施性能五类指标：能效看每兆瓦智能体数，时延看服务水平，隔离看双容器架构，可靠性看长会话连续运行

核心指标每兆瓦智能体数：NVIDIA GB300 NVL72 为 61,354，B300 为 21,053，AMD MI355X 为 3,551，H200 为 2,594（第一档服务水平）。功耗按加速器实测（GPU 核心与显存），不含 CPU、网络与制冷部分。

边缘部署的显存门槛：量化后模型 16.5GB，全精度为 54GB；参考准确率 86.23%。

HAL 评测全程公开成本：21,730 次运行约 4 万美元；SWE-bench 单任务评测成本 0.34–2.51 美元，不同配置相差约 7 倍。

三档服务水平（SLO）：输出速度第 25 百分位 20/60/180 tok/s，首 token 时延第 95 百分位 不超过 10/5/3 秒；通过指数爬坡与二分查找确定不突破服务水平上限的最大并发数。

以 30,335 轮真实 Agent 轨迹重放；以并发—速度 Pareto 前沿代替单一吞吐指标；会话路由（X-Session-ID）与缓存加盐机制使 KV Cache 命中率成为可复现的评分变量。

OSWorld-Verified 通过 AWS 并行将全量评测压缩至 1 小时以内；SWE-bench 全量串行评测曾需 78 小时，后全面转向容器化并行；SWE-Universe 为每个构建任务分配独立云沙箱虚拟机，由 MegaFlow 系统编排 807,693 个环境。

MLPerf 单条轨迹上下文 262,144 token；EdgeBench 单任务最多 200 轮交互、超 10 万 token；BEAM 会话规模 1,000 万 token；HAL 公开 Agent 日志 25 亿 token。

100 万与 20 万 token 上下文对比：成绩全程稳定高出 4.4–5.8 分；保持经验连续（会话状态不丢失）在同等预算下高出 6.9 分——状态容量可以直接折算为任务成绩。

两项服务级评测均明确允许 KV Cache 复用、推测解码与分离式推理——缓存工程的优劣从后台实现细节转变为榜单成绩的组成部分。

AgentDojo：GPT-4o 在攻击下效用从 69% 降至 50%；MCPTox：首个面向真实 MCP 服务器的工具投毒评测；BenchJack：10 个主流基准中 9 个存在绕过任务直接得分的通道，修复后降至 10% 以下。

工作容器与评分容器物理隔离，配合按任务网络隔离与多组隐藏随机种子；论文记录的五类操纵行为中，一例通过 400 余次提交反推隐藏答案获得 1.000 分，而合规路线最高仅 0.165 分。

Terminal-Bench 对文件污染与权限提升的考察，推动沙箱采用不可变文件系统与最小权限网络；SWE-Universe 部署环内作弊检测器拦截虚假验证脚本，环境构建成功率从 82.6% 提升至 94%；SWE-bench 的历史教训显示，9 行配置文件即可操纵评分。

GPT-5.4 在评测后半程遭遇的 API 中断明显更多，部分任务有效运行次数不足 3 次（成绩表以星号标注）；论文明确指出，长时程评测不可避免地会把服务稳定性计入最终成绩。

退出拦截防止 Agent 提前结束任务；断点续跑在断连或崩溃后通过原生会话机制恢复（如 claude --continue）；自动评估每 300 秒对工作区快照评分——三项机制共同保障 12 小时以上会话的有效运行时间。

AA-AgentPerf 的容量指标以「服务水平不下降」为前提——可靠性直接写入指标定义；OSWorld 评测需在 VMware、AWS、Azure、Docker 多种后端上稳定运行。