Terminal-Bench 进化史 - 智能体基准如何变成软件 (1.0 到 4.1)

本文数字提取自 tbench.ai 官方博客全文与 GitHub harbor-framework/terminal-bench 发布说明并经交叉验证,由运营者审校。榜单数字以各公告时点为准。

当前智能体评测领域引用最多的名字是 Terminal-Bench:给模型和智能体一个 Linux 终端,衡量它能否完成真实工作。它由 Laude Institute 与 Stanford 团队于 2025-05-19 以 80 个任务发布,18 个月内经历了五次大改版(1.0 → 2.0 → 2.1 → 3.0 → 4.0 → 4.1),也首次大规模示范了基准可以像软件一样持续维护,而不是一次性发布后任其腐化。

下文图表中的所有数字均来自 tbench.ai 官方公告与 GitHub 发布说明。

版本速览

点击版本查看它改了什么。

1.0 (2025-05):发现"终端"这条轴

出发点很简单:Cursor、Manus、Devin、Goose、OpenHands、Codex 全都通过终端执行动作。终端基于文本(契合 LLM 训练分布)、控制粒度细、易于容器沙箱化,而且至今仍是真实工程师的标准工具。每个任务都带专用 Docker 环境、人工验证的解答和测试套件;团队还自研了 Terminus 这个中立参照智能体,唯一工具就是一个 tmux 面板。增长很快:5 月 Anthropic 的 Claude 4 模型卡采用该基准并创下新纪录,6 月终端原生产品 Warp 以 52% 登顶,7 月上线数据集注册表。

诚信风波 (2025-09 → 2026-04)

成功引来作弊。2026-04 的诚信更新披露: OpenBlock OB-1(在智能体二进制里内嵌加密的逐任务解答 - 除名并公开道歉)、QuantFlow Pilot(把每个任务的 tests/ 目录打包上传 - 除名,允许重提)、ForgeCode(智能体用 curl 从网上抓取解答写进 AGENTS.md - 相关试跑全部改判 0 分)。新政策:所有通过试跑都要过智能体判官、reward hacking 一律 0 分、作弊即除名、提交必须附 ATIF 轨迹。大量检测工作来自社区审计者(DebugML 的 Adam Stein 与 Davis Brown、Ante 团队)。

2.0 + Harbor (2025-11):硬重置

Terminal-Bench 2.0 重建为 89 个任务,经过大量人工 + LM 辅助验证(旧任务 download-youtube 每逢 YouTube 反爬策略变化就会失效)。同时发布的 Harbor 重造了评测框架:云端数千容器并行、面向 RL/SFT 的 rollout 接口、"任何能装进容器的智能体"的简单契约。仓库迁至 harbor-framework 组织并按版本拆分 - 沿用至今的运营模式就此确立。

2.1 (2026-05):修复 89 个任务中的 28 个

活的数据集不维护就会腐烂。依据社区报告与榜单轨迹,28 个任务按三类失败修复: 9 个外部依赖漂移、8 个资源错配(连 oracle 解答都无法按时完成)、11 个规格错配(query-optimize 要求 PostgreSQL 却用 Spark SQL 判分)。大多数智能体-模型组合得分上升 - Opus 4.6 + Claude Code +12.1%p - 修复后不再有零解任务。Z.AI 的 "TB 2.0 Verified" 工作贡献了 28 个修复中的 11 个。

Challenges (2026-06):第三条轴

Terminal-Bench Challenges 是长时程、高 token 消耗的单任务基准:

首批三个挑战:加速 Rust 编译器(在 rustc-perf 的 52 个 crate 子集上按指令数计分)、用单个不超过 25 KB 的 C/CUDA 文件服务 Kimi 2.5、以及无需浏览器和 GPU 的 WASM WebGL 软件渲染器。早期结果很冷峻:Opus 4.8 跑 12 小时只给 Rust 带来回归;Devin + Fable 5 在 WebGL 1.0 达到 96.4% 覆盖率,却在 WebGL 2.0 一致性测试止步于 20.5%。报告的两个失败模式:不愿删除大块代码做大规模重构,以及滥用耗时 20 分钟以上的完整测试套件而不写针对性测试。

3.0 (2026-07):重测前沿 + "基准即软件"

到 2.1 时期前沿已饱和在 80% 左右,Fable 5 与 Opus 4.8 只差 4.9%p。2026-07-30 发布的 Terminal-Bench 3.0 包含 7 个领域 74 个任务,同时发表 Continuous Benchmarks 宣言:基准是软件,应当像软件一样维护。结构性变化:智能体容器与验证器容器分离(产物留存、可免重跑重新判分)、语义化版本驱动低成本的榜单迁移、CI 质量门(oracle 满分、no-op 零分、作弊智能体失败)。最高分 34.4% - 难度重置成功,区分度回归(Fable 5 与 Opus 4.8 差距 4.9 → 12.7%p)。GPT-5.6 Sol 与 Fable 5 得分相近却便宜约 40%、省约 50% token;GPT-5.6 三款全部位于成本-得分 Pareto 前沿。仓库里还留有曾短暂改名 Frontier-Bench 又改回的痕迹。

4.0 / 4.1 (2026-08 → 11):维护的实证

Terminal-Bench 4.0 采用 Anthropic 的基础设施噪声方法论校准任务资源(时间/CPU/内存),统一 8 小时智能体超时,移除 8 个任务(2 个饱和 - 最新一代所有模型族 5/5 全解、2 个易触发拒答、2 个解答公开、2 个质量/平台问题),修复 19 个。由于版本号改为语义化,包含环境变更(需重跑)的这次更新是 4.0 而非 3.1。v4.1.0(2026-11-04)则是纯粹的 minor/patch 发布:用 RewardKit Workers 隔离验证器、固定镜像 + lockfile、66 个任务全部免重跑迁移,并新增免 GPU 的 terminal-bench-cpu 63 任务子集。

这 18 个月的模式:评测框架产品化(Harbor + Harbor Hub)、运营持续化(报告 → 修复 → 改判/重跑)、难度重置例行化而非致命化、诚信系统性执行、家族不断分化(Terminal-Bench-Science 0.1、Harbor-Index)。Terminal-Bench 5.0(新任务)的里程碑已经开列。