← 返回 Blog

Claude Sonnet 5.5:把模型评测变成任务路由规则

Sonnet 5.5 的发布数据适合用来发现候选任务,不适合直接替产品做模型选择;真正的路由应由同一套本地任务、成本和风险验证决定。

公开基准、产品自己的任务集与风险规则共同决定模型路由
文章目录

Claude Sonnet 5.5 在 Anthropic 公布的 Terminal-Bench 4.0 上达到 70.6%,上一代 Sonnet 5 是 10.3%;但在 GDPval-AA v2.1 上,Sonnet 5.5 与 Opus 5.5 几乎持平,在 OSWorld 2.1 上则略低于 Opus 5.5。发布页还称,新模型生成速度快 30% 以上、典型任务成本最多降低 30%。

这组结果不是一张可以直接照抄的采购榜单。它更适合作为一组路由假设:哪些日常任务值得先交给更快、更省的 Sonnet,哪些复杂或高风险任务仍要升级模型、加验证或交给人确认?模型发布的分数负责帮我们挑测试题,产品自己的验收结果才负责决定路由。

分数说明候选范围,不等于同一把尺子#

Anthropic 于 2026 年 9 月 28 日发布 Claude Sonnet 5.5。发布页报告了多个任务基准的结果:

任务 Sonnet 5.5 Sonnet 5 Opus 5.5 这组数字适合回答的问题
Terminal-Bench 4.0 70.6% 10.3% 66.4%¹ 多步骤命令行任务值得进入本地回归集吗?
CursorBench 4.0 55.5% 34.1% 57.8% 模糊、多文件的代码修改能否由中档模型承担?
GDPval-AA v2.1 1844 1449 1846 知识工作任务上,Sonnet 与 Opus 的差异是否值得额外成本?
OSWorld 2.1 80.1%(partial) 57.0%(partial) 81.8%(partial) 电脑操作任务可否作为独立的验收场景?

¹ Anthropic 标注 Opus 5.5 的 Terminal-Bench 4.0 分数使用 Xhigh effort,为其最高成绩。不同基准的分数含义和任务设置不同,不能把不同基准的分数直接相加,也不能据此推导通用能力排名。

这些结果确实提供了有用信号:Sonnet 5.5 相比 Sonnet 5 在上述任务上提升明显;在这几项公开成绩中,它与 Opus 5.5 的差距因任务而异。它们没有证明每个产品都能得到同样的完成率、时延或成本,也不能证明只换模型就能复现发布页的结果。

协议细节尤其影响解读。Anthropic 说明,Terminal-Bench 的 Claude 应用默认 effort 为 Medium;Claude Platform 默认是 High。FrontierCode 还展示了 Sonnet 5.5 在 Max 和 Xhigh 下不同的分数,并解释 Max 下更常触发代码审查技能,部分评测出现超时或超出任务范围的修改。换言之,分数反映的是模型、effort、工具与 Agent harness 的组合,而不只是模型权重。

另一个需要保留的脚注是:GDPval-AA 与 AA-Briefcase 的 Sonnet 5.5 结果来自预发布平台,结构化输出曾有一个可能影响结果的缺陷,Anthropic 认为影响较小、可能低估表现,并称问题已修复。不同模型也未必在完全相同的版本、工具和 effort 条件下评测。跨厂商比较应先核实公开的运行设置;缺少设置就把差异记作未知,而不是默认控制变量相同。

把发布数据翻译成自己的路由规则#

产品团队可以把公开基准当作“选题器”,而不是“裁判”:Terminal-Bench 提示我们整理命令行任务,CursorBench 提示我们抽取多文件修改,GDPval-AA 提示我们评估真实知识工作。接下来要在自己的环境中复测,并让每个任务通过明确的验收条件。

从公开评测形成候选任务,再用本地验收、成本和风险设置模型路由
公开基准用于发现候选任务;产品数据决定上线后的路由与升级条件。

最小可用的验证集不需要一开始覆盖所有能力,但要覆盖产品的主要任务类型,并固定提示、工具、上下文、effort、超时和重试策略。旧模型与新模型应跑同一批样本;代码任务看测试是否通过,知识工作看专家验收,电脑操作看目标状态是否真正达成。失败轨迹也要留下来,判断是模型错误、工具故障、权限不足还是任务本身不可完成。

核算时,不要只比较每百万 Token 的标价。Sonnet 5.5 的输入、输出价格与 Sonnet 5 相同,分别为每百万 Token 2 美元和 10 美元;Anthropic 称它通常以更少 Token 完成任务,因此典型工作负载的单任务成本最多低 30%,生成速度也快 30% 以上。这是厂商对其测试与典型任务的报告,不是所有线上流量的保证。产品自己的主指标可以是:

每个验收通过任务的总成本 = 模型、工具、重试、人工复核与回退的总费用 ÷ 验收通过的任务数

同时记录成功率、端到端时延、人工返工、工具调用数、拒绝/拦截率和回退率。便宜但经常返工的任务未必省钱;安全拦截导致未完成,也不应被统计成模型自然失败或自然成功。

安全回退是产品路径的一部分#

Anthropic 称,Sonnet 5.5 在约 1,850 个场景的自动行为审计中,大多数对齐、抗滥用和诚实性指标优于或持平 Sonnet 5;在隔离边界测试中接近 Opus 5.5。公司同时强调,没有任何一组评测能发现所有失败,也没有证据可以证明产品环境中的风险为零。

发布时,Sonnet 5.5 的网络安全能力被认为显著高于 Sonnet 5,因此高风险网络安全请求会回退到 Sonnet 5;常规软件开发不受影响。它沿用 Sonnet 5 的生物学防护,并新增防止大规模蒸馏、提取推理内容的分类器。这些机制决定了用户最终接触到的是一条“模型 + 安全规则 + 回退”的产品链路。

所以路由实验要分别记录模型本身的任务质量和整条产品链路的结果。对低风险、边界清楚、容易验收的任务,可以测试 Sonnet 5.5 是否成为默认选项;对开放式、长链路或影响权限与外部状态的任务,则按本地证据决定是否提高 effort、升级模型、要求二次确认或转人工。不能因为一项基准得分高,就自动放宽产品的安全边界。

上线前的四个问题#

  1. 测的是哪类任务? 把公开基准拆成与真实用户目标对应的任务类别,而不是只复述总分。
  2. 比较条件一致吗? 固定模型版本、effort、工具、提示和预算;不一致或未知的地方单独标注。
  3. 什么叫完成? 用测试、专家审核或目标状态定义通过,并把拒答、超时、回退、人工返工分开统计。
  4. 什么证据会改变路由? 预先设定质量下限和风险门槛,再用质量、时延、总成本共同决定默认模型与升级路径。

来源与边界#

  • 原文与发布时间: Anthropic 于 2026 年 9 月 28 日发布 Introducing Claude Sonnet 5.5,并链接 Claude Sonnet 5.5 System Card。本文中的发布信息和表格数字来自发布页;System Card 是进一步核对安全评测设置的一手材料。
  • 研究对象与方法: Claude Sonnet 5.5,与 Sonnet 5、Opus 5.5 等模型在命令行编码、真实代码会话、多职业知识工作和电脑操作等任务上比较。发布页展示了 Terminal-Bench 4.0、CursorBench 4.0、GDPval-AA v2.1、OSWorld 2.1 等结果,并按 effort 设置展示成本—分数关系。
  • 关键数字: Sonnet 5.5 在 Terminal-Bench 4.0 为 70.6%,Sonnet 5 为 10.3%;CursorBench 4.0 分别为 55.5% 与 34.1%;GDPval-AA v2.1 分别为 1844 与 1449;OSWorld 2.1(partial)分别为 80.1% 与 57.0%。Anthropic 还报告生成速度提升 30% 以上、典型任务成本最高降低 30%,并披露约 1,850 个场景的自动行为审计。发布页的脚注说明了 Opus 的 effort 差异、FrontierCode 的工具/越界问题,以及 GDPval-AA 和 AA-Briefcase 预发布结构化输出缺陷。
  • 原文能说明什么: Anthropic 的发布评测显示 Sonnet 5.5 在列出的任务上相较 Sonnet 5 有进步,且该版本伴随针对网络安全、生物学及蒸馏风险的防护策略。
  • 原文不能证明什么: 发布页的多项结果并非统一工具、预算与 effort 的独立第三方对照,也不代表任何特定产品中的成功率或成本;自动行为审计不能证明没有未发现的安全失败。“公开基准生成本地测试假设,再由线上任务结果决定路由”是本文的产品化建议,不是 Anthropic 声称验证过的通用规律。