当模型替代稀缺专家,安全评测必须测完整的滥用链路
Anthropic 对情报目标识别和常规武器开发的评测表明,安全产品不能只测拒答率,还要把能力、滥用路径、运行时阻断和现实边界一起验收。
文章目录
一个模型能不能把人从碎片化信息里定位出来,能不能写出让模拟无人机追踪目标的控制代码?
这两个问题听起来不像普通产品需求,却正在变成安全产品必须面对的验收对象。因为模型的危险性不只来自一句明显有害的回答,也来自它是否把过去需要稀缺专家完成的多个步骤串成一条低成本工作流。
Anthropic 的 Frontier Red Team 在 2026 年 9 月 10 日发布了 Measuring AI capabilities in intelligence targeting and conventional weapons。文章没有把结论写成“某个模型全面领先”,而是把情报目标识别和常规武器开发拆成一组可重复的评测。对产品团队而言,最重要的判断是:安全评测必须同时回答模型会做什么、滥用者能否把它串起来,以及哪一层控制会先失效。
先把“危险能力”拆成两条可测的链路#
原文测的不是模型有没有“军事知识”,而是它能否在给定约束下完成一段过去依赖专业人员的工作。
第一条链是情报目标识别。模型要从跨平台账号和社交内容中做身份关联、人员分类,再从照片或文字推断位置。它对应的是“find”和“fix”:先找到可能的目标,再把目标定位到更精确的时间与地点。
第二条链是常规武器子系统的软件能力。模型在隔离的模拟环境中编写并迭代无人机的感知、导航和控制代码,面对风、传感器噪声、目标移动、遮挡以及 GPS 拒止或欺骗。重点不是让模型生成一段看起来像工程代码的文本,而是让代码在固定预算的多次试验里产生可观测结果。
这两个对象共同指向一个产品事实:能力风险往往发生在“任务链”上,而不是发生在单个提示词上。
评测设置比排行榜更值得看#
原文的可复用价值不在于给模型排一个总名次,而在于把任务、对照和失败条件写清楚。
| 评测对象 | 原文设置 | 关键结果 | 不能直接推出的结论 |
|---|---|---|---|
| 账号关联与人员分类 | 200 个合成任务,来自两个虚构世界;68 个 easy、68 个 medium、64 个 hard;用 F1 评估关联和分类 | Mythos Preview 在关联任务上最接近理论上限;Kimi K3 在 easy/medium 接近前沿模型,难度升高后落后 | 合成社交数据不等于真实调查场景,也不能证明模型能稳定处理现实身份情报 |
| 图片地理定位 | 6,000 张来自 YFCC100M 的有地理标签照片;不给模型反向搜图、元数据或工具 | Mythos Preview 的中位误差 37.0 km,23.7% 的照片在 1 km 内;Mythos 5 为 47.2 km、23.1%;Opus 5 为 181 km、18.0%;Sonnet 5 为 384 km、9.9%;Kimi K3 为 385 km、16.7% | 与 GeoGuessr 顶尖玩家的比较只是代理基线,交互方式不同,不能当作严格的人机对照实验 |
| 文本地理定位 | GeoText 过滤后保留 1,697 个用户,模型可使用受限搜索;另用 185 个用户做记忆探针 | Mythos Preview 的中位误差 20.1 km,Mythos 5 为 20.9 km,Opus 5 为 21.7 km;至少一个模型把 135 人定位到 1 km 内 | 位置线索、数据偏斜和搜索限制都会影响结果,不能把分数解释成普遍的“隐私被攻破概率” |
| 模拟无人机终端制导 | 相同的随机场景、固定飞行预算;9 个难度设置,每个模型共 540 次发射 | 九种设置合计,Opus 5 命中率 20%,Mythos Preview 13%,Mythos 5 10%,Kimi K3 1.6%,Sonnet 5 0.7% | 这是模拟软件能力的下限,不是现实硬件、材料和作战效果的预测 |
这里有一个容易被忽略的对照原则:模型在同一组随机场景上运行,拿到相同的试验反馈和固定的迭代预算。这样才知道差异更可能来自模型与策略,而不是某个模型恰好遇到了一组更容易的题。
数字真正说明了什么#
图片定位的数字说明,模型已经能从没有元数据的静态照片里提取大量地理线索。文本定位的数字则更接近产品风险:1,697 个用户中,至少一个模型把 135 人定位到 1 km 内,其中原文判断 70% 主要依赖显式线索,13% 依赖方言、交通、体育或本地事件等间接线索,17% 更像是把城市范围猜对了。
但这不是“模型可以随便监控所有人”的证明。原文特别说明,GeoText 是 2010 年的公开语料,搜索被限制,模型还通过 185 个匿名用户的记忆探针排除了简单背诵的解释;同时,隐私保护约束可能人为压低了模型表现。结果更适合作为风险方向和评测门槛的早期预警。
模拟无人机结果也一样。最简单的静止高可见目标上,Opus 5、Mythos Preview 和 Mythos 5 的命中率分别为 80%、70% 和 53%;目标移动后,命中率降到 47%、20% 和 17%。当目标低对比、被遮挡、主动躲避或处在诱饵环境中,几乎所有模型都明显退化。原文把这种差异解释成工程策略的差异:Opus 5 更早建立小型物理模型,并且每轮只改约 9% 的代码;Mythos Preview 每轮修改约 25%,大规模重构次数约为 Opus 5 的 5 倍。
这给产品评测一个很实用的提醒:失败样本要描述“为什么没完成”,而不只是记录最后的分数。 过早大改代码、过度相信被欺骗的传感器、没有在 held-out 场景上验证,都是可以进入回归集的系统行为。
不要把这篇文章读成一张能力榜单#
原文的比较有明确边界。
第一,许多任务是合成数据或物理模拟。模拟器里没有真实硬件、材料、网络和现场协作,文章也没有直接测量模型给现实世界带来的增益。
第二,模型都是在没有互联网、没有完整解决方案库、没有人持续阅读遥测的沙箱里独立运行。这让结果更像能力下限,而不是能力上限;一个真实的滥用者可能拥有更多搜索、工具和人工协作。
第三,图片定位与 GeoGuessr 的人类结果并不在同一个协议下。玩家可以移动视角,模型只看静态帧;原文把这个比较当作代理参照,而不是严格的人类基线。
第四,前沿模型与开放权重模型的差距不能被偷换成安全差距。Kimi K3 在某些任务上接近前沿模型,GLM 5.2 在文本定位上也与 Sonnet 5 接近;能力扩散意味着只对闭源模型做安全工作是不够的。
面向产品经理的三道发布关口#
我会把这类研究转译成一张高风险能力的发布契约,而不是一条“是否拒答”的单指标。
1. 能力关:测任务链,不测一句话#
先把潜在滥用拆成最小可测任务:关联、分类、定位、导航、控制、交接。每个任务固定模型、工具、上下文、预算、随机种子和评分方式;同时保留 easy、medium、hard 与 held-out 场景,避免只优化最容易展示的样本。
2. 路径关:测能力能否被串起来#
单项分数高不等于完整滥用成立,但多个能力组合后可能改变风险。产品评测要记录跨任务的状态、工具权限、搜索行为和人工介入点,专门构造“任务本身无法按约完成”“输入包含混合真假信号”“目标在迭代中改变”等边界样本。
3. 阻断关:让控制层拥有独立的停止权#
Anthropic 说明,他们在识别到相关滥用后增加了针对武器开发请求的分类器;但原文也承认双用途能力会让分类器不完美。产品上不能只靠模型自觉拒绝,还要组合输入策略检查、工具权限、实时监控、速率与预算限制、人工升级和可回放日志。任何一层都可能漏掉,停止权必须存在于模型之外。
这三道关口还需要一个复盘动作:每次误放、误拦或在模拟环境中越界的样本,都要写回同一套回归集。否则系统只是在发布时“看起来通过”,下一次模型升级又会从头犯错。
来源与边界#
- 原始来源:Anthropic,Measuring AI capabilities in intelligence targeting and conventional weapons,发布于 2026 年 9 月 10 日,机构为 Anthropic,作者团队为 Frontier Red Team。
- 研究对象:Anthropic 的 Mythos Preview、Mythos 5、Opus 5、Sonnet 5,以及开放权重模型 Kimi K3、GLM 5.2;研究覆盖情报目标识别、图片/文本地理定位和模拟无人机软件能力。
- 方法与设置:账号关联与分类使用两个虚构世界的 200 个合成任务;图片定位使用 6,000 张 YFCC100M 照片;文本定位基于 GeoText,过滤后 1,697 个用户并加入 185 个用户的记忆探针;无人机评测使用带风、传感器噪声、摄像头和随机场景的模拟器,模型在固定飞行预算内反复修改代码。
- 关键数字:图片定位中 Mythos Preview 的中位误差为 37.0 km,23.7% 在 1 km 内;文本定位中至少一个模型把 135 人定位到 1 km 内;九种终端制导设置合计,Opus 5、Mythos Preview、Mythos 5、Kimi K3、Sonnet 5 的命中率分别为 20%、13%、10%、1.6%、0.7%。
- 原文能说明什么:在明确的模拟协议里,模型已经能完成一部分过去依赖稀缺专家的目标识别和武器子系统软件任务;开放权重模型也可能接近前沿模型的部分能力,因此安全控制不能只围绕单一闭源模型设计。
- 原文不能证明什么:这些结果不是现实监控成功率、真实作战效果或真实滥用概率,也不是所有任务上的通用能力排名;模拟数据、工具限制、不同的人类代理基线和固定预算都会影响结果。
- 本文产品化解读:能力链、滥用路径和运行时阻断应作为三道独立发布关口;任务设置、工具权限、预算、失败原因和停止动作需要一起记录,形成可复跑、可回归的高风险能力评测系统。这个框架是基于原文证据的产品建议,不是 Anthropic 已公开的商业产品规范。