WRITING / BLOG
关于 AI 产品、测试与真实使用的长期记录。
这里不追求日更。我会记下一个产品判断如何形成、被什么证据改变，以及下一次可以复用的方法。
PAGE 03 / 本页首篇2026 年 9 月 25 日
Agent 市场的第一道门槛，不是会谈判，而是懂用户
Anthropic 的 Project Swap 把 201 名员工带进一次低风险换书实验。结果显示，偏好表示的误差比谈判机制更能解释理想分配与实际结果之间的差距。
阅读全文MODEL-EVALUATION / 模型测评06 NOTES
心理健康 AI 的评测，不能只看它会不会拒答
MentalHealthBench 把心理健康对话拆成情境理解、用户自主权、实际帮助与风险校准；它也提醒产品团队，单一总分不足以当发布门槛。
当模型替代稀缺专家，安全评测必须测完整的滥用链路
Anthropic 对情报目标识别和常规武器开发的评测表明，安全产品不能只测拒答率，还要把能力、滥用路径、运行时阻断和现实边界一起验收。
Agent 评测不是一张分数表，而是一套产品判断系统
真正有用的 Agent eval 要把任务、环境、评分器和线上失败连起来；否则测到的只是一个不完整的演示。
自动化研究找到方案后，谁有权把它带进生产？
Anthropic 的自动化对齐研究说明，Agent 可以高频提出有效方案；产品的关键是把研究迭代与生产发布拆成可审计的两套关口。
测试不是上线前的一次检查
对 AI 产品来说，测试应该是从产品定义、评测到上线观测的连续决策机制。