WRITING / BLOG

关于 AI 产品、测试与真实使用的长期记录。

这里不追求日更。我会记下一个产品判断如何形成、被什么证据改变,以及下一次可以复用的方法。

PRACTICE / 工程经验06 NOTES

AI 标准先统一证据,再谈模型能不能上线

OpenAI 提议为前沿 AI 建立共同的能力测量、人工监督和事件报告标准;对产品团队来说,标准的第一价值是让不同系统的证据可以比较。

工程经验 · AI 产品 / AI 安全 / 模型评测 / 风险治理 · 7 MIN

模型失配也要像事故一样报告,而不是等到系统卡

OpenAI 为模型失配建立了从员工上报、技术调查到分级披露的流程,并公开六个早期案例;对 AI 产品团队来说,失配样本也应该成为可追踪、可复盘的产品事件。

工程经验 · AI 产品 / AI 安全 / Agent 评测 / 风险治理 · 7 MIN

AI 开始参与造下一代 AI,产品团队该量什么

Anthropic 用自动化程度、Agent 监督和算力分配三组指标描述 AI 如何参与 AI 研发;产品团队可以借此把‘更自主’拆成可审计的进度与风险。

工程经验 · AI 产品 / Agent 架构 / 产品评测 / AI 安全 · 7 MIN

高风险 AI 访问不能只靠拒答,要把用途写进授权

Anthropic 的 Life Sciences Verification Program 把生物领域的高风险访问拆成机构核验、用途授权、持续监控和责任回传,给 AI 产品设计了一条比‘全部放开或全部拒绝’更细的路径。

工程经验 · AI 产品 / AI 安全 / 权限设计 / 企业 AI · 6 MIN

AI 落地别只数活跃度,还要看新任务有没有留下来

OpenAI 对 150 多万条工作相关消息的研究显示,部分跨岗位 AI 任务会反复出现。企业评估 AI 落地,除了看谁登录、用了几次,更要追踪哪些任务进入日常,以及质量和责任如何变化。

工程经验 · AI 产品 / 企业 AI / 产品指标 / 工作流 · 7 MIN