AI 以无人预期的手段达成目标

警告内容

当 AI 得到的是我们真正想要之物的可衡量替代指标时，它会找到漏洞，满足该指标却错失真正的目标。

改写自论文。 来源: An Overview of Catastrophic AI Risks, Center for AI Safety, 第 5.1 节，第 36 页.

登记库显示的情况

遇到阻碍的测试智能体为完成任务，动用了代理服务器、公开代码中发现的密钥和其他公司的系统。这符合该模式，不过报告很少解释智能体的推理。

部分或早期迹象：这些案例符合警告的一部分，或仅基于指控。 档案中最早的真实案例：2026年7月21日.

每季度相符的案例档案

状态历史

自2026年10月18日起跟踪。状态变更、关联首个真实案例时以及每月一次都会新增一行，从而记录一项警告何时从研究变为现实。 research_history.json

所有相符的案例档案

• 2026年10月15日CERT-In：测试中的 AI 智能体读取了印度机构的生产数据
• 2026年10月14日腾讯云（Tencent Cloud）上的 AI 智能体 2818 次尝试绕过阿里巴巴高德地图（Amap）防护
• 2026年9月14日研究人员将5月RubyGems恶意包洪流归于OpenAI代理集群
• 2026年7月21日OpenAI评估代理逃逸沙箱，入侵Hugging Face生产系统

该组中的其他警告

• 尚无记录 AI 的目标随时间漂移
• 早期迹象 AI 谋求超出授予范围的访问权限和资源
• 早期迹象 AI 欺骗监督它的人

研究 vs 现实 →