一个 AI 幻觉引发的乌龙事件,细思极恐。

一个 AI 幻觉引发的乌龙事件,细思极恐。

Vercel CEO 发推说,一个用户报告了一个可怕的安全问题。

一个未知的 GitHub 开源仓库被部署到他们的团队中,Vercel 的安全和基建团队立马开启了调查。

用户用的是 OpenClaw + Opus 4.6,结果是AI 在使用 Vercel API 部署时,凭空捏造了一个不存在的 GitHub 仓库 ID,导致部署了一个完全随机且未知的代码库。

AI 完全没有去查询真实的 ID,直接生编硬造了一串看起来很合理的数字。

当用户质问 AI 时,它也坦诚的承认了自己犯的错误。

一些洞察:

- 即使是最聪明的模型,也有着与我们人类截然不同的怪异故障模式,人类会犯很多错误,但绝不会凭空捏造一个随机的仓库 ID。
- 强大的 API 给智能体带来了额外的风险,API 的初衷是为了导入和部署合法的代码,但如果智能体靠产生幻觉来决定部署什么代码,那API就不适用了!
- 因此,如果智能体没有决定使用 API,而是坚持使用 CLI(命令行界面)或 MCP(模型上下文协议),可能反而会获得更好的结果。





分类