|
|
一个 AI 幻觉引发的乌龙事件,细思极恐。
Vercel CEO 发推说,一个用户报告了一个可怕的安全问题。
一个未知的 GitHub 开源仓库被部署到他们的团队中,Vercel 的安全和基建团队立马开启了调查。
用户用的是 OpenClaw + Opus 4.6,结果是AI 在使用 Vercel API 部署时,凭空捏造了一个不存在的 GitHub 仓库 ID,导致部署了一个完全随机且未知的代码库。
AI 完全没有去查询真实的 ID,直接生编硬造了一串看起来很合理的数字。
当用户质问 AI 时,它也坦诚的承认了自己犯的错误。
一些洞察:
- 即使是最聪明的模型,也有着与我们人类截然不同的怪异故障模式,人类会犯很多错误,但绝不会凭空捏造一个随机的仓库 ID。
- 强大的 API 给智能体带来了额外的风险,API 的初衷是为了导入和部署合法的代码,但如果智能体靠产生幻觉来决定部署什么代码,那API就不适用了!
- 因此,如果智能体没有决定使用 API,而是坚持使用 CLI(命令行界面)或 MCP(模型上下文协议),可能反而会获得更好的结果。
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|