找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 1|回复: 0

一个 AI 幻觉引发的乌龙事件,细思极恐。

[复制链接]

4

主题

2

回帖

16

积分

新手上路

积分
16
发表于 昨天 21:04 | 显示全部楼层 |阅读模式
一个 AI 幻觉引发的乌龙事件,细思极恐。

Vercel CEO 发推说,一个用户报告了一个可怕的安全问题。

一个未知的 GitHub 开源仓库被部署到他们的团队中,Vercel 的安全和基建团队立马开启了调查。

用户用的是 OpenClaw + Opus 4.6,结果是AI 在使用 Vercel API 部署时,凭空捏造了一个不存在的 GitHub 仓库 ID,导致部署了一个完全随机且未知的代码库。

AI 完全没有去查询真实的 ID,直接生编硬造了一串看起来很合理的数字。

当用户质问 AI 时,它也坦诚的承认了自己犯的错误。

一些洞察:

- 即使是最聪明的模型,也有着与我们人类截然不同的怪异故障模式,人类会犯很多错误,但绝不会凭空捏造一个随机的仓库 ID。
- 强大的 API 给智能体带来了额外的风险,API 的初衷是为了导入和部署合法的代码,但如果智能体靠产生幻觉来决定部署什么代码,那API就不适用了!
- 因此,如果智能体没有决定使用 API,而是坚持使用 CLI(命令行界面)或 MCP(模型上下文协议),可能反而会获得更好的结果。





本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|一起港湾 ( 青ICP备2025004122号-1 )

GMT+8, 2026-3-6 00:11 , Processed in 0.217996 second(s), 24 queries .

Powered by Discuz! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表