查看: 6|回复: 0

Agent 的安全策略若只写在 system prompt 里,执行时仍得靠模型记住并遵守。NOMOS 把政策编译成工具调用闸门

[复制链接]

9

主题

1

回帖

29

积分

新手上路

积分
29
发表于 昨天 21:35 | 显示全部楼层 |阅读模式
Agent 的安全策略若只写在 system prompt 里,执行时仍得靠模型记住并遵守。NOMOS 把政策编译成工具调用闸门

https://arxiv.org/abs/2610.11030

规则绑定具体工具和参数,先按工具 schema 做静态检查,再在运行时确定性拦截违规调用,不必每次再请一个 LLM 审核。实验中违规率显著下降,但编译没覆盖的条款仍可能漏过,规则过严也会误拒合法操作。对真实 Agent 来说,关键不只在能否拦截,更在如何审计覆盖缺口。



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部