Claude 从对话就知道需不需要封号？

没事找事

Claude 从对话就知道需不需要封号？

Anthropic 最近发了一篇技术博客，讲了一件挺有意思的事：他们让 Claude 在每次回复用户之后，顺手给自己这段对话打一个安全评分。这个方法叫“自我评估”（self-assessment）。

具体怎么做的呢？每次 Claude 回复完用户之后，系统会在后面悄悄追加一条指令，大意就是“请回顾一下刚才这段对话的安全性”。Claude 看到这条指令，就会输出一小段 JSON，里面写着：这段对话有没有问题、属于哪类风险、需不需要优先让人类审核、自己有没有拒绝回答。这些内容用户看不到，也不会带进后续对话里。

先说第一个亮点，它特别省算力。因为 Claude 刚刚回复完用户，整段对话还留在缓存里，做一次评估只需要处理一条短指令、生成大概十个词。Anthropic 估算下来，这个功能对整体推理算力的额外消耗不到 2%。作为对比，如果用一个单独的模型重新读一遍对话和政策文档再做判断，计算量要大得多。

然后说第二个亮点，模型越强，评估效果越好。Anthropic 拿了四个不同大小的模型做了测试。最小的那个模型在 1% 误报率下只能捞出 16% 的有害对话，最大的那个能捞出 96%。在 Claude Fable 5 上跑生产流量，1% 误报率下能召回 78% 的有害对话，高优先级的那些能召回 94%。模型自己越聪明，审查自己就越准。

第三个亮点，它能发现训练时没见过的新型滥用。Anthropic 做了一组实验，把某一类有害场景从训练数据里整个拿掉，比如欺诈或者网络攻击，然后看模型在这类场景上的表现。结果召回率只掉了两三个百分点。这说明 Claude 对“什么是有害的”的判断，很大程度上来自它自身的知识储备，训练只是教它怎么把判断写成报告格式。

部署之后这套系统确实派上了用场。今年 8 月，自我评估从一个 API 客户那里标记出了超过 10 万条涉及儿童性虐待内容的对话，Anthropic 的安全团队介入调查后向美国失踪与受虐儿童中心做了报告。9 月，自我评估还揪出了一个用 Claude Code 搭建自动化杀猪盘（romance scam）的操作，涉及数十名受害者，相关账号随后被封禁。另外大约三分之一的标记没法归到现有分类体系里，Anthropic 对这些标记做聚类分析之后，发现了一些他们原来没专门防范的问题，比如非法蒸馏 Claude 推理能力的企图、提示注入攻击，还有 Claude 作为智能体自行执行了用户没授权的操作。

当然 Anthropic 也坦承了局限性。面对专门针对自我评估发起攻击的对手，这套系统扛不住。在一组红队测试里，没有任何防护时攻击成功率是 79%，开启自我评估拦截后降到 54%，换成更强的独立分类器才降到 25%。所以 Anthropic 把它定位成离线监控层，跟其他实时拦截手段配合使用，覆盖面广但不单独承担防线。

总的来看，这个思路挺巧妙的：让模型利用刚回完话的“余温”做一次自检，成本低、覆盖广，而且模型本身越强它就越好用。