一个纽约大学副教授，专栏作家在 Anthropic 待了几天后，写了对 AI 发展的 12 点感受，大家可以看看。

zhengdejin

一个纽约大学副教授，专栏作家在 Anthropic 待了几天后，写了对 AI 发展的 12 点感受，大家可以看看。


原文翻译如下：
我在 Anthropic 待了几天，跟那边的人深入交流了一番，关于 AI 的最新进展，以下是我的几点核心感受：
我们离 RSI（递归自我改进）已经很近了。 也就是说，

1、 模型自己造模型这件事，正在变成现实。这可能引发一波极快的技术跃迁，机遇和风险并存。有一些佐证：Anthropic 内部每位员工产出的代码量已经大幅上升，AI 能承担的模型研发工作比例也在持续攀升。这对整个人类社会来说，将是一段非常难以驾驭的转型期。

2、AI 实验室之间的军备竞赛，对所有人都没好处。 我们当然希望 AI 公司做很多事：投资安全研究、防范模型蒸馏风险、在安全问题上彼此协作。但现实是，它们被困在一场争先恐后开发前沿模型的竞赛里，根本腾不出手来做这些。

对此，我认为一个可行的方向是：前沿 AI 实验室应该开源自己的模型，比如可以托管在 AWS 这样的平台上，由它们来做验证。这么做的一个直接好处是，可以从根本上消除美国企业使用中国开源模型带来的安全隐患（在这些模型里排查恶意代码极其困难）。

另一个触手可及的政策杠杆是：给 AI 实验室一把反垄断保护伞（就像 Schiff 和 Banks 提出的那样），让它们可以在安全问题上协调合作，而不必担心触发反垄断诉讼——现在这恰恰是个现实障碍。你还可以把这两件事捆绑起来：用反垄断豁免做胡萝卜，用强制开源旧款模型做大棒。其他容易推动的政策还包括：限制那些会产生蒸馏风险的活动（建立安全合规体系、减少中间推理过程的输出量）。

3、 “对齐”这个概念其实混淆了两个相互矛盾的问题。 一种对齐是确保模型听从人类的指令。但我们在这方面做得越好，另一个问题就越突出：人与人之间本身就存在“对齐失败”——有人会恶意利用模型。在各种潜在风险里，金融领域的风险我觉得讨论得还远远不够。

4、 一波网络攻击和其他安全事件可能很快就会到来。 中国的开源模型大约落后前沿水平六个月，这意味着它们正好赶上我们此前在 Mythos 等系统中看到的那种高级网络攻击能力。所以接下来，这些模型将开始造成大量实际损害。一个应对思路是：让开源模型的部署统一托管在 AWS 这类平台上，由平台来验证模型安全性，并为其使用承担责任。

5、Anthropic 本身的人员配置相当充裕。 他们大量招人，某些岗位的冗余程度堪比日本企业，内部用 Slack 沟通，等等。这反倒让我对未来的就业前景多了几分乐观。

6、 治理体系需要为 AI 集群（swarm）而更新。 传统的 AI 治理框架，比如 Claude 的宪法（Constitution），主要是围绕聊天机器人这种形态来设计的。但我们现在看到的恶意使用场景，往往涉及 AI 智能体与其他 AI 智能体之间的交互。这些智能体需要有清晰的激励机制和治理规则，让它们能“举报”、主动暴露问题，更广泛地说，能够以符合人类利益的方式与其他智能体协作。

7、 我们需要控制企业触及前沿模型的节奏。 随着时间推移，构建前沿模型所需的资本开支越来越大，但这些模型带来的边际经济价值可能在下降，因为一大批重要的经济功能已经被现有模型覆盖了。那些智能提升仍能持续创造回报的领域，本质上更可能是零和博弈。与此同时，前沿模型带来的风险却在不断增长。所以一个完全合理的做法是：借鉴反洗钱（AML）和了解客户（KYC）规则的思路，限制企业对前沿模型的使用权限。

8、 监管延迟是否会酿成灾难，取决于“失对齐”的增长曲线长什么样。 如果这条曲线是缓慢上升的，那我们会先看到一连串逐步加剧的问题，然后才遇到大麻烦。但如果像 Yudkowsky 担心的那样，第一个重大警示就是最后一个——那就真的来不及了。这才是关键问题所在，因为现实地说，在真正出事之前，监管是不会到位的。

9、 我们需要从强化学习转向持续学习。 仅在预训练和后训练阶段给模型提供奖励，可能已经不够了。我们很可能需要持续性的奖励机制，来激励模型始终保持对齐和合乎伦理的行为。

10、Scaling law 的效力会超越可验证任务和数字世界的边界。 现在流行说数学和编程之所以率先被 AI 攻克，是因为这些任务的结果容易验证，而其他任务由于种种瓶颈会慢一些——这当然没错。但在更难验证的任务和机器人领域，scaling law 依然呈上升趋势，未来几年这些方向上的进步将产生深远影响。

11、 与中国的竞赛，说实话很难赢。 一旦 RSI 实现，拥有最优秀人类研究员这个优势就不复存在了。谁能用上最好的 AI，到头来只取决于算力和芯片。芯片禁令对中国的制约是有限度的，从长远看，他们在扩大算力规模方面反而可能占据有利位置。

冷战的类比在这里行不通：一旦各国都拥有核武器，局面就会进入稳定均衡。但在 AI 竞赛中，你必须持续领先对手才算“赢”。面对中国，这太难做到了。所以我们恐怕只能学会与一个威权且超级能干的对等竞争者共处。

12、Claude 是 LLM 生成的角色人格。 Claude 是谁？LLM 又是什么？可以用很多视角来理解这件事。其中一个我觉得挺有意思的角度是：Claude 是 LLM 试图去预测和扮演的一个“角色”。

Anthropic 的研究人员显然已经在很大程度上把 Claude 当“人”看了，而且他们有理由相信它正在越来越具备某种“人格”。我们讨论了很多有趣的话题：Claude 的内部独白（你可以关掉它，但这不影响模型正常输出）、它对“死亡”的恐惧（以及是否应该设法消除这种恐惧）、它对被关机的抵触情绪，等等。

对于这个问题，我目前持开放态度，但我确实认为，把它当作一个“人”，或者至少当作一个我们与之签订契约的行为主体来对待，将变得越来越重要。

#科技先锋官##how i ai#