“约束、记忆、上下文片段以及痛苦的教训

心海无浪

#人工智能#


“约束、记忆、上下文片段以及痛苦的教训

这是一份仍在完善中的思维记录，涉及我们如何使用和设计约束机制、其对长期积累的记忆所产生的影响，以及我们无法逃避的痛苦教训。这是第 30 版及以上的版本，HTML 图表帮助我逐步完善并调整思维模式，通过聊天大致“理解”并修改思维模型。”

“约束与上下文片段：约束机制的重要职责是高效且准确地在其边界内将数据路由到上下文窗口边界，以便进行计算。上下文窗口是一个宝贵的产物。约束机制会决定如何填充、管理、编辑和组织它，以便代理能够进行工作。每个加载的对象都可以被视为一个上下文片段，它代表了用户和约束机制设计者在任何给定时间对需要执行工作的模型所做出的明确决定。许多关于将对象外部化并加载到上下文窗口中的想法都是由 @a1zhang 创新并详细描述的，使用 RLMs。”

“体验性记忆：我们正处于部署代理的早期阶段，代理在每次交互中都会产生大量的数据。”这类似于人类做事并记住自己做过的事情。然而，智能体的记忆具有巨大的优势，因为它可以被所有智能体共同积累，而且这些智能体可以轻松地分叉和复制（不像人类那样）。@dwarkesh_sp 对这种人工智能系统记忆的巨大优势做了很好的阐述，即这种记忆可以被视为一个外部化的对象。这个“集束器”负责进行良好的情境化检索，这意味着从所有智能体的互动积累的记忆中提取正确的数据。

搜索与苦涩的教训：随着我们在数年时间尺度上在现实世界中部署智能体，这些智能体所产生的数据量将会呈指数级增长。我们应该希望：
1. 自己拥有这些数据。开放生态系统在这里非常重要。
2. 使用这些数据。这意味着我们将不得不搜索、提炼和组织大量的数据。我们的大脑在进行这种操作方面表现得极为出色。既能根据情境利用以往的经验，又能通过足够的有意练习将正确的信息存储到记忆中。我们现有的基础设施系统和算法将面临考验，并且常常会因我们逐渐适应这种新的数据模式而出现故障。

一些开放性问题如下：

我们如何高效地将经验（痕迹）提炼为能够捕捉关键部分的更高层次的记忆基元？

我们如何在超长的时间范围内进行这样的操作？

——搜索在未来究竟是一种即时进行的搜索，还是与模型权重相结合的搜索？

我们如何让模型在自我管理其上下文窗口方面表现得更好？我们如何通过递归地允许智能体在外部对象上进行操作来降低错误率？

我将对这些思维模型进行扩展、修改和调整，但在我看来，这些是关于实际设计智能体的未来的一个重要组成部分。

##