模型使用 记忆原生 MoE 构架。 历史信息会被编码为持续存在、可更新的内部记忆状态,记忆写入、保持、更新、读取全纳入模型计算过程。

模型使用 记忆原生 MoE 构架。
历史信息会被编码为持续存在、可更新的内部记忆状态,记忆写入、保持、更新、读取全纳入模型计算过程。

在内部记忆基础上,通过真实任务中交互、指导和纠错反馈积累经验。

直接收益就是让模型具备自我反思、自我进化能力,让长程任务保持一致、不跑偏。

这对AI Coding 能力提升很有用啊。

如果模型能长期记住项目约束、历史决策、纠错经验,这些经验后面能复用,就减少了返工。

每次对话重复背景,不必从零开始,越用越懂你,越用越靠谱。

最近 MemOS 团队发布的 MemT 1.0,有36B Nano / 293B Flash 两个版本。

论文看到写入经验的 Nano,比不带经验的 Qwen 底座,“三次成功率” 从 54.0% 到 61.6%,提高 7.6 个百分点。

从官方内测数据看,Coding、Working 都取得超过 5% 的性能提升,牛逼!

论文提到,Nano 单条轨迹记忆状态是 40 Mb,历史变长,体积也不变。

这对做 Personal Agent 个人助理来说,相当有吸引力。

过去模型提升靠更多参数、更多数据、更长上下文堆能力。

现在 MemT 1.0 有可能开辟一个新路径,通过记忆原生构架,把历史经验变为能力。

这个技术感觉对实现 RSI 都很有价值,毕竟没有积累,就没有递归。

源码见 Hugging Face: https://huggingface.co/collections/MemTensor/memt-10

论文和代码:https://github.com/MemTensor/MemT-1.0
分类