以往你开90个Claude智能体一起干活,
它们全在等工具、等子任务、等你回复……
背后的GPU却在空转:该忙的闲着,该留的缓存被清掉。
以前有多惨?
🔹换一次工作模式要重启机器,平均等681秒
🔹缓存随便清,智能体回来还得重算
现在怎么变强了?
1️⃣换班超快:机器角色切换只要0.7秒,缓存几乎不丢(只丢0.3%)
2️⃣缓存更聪明:不再看“最近用没用过”,而是看“还有没有智能体还在用”,等再久也能复用
3️⃣自动调节算力:实时根据Agent在干什么,自动分配计算资源
4️⃣专为Agent设计:真正看懂智能体在等什么、在做什么
实测结果(36张顶级GPU)
🔹整体延迟降到原来的1/4
🔹首个字出来的速度提升14倍
🔹吞吐提升到原来的2.7倍
以前系统只会“接请求”,现在终于看懂智能体在干嘛了!
论文链接:https://arxiv.org/abs/2611.12304