两台 DGX Spark 跑 GLM-5.3-Flash,真拿来跑 agent 写代码,速度比单测 decode 低一截。

[复制链接]
发表于 半小时前 | 显示全部楼层 |阅读模式
两台 DGX Spark 跑 GLM-5.3-Flash,真拿来跑 agent 写代码,速度比单测 decode 低一截。

我两台 Spark 上用 TensorFold 加 MTP,单路测出来是 62.2 tok/s,4 路合计 104.6。这是单独测 decode 的数字,放进 agent 会话里只能算上限。

另一组刚搭好的两台 Spark,用 Hermes 开 Max effort 写代码,GLM 5.3 大约 50 tok/s,DS V4.1 还要再慢一点。机主的感觉是只有云端的三分之一到四分之一。

会话里比单测慢,主要是这几处:
1. 每轮工具调用都会带回新的上下文,prefill 的等待算在里面
2. effort 开得越高,想得越久
3. 改文件、重读文件中间的停顿,单测里没有

楼里对两个模型的看法挺一致。GLM 出活快。DS V4.1 想得更久、话更多,但轮数少,整件活的端到端时间差不多,而且要交代的东西更少。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部