让本地大语言模型(LLM)读取约 24.6 万 token 的文档时,从开始处理到输出第一个字符耗时 354 秒。

[复制链接]
发表于 昨天 22:10 | 显示全部楼层 |阅读模式
让本地大语言模型(LLM)读取约 24.6 万 token 的文档时,从开始处理到输出第一个字符耗时 354 秒。
硬件配置为:RTX 5060 Ti 16GB + RTX 5070 12GB(共 2 块显卡)、Ryzen 5 7600 处理器、64GB 内存;推理引擎采用 Basalt v0.4.1,模型为 Qwen3.8-Flash-Next IQ3_S,上下文上限设为 256K。KV 缓存中,32,768 token 的部分存放在显存(VRAM)中,其余部分则存放在内存(RAM)中。

・长文本(约 6 万至 24.6 万 token)的预填充(Prefill)速度:493–695 tok/s
・在约 24.6 万 token 的规模下,输出第一个字符耗时 354 秒
・针对文中 3 处不同位置的事实提问:共 4 组测试,每组 3 个问题全部回答正确

即便在显存总量仅为 28GB 的​​配置下,也成功验证了能够一次性输入约 25 万 token 并获得回答。
不过,长文本测试每项仅进行了一次。由于此类提问属于从文中提取特定事实的形式,因此并不能全面衡量模型对长文本的整体理解能力。
在对回答中涉及的场景描述部分,出现了 2 处轻微错误。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部