让本地大语言模型(LLM)读取约 24.6 万 token 的文档时,从开始处理到输出第一个字符耗时 354 秒。

让本地大语言模型(LLM)读取约 24.6 万 token 的文档时,从开始处理到输出第一个字符耗时 354 秒。
硬件配置为:RTX 5060 Ti 16GB + RTX 5070 12GB(共 2 块显卡)、Ryzen 5 7600 处理器、64GB 内存;推理引擎采用 Basalt v0.4.1,模型为 Qwen3.8-Flash-Next IQ3_S,上下文上限设为 256K。KV 缓存中,32,768 token 的部分存放在显存(VRAM)中,其余部分则存放在内存(RAM)中。

・长文本(约 6 万至 24.6 万 token)的预填充(Prefill)速度:493–695 tok/s
・在约 24.6 万 token 的规模下,输出第一个字符耗时 354 秒
・针对文中 3 处不同位置的事实提问:共 4 组测试,每组 3 个问题全部回答正确

即便在显存总量仅为 28GB 的​​配置下,也成功验证了能够一次性输入约 25 万 token 并获得回答。
不过,长文本测试每项仅进行了一次。由于此类提问属于从文中提取特定事实的形式,因此并不能全面衡量模型对长文本的整体理解能力。
在对回答中涉及的场景描述部分,出现了 2 处轻微错误。


分类