QWEN 3.8 FN - 8位浮点量化 - 96.32 token/秒 - 95k 上下文 - 1500 美元硬件

进行了一些额外优化，并实现了 MTP（投机采样/多令牌预测）。在处理代码任务时，速度可达 96 t/s（3 个草稿令牌）；处理自然语言文本时，速度为 69 t/s。

在单层计算中，将 Token 残差分发至 24 块 GPU、完成专家层（Expert）计算、汇总结果并合并，整个过程耗时 128.0 微秒。

目前硬件性能可能已达极限，除非我能想出进一步提升 PCI 通信速度的新方案。当然，如果降低精度，运行速度还能大幅提升。此外，负责处理注意力机制（Attention）的旧款 RTX 3070 显卡目前已成为主要瓶颈。看看“黑色星期五”促销期间能否入手一些 16GB 显存的卡（我手头虽有两块 16GB 显存的 5070 Ti，但它们正忙于其他研究项目；这块 3070 只是我闲置的一张旧游戏显卡）。

GitHub：
https://github.com/crgregersen/m10dis