北京时间 10 月 27 日,llama.cpp 推出修正。此前 Laguna 系列混合专家模型在苹果设备上处理长输入时,字词分块达到 32 个就会因数值超出 65504 导致整段输出失效,此次更新在计算前引入了数值缩放。
据提交者在一小段 Laguna-XS-2.1 模型文件上的实测,相关数值成功从 103671.5 降到了 1018.9。
该问题仅影响苹果 GPU 用户,且提交者目前尚未给出完整模型的测试表现。
https://github.com/ggml-org/llama.cpp/releases/tag/b11912