llama.cpp 修复了 Laguna 模型在苹果 GPU 上处理长文本时输出崩溃的问题。

小苹果的清甜

llama.cpp 修复了 Laguna 模型在苹果 GPU 上处理长文本时输出崩溃的问题。

北京时间 10 月 27 日，llama.cpp 推出修正。此前 Laguna 系列混合专家模型在苹果设备上处理长输入时，字词分块达到 32 个就会因数值超出 65504 导致整段输出失效，此次更新在计算前引入了数值缩放。

据提交者在一小段 Laguna-XS-2.1 模型文件上的实测，相关数值成功从 103671.5 降到了 1018.9。

该问题仅影响苹果 GPU 用户，且提交者目前尚未给出完整模型的测试表现。

https://github.com/ggml-org/llama.cpp/releases/tag/b11912