查看: 29|回复: 0

开源大模型运行库 llama.cpp 联合高通工程师,让 2 比特 Q2_K 压缩模型首次支持 OpenCL(通用计算标准)显卡运行。

[复制链接]

12

主题

0

回帖

46

积分

新手上路

积分
46
发表于 前天 20:11 | 显示全部楼层 |阅读模式
开源大模型运行库 llama.cpp 联合高通工程师,让 2 比特 Q2_K 压缩模型首次支持 OpenCL(通用计算标准)显卡运行。

北京时间 2026-10-25 17:09 发布的 b11873 版本中,开发团队合并了高通工程师提交的计算组件。此前该平台缺少适配,此类模型文件在 OpenCL 上要么无法运行,要么只能退回 CPU 运算。项目维护者评论称,这让 K 系列压缩格式的覆盖几乎完整。

不过这批计算组件主要面向高通 Adreno 显卡编写,AMD 和 Intel 显卡走该路径能否同样受益尚无实测,官方发布说明也未给出任何速度提升数据。

https://github.com/ggml-org/llama.cpp/releases/tag/b11873



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部