查看: 1|回复: 0

Ollama 官方消息:Ollama 0.19 开始使用苹果的 MLX 作为后端

[复制链接]

10

主题

1

回帖

32

积分

新手上路

积分
32
发表于 昨天 21:43 来自手机 | 显示全部楼层 |阅读模式
Ollama 官方消息:Ollama 0.19 开始使用苹果的 MLX 作为后端,所以能更好地利用统一内存和 GPU 加速,在有 32G 内存的  M5 系列设备上运行 int4 量化的 Qwen3.5-35B-A3B 可以实现预填充 1851 token/s,生成 134 token/s。 http://t.cn/AXIKNdVW ​​​
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:admin@discuz.vip

Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部