查看: 2|回复: 0

#Mac跑大模型提速#:本地 AI 工具 Ollama 接入苹果 MLX 框架

[复制链接]

14

主题

1

回帖

44

积分

新手上路

积分
44
发表于 昨天 09:44 来自手机 | 显示全部楼层 |阅读模式
【#Mac跑大模型提速#:本地 AI 工具 Ollama 接入苹果 MLX 框架】4 月 1 日消息,科技媒体 Ars Technica 昨日(3 月 31 日)发布博文,报道称本地 AI 工具 Ollama 发布 0.19 预览版,全面接入苹果 MLX 机器学习框架,提升苹果 Mac 运行本地大模型速度。本次更新深度优化统一内存的使用效率,改进缓存性能,并新增支持 NVFP4 模型压缩格式,并针对部分模型专项优化,大幅降低其在 Mac 运行时的内存占用。

对于最新搭载 M5 芯片的 Mac 设备,Ollama 还可以直接调用神经网络加速器,进一步提升每秒生成词元(token)数与首词响应速度。

该功能目前仅在 Ollama 预览版中提供,模型方面,首批仅支持阿里巴巴开源的 350 亿参数 Qwen3.5 模型;硬件门槛上,该功能需要至少 32GB 的统一内存。

对于用户而言,升级该预览版后,在使用 OpenClaw“龙虾”等私人助手、运行 Claude Code 和 Codex 等编程智能体工具时,本地 AI 模型能加快响应速度,进一步改善使用体验版。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:admin@discuz.vip

Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部