查看: 5|回复: 0

显卡堆到肉疼的日子可以先放放了——有个叫 exo 的开源项目,能把你手头那些吃灰的设备攒成一个 AI 计算集群,GitHub 上 star 已经 4 万多。

[复制链接]

9

主题

0

回帖

27

积分

新手上路

积分
27
发表于 1 小时前 | 显示全部楼层 |阅读模式
显卡堆到肉疼的日子可以先放放了——有个叫 exo 的开源项目,能把你手头那些吃灰的设备攒成一个 AI 计算集群,GitHub 上 star 已经 4 万多。

它的思路挺野:把你所有设备的算力捏成一块虚拟 GPU。

1️⃣ iPhone、iPad、Mac、树莓派,只要挂在同一个局域网里就能用,不挑设备

2️⃣ 不用手动配,节点自动发现,p2p 直连,推理全在本地跑,数据不出门

3️⃣ 它盯着每台机器的实时性能和网络状况,自己决定模型怎么切,尽量把整体速度拉满

最狠的是有人拿 4 台 M3 Ultra Mac Studio,真把 DeepSeek v3.1 671B 这种巨无霸跑起来了,接上 RDMA over Thunderbolt 5 之后,多机之间的延迟直接砍掉 99%。

说白了就是,以前你得攒钱买卡才敢碰大模型,现在家里几台旧设备联起来也能玩,全程本地,不用把数据喂给云端。这波是真把门槛拉下来了。

想折腾的自己去扒代码

🔗 https://github.com/exo-explore/exo


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部