它的思路挺野:把你所有设备的算力捏成一块虚拟 GPU。
1️⃣ iPhone、iPad、Mac、树莓派,只要挂在同一个局域网里就能用,不挑设备
2️⃣ 不用手动配,节点自动发现,p2p 直连,推理全在本地跑,数据不出门
3️⃣ 它盯着每台机器的实时性能和网络状况,自己决定模型怎么切,尽量把整体速度拉满
最狠的是有人拿 4 台 M3 Ultra Mac Studio,真把 DeepSeek v3.1 671B 这种巨无霸跑起来了,接上 RDMA over Thunderbolt 5 之后,多机之间的延迟直接砍掉 99%。
说白了就是,以前你得攒钱买卡才敢碰大模型,现在家里几台旧设备联起来也能玩,全程本地,不用把数据喂给云端。这波是真把门槛拉下来了。
想折腾的自己去扒代码
🔗 https://github.com/exo-explore/exo