他的“AI服务器”其实是四台Mac Mini,堆叠在烤面包机旁边。

他的“AI服务器”其实是四台Mac Mini,堆叠在烤面包机旁边。

它们通过开源软件连接成一台机器,运行着2350亿个模型,这是任何单台电脑都无法加载的。

受监管的客户每月支付他3500美元使用这台服务器。

他有六台这样的服务器。

这意味着他厨房里这堆银色盒子每月能带来2.1万美元的收入。

这套服务器运行的是开源软件Exo,它免费将四台Mac Mini连接成一个内存池。显示器显示四个节点同时运行,一个模型被扩展到整个集群。

关于本地AI,没人会告诉你的是:

一个模型要么能装进你机器的内存,要么就运行不了。这是每个人都会遇到的瓶颈。这就是为什么人们会认为真正的AI需要一台价值4万美元的服务器。

Exo突破了这道瓶颈,将一个庞大的模型分配到链条上的每一台机器上。四台迷你主机,每台 599 美元,就能运行一台高端机器都无法完成的任务。

而真正需要这种服务的人并非追求最新型号。

他们是被云计算忽略的用户:

→ 拥有特权案件档案的律师事务所

→ 受 HIPAA 监管的医疗机构

→ 持有客户财务信息的会计师事务所

他们需要的人工智能系统完全不需要第三方服务器。一个可以在审计时直接指向的堆栈就能消除所有异议。

他们的模型运行在他的集群上。数据从未离开他控制的硬件

明细:

→ 4 台 Mac Mini:总计 2,400 美元

→ Exo 软件:0 美元

→ 电费:约 25 美元/月

→ 每位客户收费:3,500 美元/月

→ 6 位活跃客户

这套“厨房设备”在头三周就收回了成本

第一个月:2 位客户,7,000 美元

第三个月:4 位客户,14,000 美元

第六个月:6 位客户,21,000 美元

他经营的不是一家有办公室和标志的初创公司

他只是在咖啡机和水果盘之间运行着四台银色的机器,每月从价值 2,400 美元的硬件中获得 21,000 美元的收入

客户想象的是机架和散热风扇

而现实是,四台 Mac Mini 在他做早餐的地方嗡嗡作响

云公司对计算和访问你的数据收取高昂的费用

他每月收取 3,500 美元,提供的是他们无法出售的东西——一台永远不会向云端发送数据的机器

分类