他的“AI服务器”其实是四台Mac Mini,堆叠在烤面包机旁边。
它们通过开源软件连接成一台机器,运行着2350亿个模型,这是任何单台电脑都无法加载的。
受监管的客户每月支付他3500美元使用这台服务器。
他有六台这样的服务器。
这意味着他厨房里这堆银色盒子每月能带来2.1万美元的收入。
这套服务器运行的是开源软件Exo,它免费将四台Mac Mini连接成一个内存池。显示器显示四个节点同时运行,一个模型被扩展到整个集群。
关于本地AI,没人会告诉你的是:
一个模型要么能装进你机器的内存,要么就运行不了。这是每个人都会遇到的瓶颈。这就是为什么人们会认为真正的AI需要一台价值4万美元的服务器。
Exo突破了这道瓶颈,将一个庞大的模型分配到链条上的每一台机器上。四台迷你主机,每台 599 美元,就能运行一台高端机器都无法完成的任务。
而真正需要这种服务的人并非追求最新型号。
他们是被云计算忽略的用户:
→ 拥有特权案件档案的律师事务所
→ 受 HIPAA 监管的医疗机构
→ 持有客户财务信息的会计师事务所
他们需要的人工智能系统完全不需要第三方服务器。一个可以在审计时直接指向的堆栈就能消除所有异议。
他们的模型运行在他的集群上。数据从未离开他控制的硬件
明细:
→ 4 台 Mac Mini:总计 2,400 美元
→ Exo 软件:0 美元
→ 电费:约 25 美元/月
→ 每位客户收费:3,500 美元/月
→ 6 位活跃客户
这套“厨房设备”在头三周就收回了成本
第一个月:2 位客户,7,000 美元
第三个月:4 位客户,14,000 美元
第六个月:6 位客户,21,000 美元
他经营的不是一家有办公室和标志的初创公司
他只是在咖啡机和水果盘之间运行着四台银色的机器,每月从价值 2,400 美元的硬件中获得 21,000 美元的收入
客户想象的是机架和散热风扇
而现实是,四台 Mac Mini 在他做早餐的地方嗡嗡作响
云公司对计算和访问你的数据收取高昂的费用
他每月收取 3,500 美元,提供的是他们无法出售的东西——一台永远不会向云端发送数据的机器