有个叫Taalas的芯片新公司横空出世，它干了一件让英伟达震惊的事情：直接把大模型装在芯片面上。。。

退退退

这是要出大事了。。。


这个春节，有个叫Taalas的芯片新公司横空出世，它干了一件让英伟达震惊的事情：直接把大模型装在芯片面上。。。这样什么内存带宽限制之类都不存在了。。。
而且性能非常夸张：在这块专用芯片上跑Llama 3.1，速度能达到17000 token/秒。。。英伟达最强的H200大概230 token/秒。。。英伟达超级大芯片B200也就2000 token/秒。。。

这个差距不是一点半点，是直接降维打击。。想体验可以到这里：chatjimmy.ai我试了一下，感受到快、非常快、恐怖的快。。。不亚于第一次使用ChatGPT的震撼按照现在发展速度，很快实现22,000 tokens/s，意味着AI的反应速度已经超过了人类神经的传导速度。我总结它的优点：跑得贼快，比英伟达最牛的芯片快50倍便宜到离谱，成本只有英伟达的二十分之一省电省到能直接用风扇吹，不用上水冷连软件都省了，不用写那些复杂的代码

当然缺点也很大：

每次升级都得换硬件。。。。

打个比方，传统GPU像是任天堂Switch游戏机，卡槽一插，想玩《塞尔达》玩《塞尔达》，想玩《马里奥》玩《马里奥》，换游戏只需要换卡带。

Taalas相当于直接把《塞尔达》这部游戏烧死在主板上。想玩《马里奥》？没法下载，也没法插卡，只能把整台机器扔掉，买一台出厂就烧好《马里奥》的新机器。不管怎么样，Taalas做的事情具有划时代的意义。

现在AI的底层几乎被英伟达锁死，而Taalas证明了如果愿意放弃通用性，能把成本和功耗打到这个地步，亚马逊、谷歌、微软这些每天跑几亿次推理的巨头能不心动吗？英伟达的战略部门肯定在失眠，这种模型即芯片的思路，是冲着颠覆现有游戏规则来的。我往更深一层想了想，这是极大利好军事、机器人、自动驾驶，前途不可限量。军事，只能跑一个模型，听起来是缺点，但对军事装备来说反而是优点。

因为军事装备往往需要固化的、无法被篡改的功能。一旦芯片为某个作战模型定制，它就变成了一个硬件级的黑盒，无法被外部改写或注入病毒，安全性极高。自动驾驶，现在的自动驾驶从看见障碍物到刹车，还得经过“看-想-动”这一圈，再快也有延迟。Taalas这芯片快几十倍，基本是看见的瞬间就动了，甚至可以做到不联网条件反射式反应。

机器人，Taalas这颗芯片就是一张王牌炸弹快速，现在机器狗用在战场最大问题就是反应慢，这颗芯片的反应速度快到离谱，比GPU快几十倍，用在机器人身上，延迟概念消失，像膝跳反射一样，看见就是反应。

可控，芯片只跑一个模型，功能焊死，也不会被外部篡改。用在机器人身上，就意味着它的行为是100%可预测的。说它会干啥，它就只会干啥。这对工业机器人、自动驾驶、尤其是自主武器来说，简直是刚需。

便宜，功耗低一个数量级，成本只有别人的二十分之一。这意味着机器人终于不用背个服务器到处跑，也不用花几百万才能买得起。当芯片便宜到能当消耗品用，机器人就能真正批量生产、遍地开花。

最后：Taalas新芯片是一个里程碑事件。即使我们没有新的革命性计算架构，也不能突破硅芯片制程极限，用类似思路仍然可能把 AI 再往前推进一步。