Taalas 把大模型以 ASIC 的方式实现了——也就是说把模型直接写到芯片里，这样什么内存带宽限制之类都不存在了。

ziken

Taalas 把大模型以 ASIC 的方式实现了——也就是说把模型直接写到芯片里，这样什么内存带宽限制之类都不存在了。目前用的是台积电 6nm 工艺，写入了 Llama 3.1 8B，能耗 2.5 千瓦，能实现惊人的每秒 1.7 万 token。可以在这里体验：chatjimmy.ai

他们从模型到芯片的生产周期是 60 天。而且只用了 24 名工程师和 3000 万美元。

这是一个里程碑事件。即使我们没有新的革命性计算架构，也不能突破硅芯片制程极限，用类似思路仍然可能把 AI 再往前推进一步。