加州大学伯克利分校开源了 FreeToken。

王宝柱

加州大学伯克利分校开源了 FreeToken。结果令人惊叹：一块 RTX PRO 6000 显卡就能以 14.9 tok/s 的速度运行 753B GLM-5.2！一台 8GB RTX 4060 笔记本电脑（售价约 1000 美元）就能以 39.3 tok/s 的速度运行 Qwen3.6-35B！在消费级 GPU 上，FreeToken 的速度是 Ollama 的 2-4 倍。本地 AI 推理正变得越来越现实。干得漂亮！
@Andy_ShuoYang
还有加州大学伯克利分校天空实验室！