“背包版” GLM-5.3-Flash
好了,这是今天的最后一个演示。
运行环境:2 台 M5 Mac Ultra(每台配备 256GB 内存)
- 单路并发:150 token/s
- 8 路并发:380 token/s
- KV 缓存容量:140 万 token
该系统由 2 块电动自行车电池供电,已持续不间断运行超过 90 分钟。
https://x.com/0xSero/status/2120294401801109884/video/1