调试了一会,目前谷歌A100运行Qwen Flash的速度(3000+ prefill, 90+ tps)已经比一般的商用API还要快了,偶尔短时重度并发使用可以放到Collab上去。

调试了一会,目前谷歌A100运行Qwen Flash的速度(3000+ prefill, 90+ tps)已经比一般的商用API还要快了,偶尔短时重度并发使用可以放到Collab上去。

为了节约大家的时间,我把在Collab上重建这个Qwen Flash的Recipe放到Github了,需要可以自取。

https://github.com/architectds/collabosm

分类