我的 Mac 只有16G, 能跑 8B 大模型吗?

唐雍山泉

我的 Mac 只有16G, 能跑 8B 大模型吗?


分享个小技巧, 如何确定自己的电脑能不能运行xxx大模型? 再也不用手动计算量化尺寸了.
不过需要注意的是, 虽然程序提供了运行性能参考(token/s), 但无疑是不准的, 理论运行速度应该用内存带宽/模型大小(GB), 基本就是单用户的理论性能上限了. batch_size 高一些的话多用户效果会更好一些.

#HOW I AI#
http://t.cn/AXcEekX4