用mac跑本地大模型的试试这个项目:omlx

用mac跑本地大模型的试试这个项目:omlx

github.com/jundot/omlx/
据说特别适合小龙虾这种上下文很长的场景,可以大幅提速。不知道效果有没有那么神奇。
## ​​​
分类