💥厉害了!220B级腾讯 Hy4 Flash 居然能在64GB Mac 本地跑了!比官方最小GGUF再省22GB+内存!

[复制链接]
发表于 半小时前 | 显示全部楼层 |阅读模式
💥厉害了!220B级腾讯 Hy4 Flash 居然能在64GB Mac 本地跑了!比官方最小GGUF再省22GB+内存!

AtomicChat直接把这个多模态怪物压到仅需约49GB内存,专家~2.3bit,其余Q8,63.5B的Engram n-gram查找表丢在SSD上,每token只读几KB,真正实现“大模型本地化降维打击”!

性能亮点
🔹总参数220B(含Engram),激活仅11.3B文本 + 0.43B视觉

🔹原生支持文本+图像,1M超长上下文

🔹量化后仍保持实用能力:英语/中文问答、推理、代码、图像描述、工具调用均可用,实验性质,top-token一致率约76%

🔹专为64GB机器定制,比官方最小GGUF再省22GB+内存

丢给Agent:
1️⃣下载:https://huggingface.co/AtomicChat/Hy4-flash-GGUF

2️⃣编译支持版llama.cpp(PR #32517):
git fetch origin pull/32517/head:hy4-flash && git checkout 0a054d0b
然后正常cmake编译

3️⃣启动:
./llama-server -m 主文件.gguf --mmproj 视觉.gguf -ngl 99 -ot 'per_layer_token_embd\.weight=CPU' -c 32768 --jinja

Mac用户记得先调高GPU内存限制。

这波操作直接把消费级硬件的门槛打穿了!






本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部