查看: 8|回复: 0

[LLM/大模型] 🤯炸了!64GB 内存直接炸开最强开源模型!DeepSeek-V4.1-Flash-1017 本地高性能彻底落地!

[复制链接]

21

主题

0

回帖

73

积分

注册会员

积分
73
发表于 昨天 23:46 | 显示全部楼层 |阅读模式
🤯炸了!64GB 内存直接炸开最强开源模型!DeepSeek-V4.1-Flash-1017 本地高性能彻底落地!

Unsloth 正式放出 DeepSeek-V4.1-Flash-1017 全新 GGUF,Dynamic V3.1 量化在多项基准上全面碾压!

核心亮点
🔹Dynamic V3.1 在 GPQA Diamond、AIME25、LiveCodeBench v6、MMLU-Pro、Aider 等几乎全部基准上排名第一

🔹相比前版性能更强、任务完成更快、输出更短,性价比全面提升

🔹仅需 64GB+ RAM 即可运行(Engram n-gram 支持 SSD offload,大幅降低内存占用)

🔹Unsloth + llama.cpp 推理速度最高提升约 3 倍

🔹552B 骨干 + Engram,支持 1M 上下文,目前最强开源模型之一

使用步骤:
1️⃣下载 GGUF:https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF

2️⃣使用 Unsloth Desktop App,或对应 llama.cpp PR(推荐)

3️⃣启用 Engram offload(mmap + lazy mode),把大表放 SSD

4️⃣推荐采样:temperature=1.0,top_p=1.0(可按需调整 reasoning_effort)

5️⃣完整本地运行指南:https://unsloth.ai/docs/models/deepseek-v4.1-flash

本地高性能推理终于平民化了,64GB 设备直接起飞!




#

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部