四大开源模型挤进消费级硬件,Qwen3.8-27B领跑




十一月过半,一份在社区里传开的名单把话题钉死了:真正让人上头的开源模型,是能塞进自己桌边那台机器、当天就能跑起来的那几个,参数表最吓人的反倒没人提。一台 Mac mini、一张消费级显卡,配上几个压缩包,就把过去得排队等云端额度的活儿接了过来。这种事放在两年前还得专门攒一台机器,如今快成了家常便饭。四个名字,撑起十一月的开源话题被反复转存的榜单很短:DeepSeek v4.1 Flash 1017、GLM 5.3 Flash、Qwen 3.8 Flash-Next、Qwen 3.8 27B。四个名字,前两个靠文本与 Agent 能力站稳,后两个一个主打速度与多模态,一个靠 27B 的体量在本地扎下来。这条帖子拿到三万多次浏览,评论区没什么激烈争论,倒是不少人默默存进了收藏夹。发帖人顺手留了一句:冷存储才是好朋友。意思很直白,权重文件先落到自己硬盘里,比什么都踏实。榜单之外还有个数字能说明热度:Qwen3.8-27B 的下载量被报到 625 万次。一个 27B 的开源模型能被拉这么多次,本身就说明本地跑模型已经从少数人的折腾变成了一批人的日常。同一道题,四个模型画出了四幅夜橡树社区里最热闹的一组实测,是让四个模型对着同一段提示词生成高斯泼溅风格的夜橡树:一块浮在暗色水面上的圆形草地,中间一棵大树,树下点着篝火,旁边散着几块石头。四张图摆在一起看,差别一眼就出来了。Fable 5.2 给出的树冠最饱满,草地上的光晕铺得也匀;Qwen3.8-Flash-Next FP8 画得偏暗,树形收得更紧,细节却没丢;DeepSeek Flash 把篝火和浮岛的层次处理得热闹,边上多了一圈暖色碎光;Qwen 4 早期版最省事,构图干净,尺寸也最小。发帖人把第二名给了 Qwen 3.8 Flash Next,看中的是同样提示词下它给出的东西最均衡。真正扎眼的是四张图角上标的 token 数:33.7K、536K、147K,再加上 Fable 那一格没标全的数字。同一个题目,花销能差出一个数量级。四个模型跑的条件也不完全一样,DeepSeek 那一路套了 harness,Fable 走的是 Claude Code,所以这组对比更像一次随手记录,够直观,但别当成严格横评。一次性生成,省了工具也省了时间


DeepSeek v4.1 Flash 1017 还有一组单独流传的实测:把提示词里的废墟换成一栋房子,一次性出图,不调工具、不挂 harness、不引外部素材,总共花掉 124k token。发帖人的评价挺实在,画质比不上 Qwen4-max-preview 那版奇幻浮岛,可这个模型体量小得多,成片该有的元素一个没少,而且交活更快。他唯一意见大的是 token 花得偏多。


同一个人前一轮用完全相同的条件跑过废墟版,结论差不多:一次性、无外部素材,成品不算精,但该有的都有。这类测试的价值不在谁画得更漂亮,而在于把「不挂工具链能不能干成活」这件事摆到了台面上。对本地党来说,模型能不能少折腾几轮就出东西,往往比跑分高两分更要紧。不用换显卡,速度靠推理优化翻上去


最硬的一组数据来自一台 64GB 统一内存的 M5 Pro Mac mini。同一份权重、同一台机器,一天之内测了两个推理引擎版本,解码速度被翻了好几倍。关键在于这份成绩和换新权重、换硬件都没关系,靠的是 TensorFold 加 DFlash2 投机解码:小模型先猜后面几个 token,大模型只负责核对,对上了就整段收下。上午用 1.2.1,模型单独跑大约 17 token/s,打开 DFlash2 drafter 之后跳到 56;下午换到 1.2.2,短提示词那几组从 17.23 提到 56.19(3.26 倍)、16.85 提到 56.43(3.35 倍),带 31K 长提示词的一组从 16.88 冲到 91.90 token/s(5.4 倍),另一组 16.97 到 79.57(4.7 倍),峰值显存 28.5GB,两个版本的 token 输出逐字一致。另一份 1.2.2 的说明里还列了别的机器:GB10 上 2K 到 64K 提示词的 prefill 快了 38% 到 42%,M5 Max 上靠 SSD 承载嵌入让 Flash Next 的解码快了 36% 到 39%,Ryzen AI 的 HIP 解码也有提升。这里得把口径说清楚:上面是同一台机器上、同一份权重下两个引擎版本的对照,跟四个模型之间的快慢排名无关。聚合页摘要里另有一句「AMD 硬件上最高 111 token/s」,那属于另一套环境,别和 Mac mini 这组混着看。大浪淘沙之后,真正能留下的往往是这种不换硬件就兑现的收益。量化把体积压住,准确率反倒涨了本地跑得动的另一半功劳在量化。Unsloth 十一月放出的 Dynamic V3.1,同时照顾了 Qwen3.8-27B、DeepSeek-V4.1-Flash-1017 和 Qwen3.8-Flash-Next 三款。官方给的说法是,同尺寸下准确率比别家量化高 10% 到 15%,token 用量少一半;Qwen3.8-27B 这一版把之前的 UD3、Exllama-3、GSQ-RCO 都压在了身后。几组跑分摆出来:Qwen3.8-Flash-Next 的 1-bit 量化在 DeepSWE v1.1 拿 54.0%、Terminal Bench 2.1 拿 68.3%;DeepSeek-V4.1-Flash-1017 的 IQ1_S 在 DeepSWE v1.1 拿 65.8%、Terminal Bench 2.1 拿 69.5%、Automation Bench v1.0.6 拿 51.5%。体积这一头,UD-Q2_K_XL 约 9.83GB,同尺寸下 top-1 比次优高约 8%;去掉 MTP 模块的 UD-IQ1_S 只有 6.2GB,体积小了 89%,还留着大约 72% 的 top-1 准确率。官方还提过一个背景数字:上一代 Dynamic v3.0 发布后,五天内 Qwen3.8 相关下载超过 510 万次。量化这条线不追新权重,只把手上这份压得更小、更准,恰好和前面那组推理优化凑成了同一件事:让现有硬件多干点活。DeepSeek 把 App 那套能力搬进了 API十一月十三日那次更新,把 DeepSeek App 里的整套能力开放成了接口,底座仍是 deepseek-flash,也就是 V4.1-Flash-1017。联网搜索、带引用的深度思考搜索、文件解析、链接读取、内容安全检查,都能在 Messages、Responses、Chat Completions 三种请求里靠参数打开;另外还拆出 Search、Fetch、OCR、ASR、TTS 五个独立接口,方便自己掌控调用时机。价格是这轮讨论的焦点:搜索每千次成功请求 0.75 美元,海外同类工具的标价是 10 美元;OCR 每千页 0.225 美元;语音转写限时半价后每小时 0.058 美元,合成每一万字符 0.225 美元。模型本身按百万 token 计,输入 0.30 美元、输出 1.20 美元,闲时再减半,上下文上限 100 万 token、单次最多输出 384K。官方还附带开源了一个 MIT 许可的前端示例,把多轮对话、文件上传、语音问答都做进去了,密钥和聊天记录只留在浏览器本地。这条线更适合补上本地不擅长的那半边:要查新资料、读 PDF、转写录音,不必自己再搭一套检索和解析管线。热闹之外,几句该说的聚合页自己挂着一行提醒:摘要由 AI 汇总,可能出错,结论还得自己核。这句话放在这轮话题里格外合适。四模型榜单是个人整理,同题出图没统一工具链,token 数来自不同运行条件,91.90 与 111 出自两台不同机器,量化跑分属于官方自测。这些信息拼起来足够看清方向,可要拿它们当采购依据,还差一轮自己机器上的复现。兼听则明,挑模型之前先把显存、内存、常跑的任务列清楚,比追哪张榜单都管用。方向倒是已经很明确:十一月的开源模型,比拼重点从参数规模挪到了能不能在普通机器上踏实跑起来。权重压得更小、解码调得更快、接口给得更全,三件事同时发生,桌边那台机器的含金量自然跟着涨。至于名单里的四个名字谁排第一,换台机器、换套任务,答案多半又要重排。原文链接:https://x.com/i/trending/2121789338371650039
分类