一张 RTX 3090 加 192GB 内存，跑完整的 DeepSeek V4.1 Flash 1017，生成 41 tok/s。552B 参数全在，专家权重压到 2 bit，在 Windows 上原生跑。配置是 i5-13600K、4 条 48GB DDR5-5600、NVMe 固态。换了配置以 ...

💥16G 的 5080 跑千问3.8，更高量化不一定更快社区按仓库文件大小和配置估算：UD-Q4_K_M 约 15.3GiB，16G 卡塞不下，得把约 2GB FFN 甩到内存，理论速度上限大概 28 tok/s。换成 UD-IQ4_XS 全进显存，KV 用 q8_ ...

💥Qwen3.8-27B 的 BF16，48GB 显卡都装不下同一模型，换格式差三倍多：Q4_K_M 约 17.2GB，24GB 卡能跑FP8 约 30.6GB，32GB 卡刚好BF16 约 52.8GB，要 80GB温馨提示：48GB 开 BF16 不是慢，是起不来。租卡前先 ...

在使用 qwen3.8-flash-next-iq3_s 模型（配置 128K 上下文窗口）执行一项消耗了 35,471 个 token 的任务时，平均处理速度为 140.1 token/s。

Strata + RTX5090 + DDR5-3600 128GB基于 QwenFlashNext 的 6 种量化版本进行的实测■ Prefill（预填充）｜Prose（通用文本）｜Code（代码）(tok/s) 的实测结果如何？・IQ1_M 5562｜161.0｜199.4・Q2 ...

💥12G 的 3060，没换卡，只升了 Strata 0.2.7跑千问3.8-Flash-Next（IQ3_XXS）时，官方把路由器改成优先用显卡上已经在的专家，少从内存翻页。实测：故事回答 46.2 → 53.1 tok/s（+15%）写代码 45.7 → 62.5 ...

用最低配置运行 RTX 5090，速度竟然达到了 150 tok/s！而且没做什么特殊设置，默认状态下就有这表现，真羡慕 CUDA 啊😭因为电脑本身很省电，感觉就像是只靠 GPU 的功耗在运行一样 哈哈哈 ...

👀同样叫 NVFP4，双卡 5090 上两个千问差出一倍 KV 池vLLM 菜谱实测，上下文开到 262K：Inferact：约 44.6 万 token，权重约 12.0 GiB/卡unsloth：约 92.1 万 token，权重约 10.6 GiB/卡原因是 unsloth 混了 F ...

体验了下 Ghostty 作者的最新终端 Rex，可以理解为 Herdr+Ghostty。我现在有主力机、云端 Linux 开发机、本地 Mac 开发机三个设备，设备之间通过 Tailsclare 连接，每个设备登录不同的 Claude 账户。产品还在内 ...

乐鑫（Espressif）推出了一款售价 59 美元的小巧方盒设备，专为充当你的“硬件编程智能体”而设计 🤯这款名为 ESP-Mosaico 的设备基于 ESP32-S3 芯片，配备 480×480 触摸屏、麦克风、扬声器和陀螺仪；此外，它还 ...

💥同一张 H100，跑千问3.8：Ollama 永远 33 tok/s，SGLang 能到 1725有人拿一张卡测了五种推理引擎：SGLang 50 并发 1725 tok/svLLM 1610Ollama 还是 33 / 33 / 33，首 token 要等 381 秒因为 Ollama 对这类 ...

- AMD EPYC 7502 CPU（32核64线程）- 512GB DDR4 内存（16条 32GB 内存条）- **8块 RTX 3090（已售）**- 每块显卡配有 PCIe 4.0 x8 转接卡（Riser）- 2TB Intel DC P4510 数据中心级 NVMe SSD- 25Gb/s ...