AI 硬件与部署 今日: 0|主题: 326|排名: 1 

准备买 Mac Studio 了，一台512GB 还是两台 256GB 呢？ 看了一下，国行同样选 M5 Ultra，36 核 CPU、80 核 GPU，每台配 1TB 硬盘，单机 172,999，两台合计 173,498，只贵 499， 单机的好处是省事，512GB 统一内存在一台机器里，内存带宽 1.2TB/s 但两台各有一颗 M5 Ultra，可以用一根雷雳 5 线连起来，靠 RDMA 减少传数 ...

💥12G 的 3060，没换卡，只升了 Strata 0.2.7 跑千问3.8-Flash-Next（IQ3_XXS）时，官方把路由器改成优先用显卡上已经在的专家，少从内存翻页。 实测： 故事回答 46.2 → 53.1 tok/s（+15%） 写代码 45.7 → 62.5 tok/s（+37%） 温馨提示：答案措辞会有点不一样，因为挑的专家集合变了。80 项核对没发现抄写或代码错误。 ...

GPU 利用率都 98% 了，Qwen 训练竟然还能提速 6 倍？ Databricks 最近分享了一个挺值得研究的案例。 同样的 Qwen 微调任务，训练时间直接从 7 小时 44 分钟缩短到 1 小时 17 分钟。 关键不是堆更多 GPU，而是优化底层算子、减少 Padding 带来的算力浪费。 最有意思的是，优化之前 GPU 利用率就已经高达 98%。 原来 GPU ...

💥同一张 H100，跑千问3.8：Ollama 永远 33 tok/s，SGLang 能到 1725 有人拿一张卡测了五种推理引擎： SGLang 50 并发 1725 tok/s vLLM 1610 Ollama 还是 33 / 33 / 33，首 token 要等 381 秒 因为 Ollama 对这类混合注意力架构只开一个槽位。 自己玩用 Ollama 没问题，要上并发先换 vLLM 或 SGLang，并改默认参数。 温 ...

70B的大模型真能塞进4GB显存的卡里跑？AirLLM给出的答案是能。 它走的思路叫分层推理：不把整个模型一股脑塞进显存，而是一层一层往里加载，算完一层就丢掉，硬是把巨无霸塞进了小破卡。 更妙的是它100%开源，白蹭警告。 链接：https://github.com/0xSojalSec/airllm ...

🔥 用 RTX 显卡跑本地 AI 的朋友注意！🔥 最近开源项目 GPU-Unlock 解锁了 NVIDIA 对 GeForce RTX 卡的部分 AI 算力限制。 很多 RTX 20/30/40 系列卡（台式机+笔记本）在特定 Tensor 运算上出现了显著提升： RTX 2080 Ti：+36~64% RTX 3060：+78~99% RTX 3070：+72~81% RTX 3080：+68~73% RTX 3090 Ti：BF16 约 +80% RTX 40 ...

💥8GB 的​​ RX 5700 XT，塞进了 Qwen3.8 Flash Next Coder Strata 跑 IQ1_M，上下文 192K。截图解码约 15.6 tok/s，显存 7.7/8GB。 温馨提示：量化很激进，本机请复测。你最低配卡跑到过多少？ 来源： @Th00rBeardedOne 👇

💥12GB 的 RTX 3060，本地跑起了约 83.6GB 的 Qwen3.8 Flash Next Strata IQ3_S：解码最高约 68 tok/s，预填充约 916。系统内存只要 48GB。 温馨提示：大模型靠内存换显存，本机请复测。你最低配到过哪张卡？ 来源： @uctive 👇

各位一起港湾的算力玩家、硬件老炮、自媒体漫剧创客们： 最近全网科技圈和咱们论坛里，关于“英伟达 30 系/40 系显卡 Tensor Core 算力暴涨 60%-100%”的帖子直接刷屏了。不少兄弟在后台私信我，问是不是可以趁着双十一前赶紧抄底闭眼入。 作为站长，今晚熬夜结合最新的大厂评测以及咱们论坛老哥（@奔赛）在生产线上的第 ...

老黄锁了这么多年的 Tensor Core 算力，居然被人直接解锁了，部分显卡的计算吞吐量甚至原地翻倍！ 而且最离谱的是，不需要更换硬件，不用刷 BIOS，也不用魔改 NVIDIA 官方驱动。 直接从底层解除部分 Tensor Core 运算的性能限制。 目前社区已经公布了多个型号的测试结果： 🔹 RTX 4090：165.6 → 331.6 TFLOPS，直接翻 ...

老黄（NVIDIA）看了都要连夜报警的程度 😭 国外有个老哥把越狱的 PS5 爆改成了本地 AI 服务器 不仅做成了 PS5 原生 App 甚至能用手柄直接在电视上逛 Hugging Face 下模型 最离谱的是性能： 跑阿里最新的 Qwen 27B 大模型，速度居然有 20 tok/s 跑 Llama 3.2 3B 直接飙到 124 tok/s 要知道 PS5 可是有 16GB GDDR6 统一 ...

苹果统一内存卖得有多贵，大家心里都有数。 今天在 Reddit 刷到一个神级项目直接看傻了： 有人用一条 10 Gb/s 的 USB-C 线，把手里的 iPhone 变成了 24GB MacBook 的“副显卡”，用来跑本地 Qwen 27B 大模型，长文本速度暴涨 40%+！ ...

这将是终极版 Mac Pro：采用今天早些时候泄露的苹果私有云计算服务器架构，并将其缩小到桌面工作站的体积。 - 最多可配备 4 个计算单元，每个单元都位于独立的扩展卡上，搭载 M5 Pro 或 M5 Max 处理器 - 每个计算单元配备 32GB、64GB 或 128GB 统一内存 - 每个计算单元配备一块 SSD，主板上还可选配 2 块 SSD - 计算单 ...

【GPU霸权将被超大内存架构取代，AI芯片迎来内存革命！】 AI芯片的技术演进正站在重大拐点之上 。 被誉为“HBM之父”的韩国科学技术院电气与电子工程学院教授金正浩近日公开表示，未来AI算力体系将发生结构性重构——主导权正从处理器转向内存 。 目前以英伟达GPU和通用CPU为核心的计算范式，将在中长期被一种全新的内 ...

【#英特尔CPU进入英伟达新一代旗舰主机#】 圣何塞举办的NVIDIA GTC 2026大会上，Intel正式宣布一项重磅合作，其Xeon 6（至强6）处理器将成为NVIDIA下一代旗舰AI服务器系统DGX Rubin NVL8的主机CPU。据悉，DGX Rubin NVL8是NVIDIA新一代旗舰AI服务器系统，主打智能体AI和推理系统等新兴应用场景。在这套系统中，主机CPU的作 ...

【#字节跳动PICOOS6预告发布#，今年还将推出全新 XR 旗舰产品“Project Swan”】字节跳动 PICO-XR 官方今日正式预告了下一代空间操作系统 —— PICO OS 6，并宣布将在 2026 年推出全新 XR 旗舰产品 —— Project Swan（内部代号）。 ## ​​​ ...

看到 pytorch 2.5 正式支持 intel 了，但是搜了下没看到太多讨论，有用过的分享一下使用体验吗？ 主要是眼馋显存，想买个来玩玩 AI 绘图，训练 lora 啥的

现在我坐在房间里，看着眼前的三张3090 FE（总计72GB GDDR6X显存）。我目前的机箱连塞进一张卡都费劲——之前为了把那张卡挤进去，我甚至动用了钳子，硬生生掰弯了机箱内部的金属支架。而且我的主板也只是一块普通的B760。 显然，这台电脑根本装不下三张“占用3个插槽”的显卡。为了运行大语言模型（LLM），怎样做才既经济 ...