AI 硬件与部署 今日: 0|主题: 326|排名: 1 

现在我坐在房间里，看着眼前的三张3090 FE（总计72GB GDDR6X显存）。我目前的机箱连塞进一张卡都费劲——之前为了把那张卡挤进去，我甚至动用了钳子，硬生生掰弯了机箱内部的金属支架。而且我的主板也只是一块普通的B760。 显然，这台电脑根本装不下三张“占用3个插槽”的显卡。为了运行大语言模型（LLM），怎样做才既经济 ...

💥 两张挖矿废卡，每张大约 25 刀，跑起了 Qwen3.8-27B。 CMP 100-100：Linux 下 6GB 解锁到 12GB HBM2，双卡约 32 tok/s。 温馨提示：作者测的，PCIe 还卡在 Gen1 x1。 来源： @Roberty35570209 👇

2021 年 9 月 1 日，距离新一轮 AI 浪潮启动还有 15 个月。NVIDIA 当时股价只有今天的十分之一，所以还在很努力地寻找 GPU 的各种应用场景，比如：数字币。 在这天，NVIDIA 发布了一张专门用于数字币挖矿的显卡 CMP 170HX。这张卡的核心基本就是 A100。但 NVIDIA 为确保其只能用于挖矿，对 FP32、TF32 等挖矿用不上的算力 ...

最近 5090 能改 96GB 的传言越来越多。我感觉已经有六七成的可能性了。 5090 和 Pro 6000 的核心都是 GB202。5090 的 PCB 单面贴了 16 颗每颗 2GB 的 GDDR7。Pro 6000 的 PCB 双面贴了一共 32 颗每颗 3GB 的 GDDR7。 做 PCB 对华强北来说不是问题。关键是突破对核心能使用多少显存的限制。这种限制可能存在于 VBIOS，也 ...

每次我告诉自己“到此为止吧”，就像有魔力一样，总会冒出新的“瓶颈”来找上我。当然，我只能选择“火力全开”，把这种“瘾”提升到新的高度——伙计​​们，这可比吸毒带劲多了！ 节点 1 — (Dell PowerEdge R730xd) CPU: 2× Intel Xeon E5-2697 v4 (每颗 18 核/36 线程 — 总计 36 核/72 线程) @ 2.30GHz 内存: 25 ...

知识库哪能每回提问都从零检索一遍。GitHub 上的 LLM Wiki 主打的就是让 AI 把散落各处的资料一点点整理成一套能持续生长的 Wiki。 它有几个亮点： ① 多层信号构建知识图谱，内容关联更有依据 ② 用 Louvain 社区检测，挖出知识之间的联系和潜在空白 ③ Chrome 扩展一键收集网页内容 ④ 支持 Obsidian，三栏式界面，管理 ...

这个机柜满员啦！ DGX Spark 6台齐装满员！ 4（deepseek 1017）+ 2（GLM 5.3 Flash）常驻 借助CRS 812交换机 随时可以切换2+2+2 或3（GLM 5.3） + 3 切换时长不超过5分钟 并发能力虽然不强，但眼下要烦恼的是喂不饱他的需求。 经过这一个月的探索和试错。 我觉得我完全可以帮人/小团队部署本地算力基座了。 不过这段时 ...

🚨 AI 自己写的推理引擎，把 Strata 和 Basalt 给办了？ GitHub 上刚冒出一个黑马推理引擎 Infernix，最骚的是作者在主页坦白：这项目的代码和文档，几乎全是 Claude Opus 5.5 和本地跑的 Qwen 联手搓出来的！ 在单张 RTX 5090（Windows 11 / 84G 内存预算）上实测 Qwen3.8-Flash-Next： 1️⃣ NVFP4 权重下全面暴走： ...

🚨 24G 显存直接跑通 262K 超长文！Qwen3.8-27B 迎来史诗级“纯线性注意力”魔改。 开源社区刚刚把千问 27B 的底层架构给彻底换血了——模型 Qwen3.8-27B-Longbook27-v2 直接把原版里剩下的 16 层全注意力全部干掉，做成了 100% 纯 Gated DeltaNet（GDN）！ 这次魔改的含金量极高，专门针对长文档痛点下手： 1️⃣ 彻底 ...

NVIDIA 已取消了推出配备 24GB GDDR7 显存的 GeForce RTX 5080 SUPER 显卡的计划。 该版本原定用于取代 16GB 的基础型号，通过采用 3GB 显存颗粒，将显存容量提升 50%。截至 11 月初，各显卡合作伙伴仍未收到原定于 10 月提供的必要设计套件及技术文档。 尽管近期有网络传言称，标准版 GeForce RTX 5080 从零售渠道“消失 ...

💥 16GB 显存，硬啃到 26 万上下文。 RTX 5080 + 128GB，Strata 跑 Qwen3.8-Flash-Next 125B（IQ3_S）。到 258K 还约 101.8 tok/s，没卡死。 温馨提示：作者自测。你会拿 16GB 卡试吗？ 来源： @M_Lililab 👇

本地AI大爆发：单卡 RTX 3090 运行 7000多亿参数的 DeepSeek v4.1-flash-1017 能有多快？ 持续生成速度约 28 t/s，预填充 约 300 t/s。显卡是6年前的，机器是十年前的。十年前的CPU，加10年前的内存 （512 GB DDR4 2133)，在内存价格高昂的今天发挥余热、大放异彩。同一台机器上用一块 AMD 7900XT （20GB) 显卡，运行 DeepS ...

💥 3090 + 80GB，Qwen3.8 Flash Next 写到 100 tok/s。 Strata 本地：读提示约 1473 tok/s，生成约 100。作者还在问有没有更快的。 温馨提示：作者自测，上下文长度未写清。你觉得还能再快吗？ 来源： @cheatyyyy 👇

🤯越狱 PS5 在跑 Qwen。 PS5LM 把 llama.cpp 搬上主机 GPU。Qwen3.5-9B 约 55 tok/s，Qwen3.8-27B 约 20 tok/s。手机电脑都能连。 温馨提示：要越狱主机。你会拿闲置 PS5 试吗？ 来源：GitHub cobanov/PS5LM👇 https://github.com/cobanov/PS5LM

以后70系列的显卡要上位了吗 但是我听说明年要有24G显存的5080了，哈哈，但是这个官网怎么回事，80.90系列的选项都取消了 ​​​

这是我经手过最酷的一套配置。 发现 Micro Center 的 RTX 6000 Ada (Max-Q) 到货了，我赶紧告诉了 Jordan，他让我立刻去买 4 张回来。 我们之前试过 4 张工作站版显卡，结果得配 2 个电源，如果不放在专业托管机房（colo）里，折腾起来实在太麻烦了。 一次点亮，完美运行！ 感谢兄弟带我参与这么硬核的项目！在投身大语 ...

2B能跟12B掰手腕，放两年前不敢想。 最实用的是4bit才1个G，老手机都能塞，256K上下文对端侧是真解渴。 已拉权重，周末拿家里那台8G旧本子跑个离线助手试试成色，行的话单位旧设备全员复活

准备买 Mac Studio 了，一台512GB 还是两台 256GB 呢？ 看了一下，国行同样选 M5 Ultra，36 核 CPU、80 核 GPU，每台配 1TB 硬盘，单机 172,999，两台合计 173,498，只贵 499， 单机的好处是省事，512GB 统一内存在一台机器里，内存带宽 1.2TB/s 但两台各有一颗 M5 Ultra，可以用一根雷雳 5 线连起来，靠 RDMA 减少传数 ...

接手一个别人的项目，最熬人的从来不是写代码，是先把那一堆东西看明白。 Ix这个工具，直接把代码仓库变成了一张能查的知识地图。底层用的是tree-sitter，支持26种语言，自动把符号、调用、导入这些关系理清楚。数据存在本地，不用每次重新分析。想看某个组件干嘛用的、数据怎么流的、改一处会影响哪里，直接查就行，不用 ...