订阅

AI 硬件与部署 今日: 4 |主题: 428|排名: 1 

  • 💥 5090+5060 Ti,Basalt 把 Qwen3.8-Flash-Next 散文跑到约 300 tok/s。
    💥 5090+5060 Ti,Basalt 把 Qwen3.8-Flash-Next 散文跑到约 300 tok/s。 0.2.0 新 NVFP4-DQ8:相对 BF16 的 KLD 0.0561,结构化约 600。专家卸内存,不靠堆卡。 温馨提示:作者本机;有损开关默认关。 来源:Hugging Face👇 https://huggingface.co/jesdga/Qwen3.8-Flash-Next-Basalt ...
    0252 示指哥 发表于 2026-11-4 显卡与算力
  • 差不多 1300 左右。 买回来当 AI 助手用。
    深圳、广州这边经常会进口一些日本那边淘汰下来的企业用电脑,成色比较差的会拆主板出来。然后有商家会用 3D 打印设计好外壳,然后把主板塞进去当小主机卖 i5-1145G7,16GB DDR4,512GB 硬盘,带网口和网卡,USB 3.0、3.5 毫米耳机接口、HDMI、VGA。 差不多 1300 左右。 买回来当 AI 助手用。 ...
    0223 孤舟簑笠翁 发表于 2026-11-4 AI 硬件与部署
  • Adding an exhaust fan lowered this 3090 max temps from 90 to 75 degrees.
    0229 飞双江 发表于 2026-11-2 AI 硬件与部署
  • 我本来就已经有一张3090 FE了。
    现在我坐在房间里,看着眼前的三张3090 FE(总计72GB GDDR6X显存)。我目前的机箱连塞进一张卡都费劲——之前为了把那张卡挤进去,我甚至动用了钳子,硬生生掰弯了机箱内部的金属支架。而且我的主板也只是一块普通的B760。 显然,这台电脑根本装不下三张“占用3个插槽”的显卡。为了运行大语言模型(LLM),怎样做才既经济 ...
    0234 左不右 发表于 2026-11-2 显卡与算力
  • 💥 两张挖矿废卡,每张大约 25 刀,跑起了 Qwen3.8-27B。 CMP 100-100:Linux 下 6GB 解锁到 12GB HBM2,双卡约 32 tok/s。
    💥 两张挖矿废卡,每张大约 25 刀,跑起了 Qwen3.8-27B。 CMP 100-100:Linux 下 6GB 解锁到 12GB HBM2,双卡约 32 tok/s。 温馨提示:作者测的,PCIe 还卡在 Gen1 x1。 来源: @Roberty35570209 👇
    0237 无我生大爱 发表于 2026-11-2 显卡与算力
  • 2021 年 9 月 1 日,距离新一轮 AI 浪潮启动还有 15 个月。
    2021 年 9 月 1 日,距离新一轮 AI 浪潮启动还有 15 个月。NVIDIA 当时股价只有今天的十分之一,所以还在很努力地寻找 GPU 的各种应用场景,比如:数字币。 在这天,NVIDIA 发布了一张专门用于数字币挖矿的显卡 CMP 170HX。这张卡的核心基本就是 A100。但 NVIDIA 为确保其只能用于挖矿,对 FP32、TF32 等挖矿用不上的算力 ...
    0222 小昆子 发表于 2026-11-2 AI 硬件与部署
  • 最近 5090 能改 96GB 的传言越来越多。我感觉已经有六七成的可能性了。
    最近 5090 能改 96GB 的传言越来越多。我感觉已经有六七成的可能性了。 5090 和 Pro 6000 的核心都是 GB202。5090 的 PCB 单面贴了 16 颗每颗 2GB 的 GDDR7。Pro 6000 的 PCB 双面贴了一共 32 颗每颗 3GB 的 GDDR7。 做 PCB 对华强北来说不是问题。关键是突破对核心能使用多少显存的限制。这种限制可能存在于 VBIOS,也 ...
    0237 无我生大爱 发表于 2026-11-2 AI 硬件与部署
  • 深陷严重的成瘾困境,我是不是彻底完了?
    每次我告诉自己“到此为止吧”,就像有魔力一样,总会冒出新的“瓶颈”来找上我。当然,我只能选择“火力全开”,把这种“瘾”提升到新的高度——伙计​​们,这可比吸毒带劲多了! 节点 1 — (Dell PowerEdge R730xd) CPU: 2× Intel Xeon E5-2697 v4 (每颗 18 核/36 线程 — 总计 36 核/72 线程) @ 2.30GHz 内存: 25 ...
    0223 疯狂的社会一哥 发表于 2026-11-2 AI 硬件与部署
  • 知识库哪能每回提问都从零检索一遍。GitHub 上的 LLM Wiki 主打的就是让 AI 把散落各处的资料一点点整理成一套能持续生长的 Wiki。
    知识库哪能每回提问都从零检索一遍。GitHub 上的 LLM Wiki 主打的就是让 AI 把散落各处的资料一点点整理成一套能持续生长的 Wiki。 它有几个亮点: ① 多层信号构建知识图谱,内容关联更有依据 ② 用 Louvain 社区检测,挖出知识之间的联系和潜在空白 ③ Chrome 扩展一键收集网页内容 ④ 支持 Obsidian,三栏式界面,管理 ...
    0228 大吉仔 发表于 2026-11-2 AI 硬件与部署
  • 这个机柜满员啦! DGX Spark 6台齐装满员!
    这个机柜满员啦! DGX Spark 6台齐装满员! 4(deepseek 1017)+ 2(GLM 5.3 Flash)常驻 借助CRS 812交换机 随时可以切换2+2+2 或3(GLM 5.3) + 3 切换时长不超过5分钟 并发能力虽然不强,但眼下要烦恼的是喂不饱他的需求。 经过这一个月的探索和试错。 我觉得我完全可以帮人/小团队部署本地算力基座了。 不过这段时 ...
    0228 huchuanhao 发表于 2026-11-2 硬件评测
  • 🚨 AI 自己写的推理引擎,把 Strata 和 Basalt 给办了?
    🚨 AI 自己写的推理引擎,把 Strata 和 Basalt 给办了? GitHub 上刚冒出一个黑马推理引擎 Infernix,最骚的是作者在主页坦白:这项目的代码和文档,几乎全是 Claude Opus 5.5 和本地跑的 Qwen 联手搓出来的! 在单张 RTX 5090(Windows 11 / 84G 内存预算)上实测 Qwen3.8-Flash-Next: 1️⃣ NVFP4 权重下全面暴走: ...
    0289 joep 发表于 2026-11-2 显卡与算力
  • 🚨 24G 显存直接跑通 262K 超长文!Qwen3.8-27B 迎来史诗级“纯线性注意力”魔改。
    🚨 24G 显存直接跑通 262K 超长文!Qwen3.8-27B 迎来史诗级“纯线性注意力”魔改。 开源社区刚刚把千问 27B 的底层架构给彻底换血了——模型 Qwen3.8-27B-Longbook27-v2 直接把原版里剩下的 16 层全注意力全部干掉,做成了 100% 纯 Gated DeltaNet(GDN)! 这次魔改的含金量极高,专门针对长文档痛点下手: 1️⃣ 彻底 ...
    0245 乱喷滚蛋 发表于 2026-11-2 显卡与算力
  • NVIDIA 已取消了推出配备 24GB GDDR7 显存的 GeForce RTX 5080 SUPER 显卡的计划。
    NVIDIA 已取消了推出配备 24GB GDDR7 显存的 GeForce RTX 5080 SUPER 显卡的计划。 该版本原定用于取代 16GB 的基础型号,通过采用 3GB 显存颗粒,将显存容量提升 50%。截至 11 月初,各显卡合作伙伴仍未收到原定于 10 月提供的必要设计套件及技术文档。 尽管近期有网络传言称,标准版 GeForce RTX 5080 从零售渠道“消失 ...
    0262 果如 发表于 2026-11-2 AI 硬件与部署
  • 💥 16GB 显存,硬啃到 26 万上下文。 RTX 5080 + 128GB,Strata 跑 Qwen3.8-Flash-Next 125B(IQ3_S)。到 258K 还约 101.8 tok/s,没卡死。
    💥 16GB 显存,硬啃到 26 万上下文。 RTX 5080 + 128GB,Strata 跑 Qwen3.8-Flash-Next 125B(IQ3_S)。到 258K 还约 101.8 tok/s,没卡死。 温馨提示:作者自测。你会拿 16GB 卡试吗? 来源: @M_Lililab 👇
    0256 蓝蓝夜 发表于 2026-11-2 AI 硬件与部署
  • 本地AI大爆发:单卡 RTX 3090 运行 7000多亿参数的 DeepSeek v4.1-flash-1017 能有多快?
    本地AI大爆发:单卡 RTX 3090 运行 7000多亿参数的 DeepSeek v4.1-flash-1017 能有多快? 持续生成速度约 28 t/s,预填充 约 300 t/s。显卡是6年前的,机器是十年前的。十年前的CPU,加10年前的内存 (512 GB DDR4 2133),在内存价格高昂的今天发挥余热、大放异彩。同一台机器上用一块 AMD 7900XT (20GB) 显卡,运行 DeepS ...
    0243 a669091781 发表于 2026-11-2 AI 硬件与部署
  • 💥 3090 + 80GB,Qwen3.8 Flash Next 写到 100 tok/s。
    💥 3090 + 80GB,Qwen3.8 Flash Next 写到 100 tok/s。 Strata 本地:读提示约 1473 tok/s,生成约 100。作者还在问有没有更快的。 温馨提示:作者自测,上下文长度未写清。你觉得还能再快吗? 来源: @cheatyyyy 👇
    0238 心底的中国 发表于 2026-11-1 显卡与算力
  • 🤯越狱 PS5 在跑 Qwen。 PS5LM 把 llama.cpp 搬上主机 GPU。Qwen3.5-9B 约 55 tok/s,Qwen3.8-27B 约 20 tok/s。手机电脑都能连。
    🤯越狱 PS5 在跑 Qwen。 PS5LM 把 llama.cpp 搬上主机 GPU。Qwen3.5-9B 约 55 tok/s,Qwen3.8-27B 约 20 tok/s。手机电脑都能连。 温馨提示:要越狱主机。你会拿闲置 PS5 试吗? 来源:GitHub cobanov/PS5LM👇 https://github.com/cobanov/PS5LM
    0261 扯淡的城堡 发表于 2026-11-1 大模型部署
  • 以后70系列的显卡要上位了吗
    以后70系列的显卡要上位了吗 但是我听说明年要有24G显存的5080了,哈哈,但是这个官网怎么回事,80.90系列的选项都取消了 ​​​
    0246 郎头疼 发表于 2026-11-1 显卡与算力
  • 这是我经手过最酷的一套配置
    这是我经手过最酷的一套配置。 发现 Micro Center 的 RTX 6000 Ada (Max-Q) 到货了,我赶紧告诉了 Jordan,他让我立刻去买 4 张回来。 我们之前试过 4 张工作站版显卡,结果得配 2 个电源,如果不放在专业托管机房(colo)里,折腾起来实在太麻烦了。 一次点亮,完美运行! 感谢兄弟带我参与这么硬核的项目!在投身大语 ...
    0285 常乐我静 发表于 2026-10-31 AI 硬件与部署
  • 2B能跟12B掰手腕,放两年前不敢想。
    2B能跟12B掰手腕,放两年前不敢想。 最实用的是4bit才1个G,老手机都能塞,256K上下文对端侧是真解渴。 已拉权重,周末拿家里那台8G旧本子跑个离线助手试试成色,行的话单位旧设备全员复活
    0239 低调点现实点 发表于 2026-10-31 AI 硬件与部署
  • 下一页 »

    快速发帖

    还可输入 120 个字符
    您需要登录后才可以发帖 登录 | 立即注册

    本版积分规则

    关注公众号

    相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

    Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

    在本版发帖
    关注公众号
    返回顶部