订阅

AI 硬件与部署 今日: 4 |主题: 428|排名: 1 

  • “背包版” GLM-5.3-Flash 好了,这是今天的最后一个演示。
    “背包版” GLM-5.3-Flash 好了,这是今天的最后一个演示。 运行环境:2 台 M5 Mac Ultra(每台配备 256GB 内存) - 单路并发:150 token/s - 8 路并发:380 token/s - KV 缓存容量:140 万 token 该系统由 2 块电动自行车电池供电,已持续不间断运行超过 90 分钟。 https://x.com/0xSero/status/2120294401801109884/v ...
    0176 chjian 发表于 2026-11-11 AI 硬件与部署
  • 这就是实现 700t/秒 DeepSeek v4.1 Flash 所需的一切。
    0181 星汉之辉 发表于 2026-11-11 AI 硬件与部署
  • 本地运行大模型(Local LLM)的玩家,在2026年立誓“再也不买硬件”后的结局
    本地运行大模型(Local LLM)的玩家,在2026年立誓“再也不买硬件”后的结局: ① 刻意不去瞄一眼二手店(Hard Off)里的“蓝箱子” ② 抱着“今天只看看,绝不买”的心态走进店里 ③ 结果发现了一块便宜的主板 ④ 开始盘算:“CPU和内存我手头都有……” ⑤ 告诉自己“现在价格太高,先记下来就好”,于是把信息存进了手机 ...
    0190 虎子哥 发表于 2026-11-10 AI 硬件与部署
  • 本地运行大模型(LLM)的常见情况
    本地运行大模型(LLM)的常见情况 ・心想:“等下一代模型出来就买显卡” ・回过神来,半年已经过去了 ・显卡价格反而还涨了 ・开始琢磨:“再等等说不定会降价” ・又过了半年 ・“……难道我这辈子就只能用 7B 模型了吗?” 结果就是,在寻找入手时机的过程中,又有新的模型冒出来了。 ...
    0194 爱深求 发表于 2026-11-10 AI 硬件与部署
  • 本地运行大模型 (Local LLM) —— 我的 Strata (QFN) 环境
    本地运行大模型 (Local LLM) —— 我的 Strata (QFN) 环境 迷你主机(DDR4 64GB)+ RTX 5060 Ti 16GB,功耗限制在 150W。结果就是,即便在写代码时,机器也“静悄悄的,完全不发热,搞得我好冷”🥶 ※因为担心它没在跑,特意把 LED 灯打开了 倒也不是不好啦!就是感觉有点……没啥动静,让人心里没底😅 # ...
    0222 流年里的你我他 发表于 2026-11-10 AI 硬件与部署
  • B300那价格我扫了一眼就关了,真不是给个人玩家准备的
    0195 飞翔的龙族 发表于 2026-11-10 显卡与算力
  • 一台 Mac Studio 加一张 RTX 5090,用雷电扩展坞连起来当一个推理引擎,跑 Qwen3.8 Flash-Next 单路约 210 tok/s。
    一台 Mac Studio 加一张 RTX 5090,用雷电扩展坞连起来当一个推理引擎,跑 Qwen3.8 Flash-Next 单路约 210 tok/s。 项目叫 Apple NVIDIA Sidecar,11/8 刚开源。机器是 M5 Max 64GB,5090 装在扩展坞里,权重用的是 NVIDIA 官方的 FP4 版本。 同一个模型,别人公开过的数字大概是这样,测法各不相同,只能看个量级。 1. ...
    0205 成鸿 发表于 2026-11-10 AI 硬件与部署
  • 我买了个10英寸服务器机柜。
    0235 王吉杨 发表于 2026-11-9 AI 硬件与部署
  • 一位硬件爱好者尝试使用 Bykski 冷头和霍尼韦尔(Honeywell)PTM7950 相变材料,为一张技嘉(Gigabyte)Radeon RX 9070 XT 显卡进行分体式水冷改造,结果却遭遇了严重的散热问题。
    一位硬件爱好者尝试使用 Bykski 冷头和霍尼韦尔(Honeywell)PTM7950 相变材料,为一张技嘉(Gigabyte)Radeon RX 9070 XT 显卡进行分体式水冷改造,结果却遭遇了严重的散热问题。该分体式水冷系统配备了两个 360mm 冷排,起初运行看起来非常稳定。 在刚组装完成时,使用 FurMark 进行测试,显卡“热点”(hotspot)温度保 ...
    0236 风之泪 发表于 2026-11-9 AI 硬件与部署
  • 每秒0.85个Token:海外网友用停产傲腾内存运行2.8万亿参数模型
    近日,一位Reddit家庭实验室爱好者利用已停产的英特尔第二代傲腾持久内存(Optane PMem 200系列),在一颗40核第三代至强可扩展处理器上,成功运行了月之暗面的2.8万亿参数Kimi K3模型,整个推理过程完全依靠CPU完成,未使用GPU。搭建者表示,傲腾内存在持续进行大模型推理时会产生大量热量,必须将主动DIMM散热视为必要措 ...
    0241 芯彤 发表于 2026-11-9 AI 硬件与部署
  • 我为我的 DGX Station GB300 外接了一块 RTX PRO 6000 显卡。在 DeepSeek 和 GLM 的基准测试中,推理速度提升了约 3–4 倍。
    我为我的 DGX Station GB300 外接了一块 RTX PRO 6000 显卡。在 DeepSeek 和 GLM 的基准测试中,推理速度提升了约 3–4 倍。 我非常看好本地推理。 配置方案与基准测试: https://github.com/tomascupr/dgx-station-recipes
    0238 大谢小贺 发表于 2026-11-9 AI 硬件与部署
  • 我曾考虑再增加一块 RTX 5060 Ti 16GB,组建一套 3 GPU 系统,以用于运行本地大语言模型(LLM)。
    我曾考虑再增加一块 RTX 5060 Ti 16GB,组建一套 3 GPU 系统,以用于运行本地大语言模型(LLM)。 目前我的配置是 RTX 5070 12GB + RTX 5060 Ti 16GB(双 GPU),总显存(VRAM)为 28GB,内存(RAM)为 64GB。 由于显存不足,无法在 128K 及以上的上下文长度下运行 Qwen3.8-Flash-Next IQ3_S 模型,因此我原计划通过 M.2 接 ...
    0209 爱馨 发表于 2026-11-9 显卡与算力
  • 区区 4GB 显存,竟要硬跑 70B 的大模型,这还真叫 AirLLM 给办妥了。
    区区 4GB 显存,竟要硬跑 70B 的大模型,这还真叫 AirLLM 给办妥了。 它使的招数叫分层推理:不把整个模型一口气灌进显存,而是逐层往里加载,算完一层便卸掉,生生把个庞然大物塞进了张小破卡里。 这项目百分百开源, 🔗 https://github.com/0xSojalSec/airllm ...
    0213 第十一人 发表于 2026-11-9 显卡与算力
  • 有些眼馋
    0246 basd 发表于 2026-11-8 AI 硬件与部署
  • 一张 12GB 的 RTX 3060 居然能把 125B 大模型跑到 36 tok/s,这个只有 94 星的冷门项目有点东西。
    一张 12GB 的 RTX 3060 居然能把 125B 大模型跑到 36 tok/s,这个只有 94 星的冷门项目有点东西。 有人用 Rust 从零重写了本地推理引擎 RustingStrata,彻底抛弃 ggml,CUDA 内核全靠运行时现编译,顺带还支持 Vulkan。 在 Ryzen 7600X + 32GB 内存 + RTX 3060 12GB 这套平民配置下,作者实测数据相当猛: Qwen3.8-Flash ...
    0253 萱萱玥玥 发表于 2026-11-7 AI 硬件与部署
  • 我们能买个AI月度套餐吗?不行,家里有AI。
    0223 铭光 发表于 2026-11-7 AI 硬件与部署
  • 12G 显存硬啃 125B 巨型 MoE!玩家用 RTX 5070 跑 Qwen3.8 轰出 141 tok/s。
    12G 显存硬啃 125B 巨型 MoE!玩家用 RTX 5070 跑 Qwen3.8 轰出 141 tok/s。 在部署框架 Strata 的 GitHub Issue #5166 里,社区玩家 AndrewDBN 晒出了一组极度硬核的单卡极限调优自测: 用一张仅 12GB 显存的 RTX 5070,配合 Strata 0.2.10,硬生生把 125B 的 Qwen3.8-Flash-Next(IQ3_XXS 极限压到 2.4 bpw)跑出了飞一 ...
    0275 davie67 发表于 2026-11-5 显卡与算力
  • 一家初创公司可以将所需的所有算力整合进一台设备中。
    一家初创公司可以将所需的所有算力整合进一台设备中。 配置包括:3 到 4 块单风扇版 MaxQ 显卡、液冷 CPU、256GB DDR5 内存、支持多个 PCIe x16 插槽的主板,以及约 4TB 的 NVMe 存储空间,并接入光纤网络。 所有任务均可在本地运行,且能轻松应对 16 到 32 个并发处理需求。 对于特定的工作流程而言,根本无需依赖数据 ...
    0230 淡泊随心 发表于 2026-11-5 AI 硬件与部署
  • 💥两台 Mac 串起来,Qwen3.8-Flash-Next 预填充 1309→3666 tok/s。
    💥两台 Mac 串起来,Qwen3.8-Flash-Next 预填充 1309→3666 tok/s。 oMLX Prefill Accelerator:大内存机扛模型,M5 Max 只加速预填充,64K 约 +180%。Decode 不变。 温馨提示:开发版;作者本机。 来源:GitHub oMLX👇 https://github.com/jundot/omlx/releases/tag/v0.7.4.dev1 ...
    0239 爱吃香菜 发表于 2026-11-5 AI 硬件与部署
  • 我这张 RTX PRO 6000 是 9000 美元买的。同样 96GB 的 PRO 6000,Nebius 上按需租是 1.80 美元一小时。
    我这张 RTX PRO 6000 是 9000 美元买的。同样 96GB 的 PRO 6000,Nebius 上按需租是 1.80 美元一小时。 9000 除以 1.80,是 5000 小时: 1. 24 小时不停跑,208 天回本 2. 每天跑 8 小时,625 天,差不多一年 8 个月 可抢占的 spot 价最低 0.79 美元一小时,24 小时不停跑要 475 天才回本。代价是卡随时可能被收回,长任 ...
    0240 llmllm 发表于 2026-11-4 显卡与算力
  • 下一页 »

    快速发帖

    还可输入 120 个字符
    您需要登录后才可以发帖 登录 | 立即注册

    本版积分规则

    关注公众号

    相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

    Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

    在本版发帖
    关注公众号
    返回顶部