订阅

AI 硬件与部署 今日: 4 |主题: 428|排名: 1 

  • 双卡 TP 跑大模型真不是 1+1=2——但 AMD R9700/7900 XTX 让你根本不用碰魔改卡 New
    双卡 TP 跑大模型真不是 1+1=2——但 AMD R9700/7900 XTX 让你根本不用碰魔改卡 先说最扎心的一条:NVLink 是 RTX 3090 的独门秘籍,而且是消费卡里的绝唱。从 Ada 架构起,英伟达直接把 NVLink 从消费线砍了——3090 Ti 没有、4090 没有、5090 也没有。所以现在想靠"双卡张量并行(TP)拼大显存跑大模型",真正吃到 NVLin ...
    097 有梦就有缘 发表于 5 天前 显卡与算力
  • AMD Radeon Pro W6800 32G 深度分析 New
    AMD Radeon Pro W6800 32G 专业卡,4000 元大显存到底值不值得买?二手拆机价已经杀到 3600-4000 元,32GB ECC 显存 + 6 路输出,放在这个价位确实有点"不讲道理"。但 RDNA 2 生态的短板、和 V100/2080 Ti 的差距,买之前必须看清楚。[hr]一、4000 元值不值得买?结论:跑 AI 推理 / 多屏办公 / 专业制图——非常值;纯打游 ...
    197 勤欢 发表于 5 天前 显卡与算力
  • 拆开这台只有"一本书厚"的迷你主机,里面竟是张笔记本主板——它能本地跑 DeepSeek-V4 吗? New
    拆开这台只有"一本书厚"的迷你主机,里面竟是张笔记本主板——它能本地跑 DeepSeek-V4 吗? 你能想象吗?一台厚度只有 41mm、往桌上一放像半台 PS5 的小钢炮,拆开之后里面竟然是一张疑似笔记本的主板。好家伙,这简直就是官方逼死同人的"无头骑士"。 但你先别笑。就这么一个"无头骑士",它居然能在本地流畅跑最新的 284B ...
    087 随便看下 发表于 5 天前 AI 硬件与部署
  • 这绝对是今年最让人拍案叫绝的硬件逆向神作 New
    这绝对是今年最让人拍案叫绝的硬件逆向神作:安全研究员 Kate 发现英伟达旗舰计算核心 GA100 芯片内部存在一个电压故障注入漏洞(Voltage Fault Injection),并亲手把一张当年矿潮遗留下来的阉割版 CMP 170HX 8GB 矿卡,原地解锁成了满血的 A100-80GB! 当年英伟达为了防止矿工抢占数据中心显卡,拿 GA100 大核心切出了 C ...
    099 夕遥 发表于 5 天前 显卡与算力
  • 英伟达最大丑闻!你买的显卡性能被人为砍掉了一半…… 不过现在这个限制已经被正式破解了! New
    英伟达最大丑闻!你买的显卡性能被人为砍掉了一半…… 不过现在这个限制已经被正式破解了! 一哥们发布了一个叫 'gpu-unlock' 的开源工具, 能移除英伟达对自用 GeForce 显卡的软件限制。 处理能力飙升: • RTX 3060:从 27 提升到 51 TFLOPS(+87%) • RTX 3090:从 75 提升到 125 TFLOPS(+65%) • RTX 4090:直接 ...
    085 大吉仔 发表于 5 天前 显卡与算力
  • 英伟达旗下有哪些产品? ​​​ New
    095 与君经年 发表于 5 天前 AI 硬件与部署
  • 1.7万元矿卡破解后价值13.3万元!8GB显存变80GB,还有意外惊喜 New
    “挖矿”兴盛的时候,NVIDIA推出过不少专门的“矿卡”,包括早期的P106、P104、P102系列,以及后期的CMP HX系列,最特殊的就是170HX。它采用了A100 AI加速卡同源的GA100 GPU,但是做了大幅度的精简:6912个CUDA核心只保留4480个,80GB HBM2E显存只留下8/10GB,总线带宽从PCIe 4.0 x16锁定为PCIe 1.1 x4,浮点性能更是被砍到 ...
    091 用户杜海艳 发表于 5 天前 显卡与算力
  • 搭载 M5 Max 芯片的 16 英寸 MacBook Pro(64GB 内存):本地大语言模型(LLM)体验评测 New
    最终我还是“妥协”了,在这台设备上部署了本地 AI。 既然我为此耗费了无数个夜晚,干脆分享出来吧,哈哈。 我的硬件配置 16 英寸 MacBook Pro,配备 ProLED XDR 显示屏 M5 Max 芯片:18 核 CPU,40 核 GPU 64GB 统一内存,614GB/s 带宽 2TB SSD 我的软件配置 使用 oMLX 作为服务端(通过 Homebrew 安装)。它 ...
    0103 祖国繁荣富强 发表于 5 天前 AI 硬件与部署
  • 搭载 M5 Max 芯片的 16 英寸 MacBook Pro(64GB 内存):本地大语言模型(LLM)体验评测 New
    最终我还是“妥协”了,在这台设备上部署了本地 AI。 既然我为此耗费了无数个夜晚,干脆分享出来吧,哈哈。 我的硬件配置 16 英寸 MacBook Pro,配备 ProLED XDR 显示屏 M5 Max 芯片:18 核 CPU,40 核 GPU 64GB 统一内存,614GB/s 带宽 2TB SSD 我的软件配置 使用 oMLX 作为服务端(通过 Homebrew 安装)。它 ...
    090 磁帶裏的青春 发表于 5 天前 AI 硬件与部署
  • 林亦这期拿到一台联想YOGA Pro 15 RTX Spark,128GB统一内存,专门拿来测本地AI,本地智能体、AIGC创作挨个跑了一遍。 New
    林亦这期拿到一台联想YOGA Pro 15 RTX Spark,128GB统一内存,专门拿来测本地AI,本地智能体、AIGC创作挨个跑了一遍。 本地跑大模型为什么大家最在意内存。推理分两步,prefill先把你的问题读一遍,decode再一个token一个token往外吐,每吐一个都要把权重和KV cache反复读一遍,所以最吃的是内存容量和带宽。笔记本独显的 ...
    0109 青竹居士 发表于 5 天前 AI 硬件与部署
  • 一张一万多块、游戏性能却只跟 RTX 5060 Ti 打平手的卡,到底卖给谁? New
    单芯片32G纯正显存有多猛?铭瑄 Arc Pro B70 实测:本地AI、生产力、AIO虚拟化一次说清 一张一万多块、游戏性能却只跟 RTX 5060 Ti 打平手的卡,到底卖给谁? 答案很明显:不卖给玩家。它真正值钱的,是一颗 GPU 独占的、完整的 32GB 显存。这期就把它拆开看——这 32G 塞进本地大模型、剪辑生产力、多虚拟机 AIO 里,到底 ...
    0109 南粤雨林 发表于 6 天前 显卡与算力
  • 外观虽不美观,但效果相当不错:4xR9700 & EXL3 2.25bpw DS4.1 配置下,编码速度可达 415 tok/s,预填充(prefill)速度可达 6300 tok/s。 New
    (解码,而非编码……) 机箱还没到(决定试试 Inter-Tech 4W2),所以我利用这段时间,致力于挖掘该系统的最佳性能。目前的重点是 EXL3 以及 DS 4.1 Flash 和 Qwen Flash Next。当前测试数据如下: 我之前曾在这里发帖介绍过这套系统:https://www.reddit.com/r/LocalLLaMA/comments/1xv2jst/4xr9700_exl3_hwsw_ti ...
    0107 渔忆七秒 发表于 6 天前 AI 硬件与部署
  • Lawyer 的 V100 家庭实验室(更新 2):这台配备 8 块 V100 的机器现已能运行 DeepSeek New
    Lawyer 的 V100 家庭实验室(更新 2):这台配备 8 块 V100 的机器现已能运行 DeepSeek,支持近乎 NVFP4 的精度及 524K 的上下文长度; 此外,系统中还加入了一块 3090 显卡,内存扩容至 1TB。至于之前遇到的问题,我本以为是 PCIe 的锅,结果其实很可能是电源(PSU)出了故障。 关于那台配备 V100 服务器的最新进展( ...
    0108 萃姐 发表于 6 天前 AI 硬件与部署
  • 拿游戏显卡在本地出图、微调模型,总嫌速度不够快,第一反应往往是存钱换一张更贵的卡。 New
    拿游戏显卡在本地出图、微调模型,总嫌速度不够快,第一反应往往是存钱换一张更贵的卡。 其实 RTX 20、30、40 系的游戏卡,在 AI 最常用的几种计算精度下,负责 AI 计算的张量核心只跑一半速度,同样的芯片做成专业卡就是全速。 gpu-unlock 这个开源项目就是把这道限速去掉,开机时赶在英伟达官方驱动接管显卡之前解锁, ...
    0115 此生不忘 发表于 6 天前 显卡与算力
  • 🚀 无敌!单卡16/24GB显存、Mac 32GB统一内存,把 Qwen 3.8 27B 推理跑出新速度!Strata v0.2.14原生内核升级上线! New
    🚀 无敌!单卡16/24GB显存、Mac 32GB统一内存,把 Qwen 3.8 27B 推理跑出新速度!Strata v0.2.14原生内核升级上线! Strata v0.2.14,把prompt专家计算从llama.cpp切到自研原生GPU内核(NVIDIA CUDA + AMD HIP),Windows/Linux全覆盖,现有模型、聊天和配置零改动,速度直接涨。 🔥 消费级硬件实测亮点(vs 0.2.13) 🔹R ...
    0119 xiaoling 发表于 6 天前 AI 硬件与部署
  • 电脑没显卡,怎么在本地跑大模型?我又捣鼓出一套完全免配置的开源全自动脚本 New
    电脑没显卡,怎么在本地跑大模型?我又捣鼓出一套完全免配置的开源全自动脚本 不少人平时想用轻薄本跑私有的大模型,光是看见那一堆环境依赖就已经头疼了 开源项目 modelscope-gpu-guide:对显卡零要求,直接把阿里云魔搭的免费 GPU 拿来白嫖(实测分配到的配置是 NVIDIA A10、24GB 显存、8 核 32G 内存,可用 36h),再 ...
    0104 周氏家人 发表于 6 天前 AI 硬件与部署
  • 行为艺术:可以在486上跑的、给DOS用的大模型。 New
    行为艺术:可以在486上跑的、给DOS用的大模型。# 由 Turbo C 2.0 编写的微型问答 Transformer。它可在标准 DOS 环境下于 Pentium 或 486DX 上运行,且可存放在一张软盘上。 36.7 万参数,运行时需要约500K内存 由 Fable 5.2 编写,由 Opus 5.5 训练。 代码在这里:github.com/WollyMonjac/Tiny-2.1 http://t.cn/AXYsUXx ...
    0107 把日本抹去 发表于 6 天前 AI 硬件与部署
  • 这时候就能显示出大显示器的好处了... New
    这时候就能显示出大显示器的好处了... Claude、Antigravity、GPT直接三开,还是很爽的。 吐槽Gemini一句,Gemini 4 Carbon这个模型真的还挺有特点的,在方案设计、文档撰写、创意层面都不错,而且维度跟Claude和GPT完全不一样,也是一个还挺有意思的可以互相启发的模型。 但是有一说一,这个Antigravity实在是太难用,用户 ...
    1105 久福山人 发表于 6 天前 硬件评测
  • 思考已完成 已经拿到这期视频的核心内容(主题是"50 系显卡在家做 AI 本地部署,不同显存到底能干啥",以 Qwen3.8-27B、MiniMax H3 等模型实测为线索)。下面是据此写好的原创显卡测试帖: 50 系显卡本地跑 AI... New
    50 系显卡本地跑 AI 实测:8G 到 32G 五个档位,到底哪一档值得买? 最近想在家折腾本地大模型的人特别多,但十个人里有八个卡在同一件事上——显存到底要多大。买小了跑不动,买大了纯浪费。 先说贯穿全程的判断标准:显存容量决定"装不装得下",带宽和架构决定"跑得爽不爽"。同为 16G,5080 能装的东西 5060 Ti 也能装 ...
    0141 zhengdejin 发表于 6 天前 显卡与算力
  • 终于给这台机器装上显卡了。 New
    0105 老吴二号 发表于 7 天前 AI 硬件与部署
  • 下一页 »

    快速发帖

    还可输入 120 个字符
    您需要登录后才可以发帖 登录 | 立即注册

    本版积分规则

    关注公众号

    相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

    Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

    在本版发帖
    关注公众号
    返回顶部