订阅

AI 硬件与部署 今日: 4 |主题: 428|排名: 1 

  • 1万以内 22 张本地 AI 显卡实测:T10、V100、B60、7900 XTX、5060 Ti,我只会买这 5 张 New
    1万以内 22 张本地 AI 显卡实测:T10、V100、B60、7900 XTX、5060 Ti,我只会买这 5 张 先说结论,再讲理由。这 22 张卡我按社区实测数据过了一遍,如果钱是我自己出,只会掏这五张。 [hr] 选卡的顺序,别搞反了 [*]先算显存:模型装不装得下,决定"能不能跑" [*]再看带宽:决定生成快不快,参数党最容易忽略 [*]最后看 ...
    0120 1qaz 发表于 7 天前 AI 硬件与部署
  • 光主模型就 66 GB 的开源生图模型 MiniMax H3-Image,被社区压到了 6.88 GB,你手里那张 8G 显卡也能试。
    光主模型就 66 GB 的开源生图模型 MiniMax H3-Image,被社区压到了 6.88 GB,你手里那张 8G 显卡也能试。 装好 ComfyUI 和插件,拖进作者给的现成工作流,参数照抄,就能在自己电脑上出 2048×2048 的图,包装上的英文小字都画得出来。 不过有几笔账要先算清👇 📦 66 GB 压到 6.88 GB 先由 Comfy-Org 剪掉约四成参数,再 ...
    0150 一点放纵 发表于 7 天前 AI 硬件与部署
  • 家用电脑直接硬吞 27B 大模型,这次真连小白都能一把梭!
    家用电脑直接硬吞 27B 大模型,这次真连小白都能一把梭!625 万下载的 Qwen3.8-27B 刚推了 Dynamic v3.1,Unsloth 这次是真把本地部署的门槛给一脚踹碎了。不光压得进普通显卡,跑分居然还反向倒挂、比同级量化高出 5% 到 10%。只要你想在自己电脑上跑,这三点简直爽上天:· 31 种体积随你挑,哪个顺眼拉哪个从极限省显存 ...
    0158 风踏歌行 发表于 2026-11-14 AI 硬件与部署
  • 手上只有一台 8 GB 内存的 MacBook Air,想跑个本地大模型,结果模型文件就有 14 GB 多,内存根本塞不下。
    手上只有一台 8 GB 内存的 MacBook Air,想跑个本地大模型,结果模型文件就有 14 GB 多,内存根本塞不下。 TurboFieldfare 能让 Gemma 4 26B-A4B 在苹果芯片 Mac 上跑起来,模型权重和缓存只占大约 2 GB 内存,还带一个原生的 Mac 聊天应用。 它只把 1.35 GB 的共享部分和缓存留在内存里,每生成一个词,再从 SSD 临时读 ...
    1129 镜中之国 发表于 2026-11-14 AI 硬件与部署
  • 512GB 显存 = GLM-5.3,最理想的“员工”
    512GB 显存 = GLM-5.3,最理想的“员工” 搭配 Mac Studio:2.4万至 2.8 万美元 搭配 4 块 Spark:3 万美元 搭配 6 块 RTX-6000 PRO:8.5 万美元 搭配 768GB 显存的 Tinybox Red:8.9 万美元 以上方案的成本均低于雇佣一名全职员工(FTE)。 无需缴纳社保福利、无需带薪病假、无需缴纳养老金(401k)配套资金。 绝不会泄 ...
    0125 姜立伟 发表于 2026-11-14 AI 硬件与部署
  • 别再当韭菜了!600块组装一台"Mac mini平替",跑AI Agent比真苹果还香?
    https://www.youtube.com/watch?v=CmyO81Tfkfg 刷到这条视频的时候,我第一反应是:又是标题党。 600块?现在一个二手iPhone的电池都不止这个价。但看完整个拆解和实测过程,我沉默了——这哥们儿可能真的把"性价比"三个字玩明白了。 先说结论:它不是Mac,但它能干Mac干的活 这台机器的核心思路很朴素:别为logo付钱,只为 ...
    0146 土豪姥姥 发表于 2026-11-14 AI 硬件与部署
  • 想在自己电脑上跑参数量上千亿的大模型,以前基本没戏,显存装不下,勉强跑起来也慢得没法正常对话。
    想在自己电脑上跑参数量上千亿的大模型,以前基本没戏,显存装不下,勉强跑起来也慢得没法正常对话。 FreeToken 是一个专门为个人电脑设计的推理引擎,主打在游戏显卡上本地运行 290B 以上的 MoE 大模型,已经拿下 17000+ Star。 它把显卡、CPU 和内存当成一个整体来调度,让 CPU 和 GPU 协同计算,显存还能在运行中重新 ...
    0141 荷尔蒙暴民 发表于 2026-11-13 AI 硬件与部署
  • 每台主机均配备 2 块 RTX Pro 5000、一颗 AMD 9995WX 处理器以及 512 GB DDR5 ECC 内存。
    0143 怂刚怂刚的 发表于 2026-11-13 AI 硬件与部署
  • “夜景模式”好像把它误认成大楼了,笑死。
    0157 成鸿 发表于 2026-11-12 AI 硬件与部署
  • 这个木制服务器机架终于搬到了它(目前)的最终安身之所。
    这个木制服务器机架终于搬到了它(目前)的最终安身之所。 4台惠普(HP)Gen 8服务器,共80个核心、896GB DDR3内存;它们依然装在那个自制的木制机架里(已漆成黑色),现在被放在了后屋的一个金属货架上,哈哈。 我用这些设备运行着自己所有的CI(持续集成)执行器(runner),以及供代理(agent)使用的各类虚拟机(VM ...
    0154 lxi4509 发表于 2026-11-12 AI 硬件与部署
  • 本地运行大模型(LLM)的常见情况
    本地运行大模型(LLM)的常见情况 ・“用这个提示词(Prompt)应该没问题” ・输出效果一般,于是稍微调高一点温度(Temperature) ・感觉还不够理想,重写系统提示词(System Prompt) ・尝试增加上下文长度(Context Length) ・遇到“显存(VRAM)不足”,只好降低量化(Quantization)等级 ・回过神来,发现已经多出了 ...
    0167 xiaoling 发表于 2026-11-12 AI 硬件与部署
  • 我的全新 AI 家庭实验室 v2 准备就绪!🦾👹🔥
    0179 三分钟折纸 发表于 2026-11-12 AI 硬件与部署
  • 我的实验室:两台 ThinkCentre 和一台 Codex
    我目前的系统架构由三台设备组成: - ThinkCentre M75s:搭载 Ryzen 5 4600G 处理器、32 GB 内存、1 TB NVMe 固态硬盘及一块 8 TB 的希捷酷狼(IronWolf)硬盘。运行 Proxmox 虚拟化平台,承载媒体服务、文档管理、AI 应用、开发环境以及各类家庭应用。 - ThinkCentre M710q:搭载 i5-7400T 处理器、16 GB 内存。独立 ...
    0185 1qaz 发表于 2026-11-11 AI 硬件与部署
  • 英伟达 GPU 或将再次涨价,据传 GeForce RTX 5080 可能因此面临严重后果
    英伟达 GPU 或将再次涨价,据传 GeForce RTX 5080 可能因此面临严重后果 https://club386.com/nvidia-geforce-rtx-50-price-rises-msi-rumour/
    0173 wushuhong 发表于 2026-11-11 AI 硬件与部署
  • 本地运行大模型(LLM)的常见现象: ・“先下载这一个模型试试” ・在等待下载完成时,又看中了另一个模型 ・回过神来,发现SSD的剩余空间已经变少了
    本地运行大模型(LLM)的常见现象: ・“先下载这一个模型试试” ・在等待下载完成时,又看中了另一个模型 ・回过神来,发现SSD的剩余空间已经变少了 ・心想“换个量化版本应该就行了”,于是又下载一个 ・把整理模型文件的事儿往后推 ・因为存储空间不足,又开始琢磨着找新的SSD了 结果就是,每次尝试新模型,存储空间总 ...
    0170 受伤的玫瑰 发表于 2026-11-11 AI 硬件与部署
  • 我的地下室大模型(LLM)实验室:一块 5090、两块 4090,以及两台老旧的 ProLiant 服务器。
    这是我们在 OmniNode(我是创始人之一)进行工程开发所使用的地下室设备配置。金属置物架被当作机架使用。两台塔式主机用于运行本地模型;两台老旧的 HP 服务器主要承担构建、测试和智能体(agent)任务;此外还有几台 Mac 和一台旧笔记本电脑作为补充。 • 主塔式主机:搭载 Ryzen 9 9950X3D 处理器、96 GB 内存,以及 RT ...
    0185 铉霸 发表于 2026-11-11 AI 硬件与部署
  • minirackbuilder.com 即将推出的新功能抢先看
    大家好!很高兴看到有这么多人喜欢这个机架构建工具(Rack Builder)。 以下是 minirackbuilder.com 即将上线的一些新功能: - 机架顶部可放置设备 - 更精细的机架视觉效果 - 外部接口(WAN 口、电源接口、显示接口等) - 可为 NAS 及其他设备添加存储空间,并在汇总中显示总容量 - 支持更多线缆类型(USB、音频线、Displ ...
    0185 不正经的物科 发表于 2026-11-11 工作流配置
  • QWEN 3.8 FN - 8位浮点量化 - 96.32 token/秒 - 95k 上下文 - 1500 美元硬件
    进行了一些额外优化,并实现了 MTP(投机采样/多令牌预测)。在处理代码任务时,速度可达 96 t/s(3 个草稿令牌);处理自然语言文本时,速度为 69 t/s。 在单层计算中,将 Token 残差分发至 24 块 GPU、完成专家层(Expert)计算、汇总结果并合并,整个过程耗时 128.0 微秒。 目前硬件性能可能已达极限,除非我能想出进 ...
    0186 聪明蛙 发表于 2026-11-11 AI 硬件与部署
  • 在由 40 台迷你电脑组成的集群上运行 GLM 5.3 Flash,通过 USB 3 互联,速度达 14 tps。
    这是我搭建的一套计算集群,用到了 40 台迷你主机——这些设备是我之前在另一个项目中闲置下来的: Intel N150 处理器 12 GB DDR5 4800 内存(物理带宽上限约为 33 GB/s) 无盘节点(Diskless nodes) 各节点通过 10 Gbps USB 3.2 接口连接,利用了 USB DbC(Debug Class)功能。网络拓扑采用树状结构,节点分布为 1 -> ...
    0188 空中月 发表于 2026-11-11 AI 硬件与部署
  • 混合式本地 AI 集群:4 台 DGX Spark + 2 台 Mac Studio。 总计:1 TB 统一内存。
    混合式本地 AI 集群:4 台 DGX Spark + 2 台 Mac Studio。 总计:1 TB 统一内存。
    0174 sanqiren 发表于 2026-11-11 AI 硬件与部署
  • 下一页 »

    快速发帖

    还可输入 120 个字符
    您需要登录后才可以发帖 登录 | 立即注册

    本版积分规则

    关注公众号

    相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

    Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

    在本版发帖
    关注公众号
    返回顶部