Lawyer 的 V100 家庭实验室(更新 2):这台配备 8 块 V100 的机器现已能运行 DeepSeek

[复制链接]
发表于 昨天 21:12 | 显示全部楼层 |阅读模式
Lawyer 的 V100 家庭实验室(更新 2):这台配备 8 块 V100 的机器现已能运行 DeepSeek,支持近乎 NVFP4 的精度及 524K 的上下文长度;
此外,系统中还加入了一块 3090 显卡,内存扩容至 1TB。至于之前遇到的问题,我本以为是 PCIe 的锅,结果其实很可能是电源(PSU)出了故障。





关于那台配备 V100 服务器的最新进展(有些朋友可能看过我之前的帖子)。

用途

用于处理我个人案件卷宗的初步工作。所有文档均不出办公室。在上一篇帖子中,这台机器运行的是 DeepSeek-V4.1-Flash 的 2-bit 量化版本;现在,它运行的是同一模型,但采用了 NVIDIA 的 NVFP4 精度(仅保留了我实际使用的“专家”模块),我整套法律工作流程也都在此基础上运行。

硬件配置

GPU:8 块 Tesla V100-SXM2-32GB,分布在两块 4 卡 SXM2 NVLink 扩展板上。每块扩展板内部的 4 块显卡通过 NVLink 互联,两块扩展板之间则通过 PCIe 进行通信。

连接方式:每块扩展板通过两个 PEX (PLX) 交换卡和 SlimSAS 线缆连接至主板。系统共配置 4 个交换卡,每个交换卡连接 2 块 GPU(PCIe Gen3 x8 模式),且每个交换卡都各自连接至 CPU 的根复合体(Root Complex,PCIe Gen3 x16 模式)。

主机:采用技嘉(Gigabyte)Threadripper PRO 主板。本周内存已从 256 GB 升级至 1 TB。

新增:同一主机上加装了一块 RTX 3090,计划将用于起草的小型模型从 V100 迁移到这块卡上(目前尚未完成)。

此外还有:2 台 DGX Spark(用于运行支持 1M 上下文的模型,执行智能体任务)、另外 8 块 V100,以及第二台配备 512 GB 3200 MHz ECC 内存的服务器,正等待后续部署。

驱动程序:仍在使用 NVIDIA R580 版本——这是支持 Volta 架构的最后一个驱动分支,属于“借来的时间”(即随时可能不再受支持)。

踩过的坑(供大家参考)

在尝试使用更快的提示词(prompt)读取路径时,系统或显卡三次全部崩溃。固件日志显示 PCIe 错误,我花了几天时间排查插槽、交换卡和线缆。后来我调整了供电方案——发现是供电链路中有一个电源(PSU)出了问题。更换后,进行了 9 次长对话测试,均运行正常。

我还加装了风扇。温度不是问题,气流也不是问题。

增加内存(RAM)改变了 BIOS 的内存布局方式;有一次启动时,在输出内容完全相同的情况下,处理提示词(prompts)的速度竟慢了 40% 到 55%。至今我仍不清楚原因。现在,每次启动后,我都会先进行一次 10 秒的速度测试,确认无误后才敢放心使用。

对于这些显卡而言,频率限制(clock caps)比功耗限制(power caps)影响更大。它们在运行时被限制在 1,522 MHz。

背景故事(供感兴趣的朋友参考):

大约在 2026 年 2 月到 7 月期间,我投入了大量精力构建了一套“法律约束框架”(legal harness),旨在让 Claude 的行为更加可预测。效果确实不错。我曾尝试为本地运行的模型构建同样的框架,但没成功。后来,Opus 的能力大幅提升,以至于它经常能绕过我的约束框架,而我甚至都没察觉到。虽然现在依然保留着这套带有钩子(hooks)的约束框架,但限制已经宽松多了。

那段时间,为了运行本地模型,我购置了大量硬件,并反复尝试通过“直觉式编程”(vibecode)来构建本地模型的法律约束框架。虽然屡屡受挫,但也从中汲取了不少经验。

言归正传,在过去三周里,发生了一些值得关注的事情:

DeepSeek Flash 1017 发布了,这是第一个在各方面都与 Opus 4.5/4.6 相当接近的模型。

借助 Opus 5.5 和 Fable 5.2,我能够成功配置 DeepSeek,使其在我的硬件上实现高速运行、支持超大上下文窗口,并保持高精度。这得益于各种优化手段、自定义内核以及重新量化(requants)技术。

Opus 5.5(加上我日益精进的提示词技巧)现在已经足够强大,让我能够将原本为 Claude 设计的约束框架成功迁移到 DeepSeek 上。

虽然它还比不上最前沿(frontier)的模型,但目前一切运行良好,且完全在本地执行。它确实带来了生产力的提升,甚至能够胜任一些原本属于“前沿”级别的任务。与 DeepSeek 的聊天交互体验,也和之前的 Claude 如出一辙。

顺便炫耀一下我的技术栈和硬件配置:

我拥有两台 DGX Spark,它们能够同时运行 3 到 4 个 DeepSeek 智能体(Agent)会话,且每个会话均支持 100 万(1M)的上下文窗口。我目前在 8 张 V100 显卡上运行 DeepSeek,其质量几乎达到了 NVFP4 的水平;支持 50 万(500K)上下文长度,解码速度超过 100 token/s,并发处理时可达约 160 token/s。

我还有另外 8 张 V100 显卡和第二台基于 Rome 架构的服务器(配备 512 GB 3200 MHz ECC 内存),因此我可以再运行一个高精度的 DeepSeek 实例,作为辅助智能体或用于并行任务处理。

令我非常惊艳的是,Fable 在构建定制化 Volta 内核方面的表现极其出色。它能够根据我在处理法律任务时实际激活的“专家”(experts),将这些专家重新量化回完整的 NVFP4 精度。这套方案不仅经过了深度优化,而且达到了生产级标准,完全可以替代本地现有的工作流程。

这不是什么“花架子”或粗糙的仿制品,而是一套真正的企业级解决方案——在目前的商业市场上,你根本找不到同类产品。

“法律领域 AI 原生开发”(Legal vibecoding)是真实存在的,朋友们。我就是“AI 原生”的实践者。

这个全新的 V100 DeepSeek 代码库(在保证质量的前提下实现了实用级的运行速度)现已公开,其中包含了完整的上下文测试数据以及所有的优化成果(当然也包括一些尝试过程中的失败经验):

https://github.com/ProprietaryLe ... 8xV100-SXM2-PP2xTP4

Twitter: nicothegreco

运行速度(测试于 2026 年 11 月 12 日,环境为 8 张 V100-SXM2-32GB 显卡,图形核心频率限制在 1522 MHz):

并发测试,单次请求:118.9 token/s

同时处理两个请求:总计 159.0 token/s(1.34 倍)

同时处理三个请求(三槽位配置):总计 192.3 token/s(1.62 倍)我运行了两个并发槽位(slot)

处理短序列时(每次一个):通用任务下为 123.2 token/s,法律类任务下为 97.3 token/s

处理代码任务时:在 1K 到 256K token 的提示词(prompt)长度范围内,速度可达 150 至 180 token/s

处理 256K token 的提示词时:读取速度为 2,329 至 2,430 token/s,首个 token 生成耗时 108.4 秒

上下文长度:每个请求支持 524,288 个 token

这套方案的说明

我上一套基于 V100 的方案(“Volta sPLIt”系列第 4 部分)是通过 2-bit 量化数据来运行模型中的所有专家(expert)模块的。虽然速度很快,但毕竟是 2-bit 的。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部