DeepSeek V4.1-Flash 在单张 Arc A770 16GB 显卡上运行:提示词处理速度为 45 tok/s,生成速度为 5 tok/s(基于社区版 SYCL 移植的 Strata)




我通过 Strata 在 Arc A770 显卡上成功运行了 DeepSeek V4.1-Flash 模型。Strata 能够将大型 MoE(混合专家)模型拆分到显存(VRAM)、内存(RAM)和 NVMe 硬盘中进行处理。由于 Strata 的 DeepSeek 引擎原生仅支持 CUDA、HIP 和 Metal,因此我针对 Arc 平台进行了 SYCL 移植。虽然这属于非官方版本且仍在开发完善中,但它确实可以运行。

补充说明(针对几位朋友的提问):

- 本次运行在处理每个 token 时,调用了 DeepSeek 的全部 6 个专家模型(参数 `--experts 6`)。Strata 在 16GB 显存的显卡上默认设置为 5 个专家(即“更快速”模式),我将其调整为了 6 个。

- 模型质量的损耗主要源于量化(采用 ISTA-DASLab 方案,2.25 bpw)。根据 Strata 文档,与原始模型相比,该量化版本的困惑度(perplexity)增加了 7.3% 至 8.3%,KL 散度为 0.107;在代码任务上性能差异为 +3.2% 至 +3.5%,在智能体(agent)文本任务上为 +2.2% 至 +2.5%。ISTA-DASLab 的模型卡显示,该版本保留了基础模型 98.7% 的平均任务性能。

- 我尚未在 Arc 版本上专门测量 KL 散度。但我保留的所有改动,要么能确保输出与原版完全一致(token 级别),要么属于 Strata 中经评估对模型质量无影响的现有选项。

- 同意“每秒 5 个 token”的速度仅适用于日常对话,而非智能体编程(agentic coding)所需的处理速度。但关键在于,它确实能在仅配备一块 A770 显卡和 64GB 内存的系统上成功运行。

分类