GitHub 上刚冒出一个黑马推理引擎 Infernix,最骚的是作者在主页坦白:这项目的代码和文档,几乎全是 Claude Opus 5.5 和本地跑的 Qwen 联手搓出来的!
在单张 RTX 5090(Windows 11 / 84G 内存预算)上实测 Qwen3.8-Flash-Next:
1️⃣ NVFP4 权重下全面暴走:
首字响应时间(TTFT)比官方 Strata 快了整整 4.6~7.4 倍!在双路并发的 Agent 编码任务里,总耗时直接从 Strata 的 15.9 分钟缩减到 6.7 分钟——连前两天刚刷榜的 Basalt(8.9 分钟)都被它超了。
2️⃣ 不同量化的微妙反差:
- 跑 NVFP4:Infernix 优势明显,直接登顶;
- 跑 IQ3_S:Basalt 在 Prefill 阶段依然更快,但长文本解码时 Infernix 重新反超 25%。
3️⃣ 客观提醒:
目前的实测全部集中在吞吐速度上,具体生成质量和精度损失(Perplexity)还在测、尚未公开。
现在连底层高性能 C++/CUDA 推理引擎都开始由 AI 自己迭代自进化了。
📎 开源仓库:http://github.com/Wallawalla47/Infernix