🚨 AI 自己写的推理引擎，把 Strata 和 Basalt 给办了？

joep

🚨 AI 自己写的推理引擎，把 Strata 和 Basalt 给办了？

GitHub 上刚冒出一个黑马推理引擎 Infernix，最骚的是作者在主页坦白：这项目的代码和文档，几乎全是 Claude Opus 5.5 和本地跑的 Qwen 联手搓出来的！

在单张 RTX 5090（Windows 11 / 84G 内存预算）上实测 Qwen3.8-Flash-Next：

1️⃣ NVFP4 权重下全面暴走：
首字响应时间（TTFT）比官方 Strata 快了整整 4.6~7.4 倍！在双路并发的 Agent 编码任务里，总耗时直接从 Strata 的 15.9 分钟缩减到 6.7 分钟——连前两天刚刷榜的 Basalt（8.9 分钟）都被它超了。

2️⃣ 不同量化的微妙反差：
- 跑 NVFP4：Infernix 优势明显，直接登顶；
- 跑 IQ3_S：Basalt 在 Prefill 阶段依然更快，但长文本解码时 Infernix 重新反超 25%。

3️⃣ 客观提醒：
目前的实测全部集中在吞吐速度上，具体生成质量和精度损失（Perplexity）还在测、尚未公开。

现在连底层高性能 C++/CUDA 推理引擎都开始由 AI 自己迭代自进化了。

📎 开源仓库：http://github.com/Wallawalla47/Infernix