Kimi K3 会在一次提示符下读取你的整个代码库。但它仍然无法告诉你哪两个文件之间存在隐性依赖关系。

龙脊辣椒

Kimi K3 会在一次提示符下读取你的整个代码库。但它仍然无法告诉你哪两个文件之间存在隐性依赖关系。

一百万个词元，背后却有 2.8 万亿个参数。注意力机制并非数据结构。

窗口内的所有内容都是扁平的。模型在每次调用时都会重新推导出所有关系。

图只存储一次边。你只需支付一次提取费用，之后即可免费遍历。

规模计算非常残酷。100 个实体可以有 4,950 个可能的词对。1,000 个实体可以有 499,500 个词对。

任何上下文窗口都无法容纳如此庞大的数据量。它只能存储文本，并寄希望于链接自然而然地出现。

问题出在解析上。简单的字符串匹配在真实语料库上的准确率接近 70%。

两跳后准确率只有 49%，三跳后只有 34%。你的答案在数据摄取时就失败了，而不是在查询时。

在真正需要用到大模型的地方使用它：那些歧义对，通常占候选词总数的 5% 以下。

首先使用低成本的块划分方法，其次是词嵌入，最后只对剩余部分使用 K3 算法。这就是完整的成本结构。

统计图中的实体数量，然后再统计你实际想要表达的实体数量。两者之间的差值就是你的真实准确率。