查看: 6|回复: 0

处理大型复杂文档,ChatGPT 跟 claude 的差距就会非常明显

[复制链接]

9

主题

0

回帖

27

积分

新手上路

积分
27
发表于 昨天 09:49 | 显示全部楼层 |阅读模式
处理大型复杂文档,ChatGPT 跟 claude 的差距就会非常明显

GPT 显然无法在理解高维理念的前提下展开总体规划,它很容易陷入局部一路向前,基本上一步正确的步子都迈不出,只有你给它写清楚,它来执行才没问题

opus4.6可以做到,但有时候对高维理念理解有偏差,但你稍微提醒即可,它就迅速按照意图展开规划。当然,opus4.6依旧还有不少“硬伤”
譬如, opus4.6也解决不了记忆容量的问题(我称之为实时携带的关系总量不足)
它能力足够,可以理解庞大信息的高维理念(有时候你要它设计多步理解,但总是可以理解),但无法做到每一步操作都调用足够数量的映射关系来理解和执行(但我觉得目前只是成本问题,需要算法突破,它们内部如果不考虑成本应该能做到,我现在的办法是增加一个额外的理解层辅助,虽然比不上原生理解,但还可以凑合用)
这个挺难表达和描述,大概就是它理解的高维理念在具体执行时携带的细节关系总量不够
我可以带着整个复杂文档的理念和所有细节进行任何问题的优化(遇到瞬间想起),人类表现出来的就是超级细腻和到位,不会改出问题,绝对是越改越好
而 opus4.6虽然理解没问题,但一旦动手调整关联程度深的表述就会出现降维损失,输出的表达就会有语境/语义剥离感(因为记忆中的映射关系数量不够),就会出现因改动而来的新的小问题,只会越改越差,而且一旦数量失控,很难靠它自己优化出来

我猜有个阈值,复杂度超过之后,每次修改都会带来类似的新问题,积累到一定程度就会使文档脱轨。但应该可以通过某种算法来解决,无非是定期修复,类似每次分裂都会磨损的线粒体的端粒,肯定不好解决,但优化到足够好用应该没问题

LLM 不是不会总结,不是不会理解,而是单靠压缩摘要,撑不起长期高耦合执行,这个大概就是当下卡住长程理解脖子的关键,我感觉下半年就能突破

这些细微但重要的问题绕得很,我觉得我都能描述出来了,大佬们解决起来应该不难,就看如何平衡成本,直觉告诉我很消耗算力 ,但一旦解决,不亚于认知核武器

我认为,成功突破的 LLM,标志是可以实时携带上下文中所有的映射关系进行推理(不是今天上下文容量的概念,如今的上下文容量做不到携带关系总量)

这大概是下一步的真正突破吧
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:admin@discuz.vip

Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部