Q1: 辛顿认为大语言模型真的"理解"语言吗?具体机制是什么? 是的。
Q1: 辛顿认为大语言模型真的"理解"语言吗?具体机制是什么?
是的。LLM和人类用同样的方式理解语言:把词转化为高维特征向量(一长串数字,代表词在各个属性上的强弱),通过调整这些向量使它们互相兼容,从而构建句意。这个过程更像蛋白质折叠(根据亲疏关系调整三维结构),而非翻译成某种内部语言。LLM不存储任何句子, ...
技能(Skill)已经成为各大编程 IDE 的标配。开发工程师 Rod 介绍了如何在 Antigravity 中创建和使用 Skill。
技能(Skill)已经成为各大编程 IDE 的标配。开发工程师 Rod 介绍了如何在 Antigravity 中创建和使用 Skill。
在 Vibe Coding 时,一个常见问题就是上下文膨胀。项目越大,越不可能把全部代码一次性塞进模型上下文。Skill 的作用,就是把特定能力拆分成独立模块,在需要时再加载。
在 Antigravity 里创建 Skill 很简单。 ...
在序列建模领域,记忆与效率的两难悬而未决。RNN用定长记忆压缩历史,越长越遗忘
[LG]《Memory Caching: RNNs with Growing Memory》A Behrouz, Z Li, Y Deng, P Zhong… [Google Research] (2026)
在序列建模领域,记忆与效率的两难悬而未决。RNN用定长记忆压缩历史,越长越遗忘;Transformer缓存全部token,代价是二次方复杂度。症结在于:记忆增长只有恒定与平方两个极端,中间地带无人开垦。
核心 ...
在大模型去毒化中,已有方法仅压低有害输出概率,是表层手术。线性探针可从隐层轻松恢复毒性方向
[LG]《Detoxifying LLMs via Representation Erasure-Based Preference Optimization》N M Sepahvand, E Triantafillou, H Larochelle, D Precup… [McGill University & Google DeepMind] (2026)
在大模型去毒化中,已有方法仅压低有害输出概率,是表层手术。线性探针可从隐层轻松恢复毒性方向,十例微调即逆转对齐。根 ...
McKinsey: AI won’t make most human skills obsolete, but it will change how they’re used.
McKinsey: AI won’t make most human skills obsolete, but it will change how they’re used.
Negotiation, problem solving, and leadership will matter more than ever as people work alongside agents and robots.
Our new Skill Change Index shows which skills will be most, and least, exposed to automatio ...
一篇介绍搜索引擎技术的面向初学者的文章“ Search Engines from Beginners POV ”
一篇介绍搜索引擎技术的面向初学者的文章“ Search Engines from Beginners POV ”
mrinalxdev.github.io/mrinalxblogs/blogs/search-engines.html
文章从初学者视角对搜索引擎原理的逐步解释,重点放在搜索引擎内部如何高效处理查询和返回相关文档的机制上。
...
Apple ANE 被成功逆向! 38TOPS 算力其实是数字游戏?
Apple ANE 被成功逆向! 38TOPS 算力其实是数字游戏?
刚刷到博主 maderix 开源了个硬核项目: 逆向 Apple 的私有 API, 绕过 CoreML, 直接在 Apple Neural Engine (ANE) 上实现了神经网络训练!
等会? 啥是 ANE? ANE是苹果芯片内部的神经网络加速单元, M4 上目前已经是 16 核的运算单元了, 官方宣称性能有 38 TOPS. 但一直是 ...
Andrej Karpathy 写过一个很经典的教学项目 MicroGPT (只用200 行纯 Python 代码 开始,这段代码不依赖任何深度学习库,却涵盖
Andrej Karpathy 写过一个很经典的教学项目 MicroGPT (只用200 行纯 Python 代码 开始,这段代码不依赖任何深度学习库,却涵盖了 GPT 模型训练和推理的核心算法)。
这篇文章:
growingswe.com/blog/microgpt
是对该项目做的一个逐步、可视化讲解,目标是让读者理解 GPT 类语言模型的核心机制,而不是专注于复杂的工程优 ...
AI Agent 真正的发展方向,是 Memory(记忆)。
#知识图谱与人工智能# AI Agent 真正的发展方向,是 Memory(记忆)。RAG的基本模式是一次检索(Retrieve),一次生成(Generate)。系统不具备决策能力,只负责获取外部信息并生成回答。其主要问题在于,经常会检索到无关或低价值的上下文信息。从系统特性上看,RAG 本质是只读(read-only)且一次性的(one-shot)。
在 ...
Core AI 框架取代 Core ML?曝苹果 WWDC 26 开发者大会将公布多项 AI 功能
【Core AI 框架取代 Core ML?曝苹果 WWDC 26 开发者大会将公布多项 AI 功能】古尔曼爆料,苹果计划在 WWDC 26 上发布全新 Core AI 框架,可能逐步取代现有的 Core ML。新框架旨在帮助开发者更便捷地集成第三方 AI 模型,并可能引入基于谷歌 Gemini 训练的 Apple 智能。虽然 iOS 27 传闻主打稳定性……
...
让我们来讨论下沙盒隔离”
“让我们来讨论下沙盒隔离”
http://t.cn/AXc04qc8
文章针对当前 AI 代码生成和多租户平台运行不可信代码的需求,介绍了从基础的 Linux Namespaces/Cgroups(Docker 容器的基础),到 Seccomp 系统调用过滤,再到更高级的 gVisor(用户态内核)、MicroVMs(微虚拟机,如 Firecracker)以及 WebAssembly(WASM)等技术的实现 ...
现在AI最成熟的落地应用是编程和培训,其它场景和应用都没发展到商业级,包括AI动画。
现在AI最成熟的落地应用是编程和培训,其它场景和应用都没发展到商业级,包括AI动画。网上把各种AI周边工具吹得很玄乎,让你看得一头雾水,本质还是在贩卖焦虑。什么Agent,Mcp,Skills,Prompt,Openclaw,workflow等等概念和工具层出不穷。你要不知道好像根不上时代了一样。
但你每个都去试每个都去学,你的心智就彻底 ...
Google Translate 迎来 Gemini AI 重大升级!
#Google Translate 迎来 Gemini AI 重大升级!#
Google 利用 Gemini 多语言能力,大幅提升翻译的语境理解与语气精准度。主要新功能针对习语、俚语,提供多个自然备选翻译,并说明适用场景,例如正式邮件、朋友聊天或地区习惯。
新增 Understand 按钮,点击后 AI 会解释表达的细微差别、语气强度、文化背景及使用场合,帮 ...
在自主AI智能体领域,当语言模型获得工具执行权、持久记忆与多方通信能力后,将产生何种安全漏洞——这一问题悬而未决。
[AI]《Agents of Chaos》N Shapira, C Wendler, A Yen, G Sarti… [Northeastern University] (2026)
在自主AI智能体领域,当语言模型获得工具执行权、持久记忆与多方通信能力后,将产生何种安全漏洞——这一问题悬而未决。过去的评估受困于受控基准测试,本质原因是真实部署中的社会性攻击面无法在沙盒环境中被完整模拟 ...
幻觉翻译,一个专门翻译arxiv上论文的翻译服务
幻觉翻译,一个专门翻译arxiv上论文的翻译服务
地址: hjfy.top/
因为是基于 LaTex 源码翻译,相较于pdf翻译可以更多的保留布局、公式、图表及引用。
##
推上一篇关于Claude Code设计背后的工程决策,揭开了Agent Harness设计的艺术。
推上一篇关于Claude Code设计背后的工程决策,揭开了Agent Harness设计的艺术。现在越来越多人用Harness这个词了。
原帖:http://t.cn/AXcWSAS9
结构化翻译:http://t.cn/AXcWSASC
当前AI应用的三重驱动:
当前AI应用的三重驱动:
第一,四巨头启动AI入口之战,加速国民AI普及,伴随春节流量的爆发(需求)+大模型的密集更新(供给),供需双轮驱动,国产AI应用将进入新阶段。
2014年,移动互联网时代,腾讯、阿里双巨头在春晚展开流量入口之争,微信通过摇一摇红包一举奠定龙头地位。
2026年,AI时代,字节、腾讯、阿里、百 ...
openclaw的很多设计还是可圈可点的。 但是它那个东西有点太多了。
openclaw的很多设计还是可圈可点的。
但是它那个东西有点太多了。
其实openclaw的底层是一个编码智能体,但并不是claude code。
因为claude code太大太复杂了,东西太多了,耗费的资源也比较多。
openclaw用的是一个叫pi-mono的智能体框架。
如果你不想装openclaw那么复杂的东西,想自己做一个智能体。
但是你又不想从零 ...
现在的各种clawbot框架搞个几十几百个技能就拉倒了,小博则可以容纳亿级的。
现在的各种clawbot框架搞个几十几百个技能就拉倒了,小博则可以容纳亿级的。所以现在玩大模型的人很快就会落后,以后的大模型不需要现在的技术,不需要跟现在搞大模型的人合作。
但是大模型这个技术不管怎么发展,都无法做出比现在的某些机械设备更便宜的产品,它就始终要跟这些机械设备生产商合作。
还有一些千锤百炼的独 ...
Andrej Karpathy:2026年了,为Agent而构建! CLI 之所以令人兴奋
Andrej Karpathy:2026年了,为Agent而构建!
CLI 之所以令人兴奋,恰恰因为它是一种“传统”技术——这意味着 AI 智能体可以原生且轻松地使用它们,把它们组合起来,并通过完整的终端工具链与之交互。
例如,让你的 Claude 或 Codex Agent安装新的 Polymarket CLI,然后让它生成任意的仪表盘、界面或逻辑。智能体会帮你 ...