当网页开始为 AI 而写，网站的读者正在从人类变成 AI

张春涛

【当网页开始为 AI 而写，网站的读者正在从人类变成 AI】Cloudflare 在 2026 年 2 月 12 日发布了“Markdown for Agents” 功能，在基础设施层面宣告：AI 才是网页未来的主要读者，人类还在看包装纸，AI 直接撕掉包装读信，而且现在连包装纸都开始自动撕了。


一、Cloudflare 到底做了什么？

Cloudflare（覆盖全球约 20% 的网站）在网络边缘（edge）新增了一个实时转换能力：
·AI Agent 发送请求时带 Accept: text/markdown 头;  
· Cloudflare 自动把后端返回的 HTML 转成干净的 Markdown，再返回给 Agent;  
· 人类浏览器依然看到原来的 HTML，完全无感知;

这不是一个新页面、也不是新 API，而是用 30 年前的 HTTP Content Negotiation 机制，让整个互联网在 AI 眼里突然“说人话”了。

二、为什么说省 80% 成本？

Cloudflare 官方列举真实数据：
HTML 版：16,180 tokens  
Markdown 版：3,150 tokens(减少 80.5%)

对任何做 Agent 的团队来说，这意味着：
·同样预算能爬 5 倍的网页  
·实时分析、实时总结、实时剧场素材生成成本直线下降  
·Context Window 压力大幅减轻

三、真正的“范式转移”在哪？

过去 30 年，Web 的设计逻辑始终是：为人类浏览器而建。
动画、Banner、广告位、追踪脚本、层层嵌套的 DOM……一切都是为了让人类看得爽、停留久、点击多。而 AI Agent 的需求完全不同。它不需要视觉盛宴，只需要结构清晰、语义明确、纯内容。Cloudflare 把这个需求直接做成了全球 CDN 层的标准能力。

2025 年全年数据已经给出信号：
AI 爬虫（不含 Googlebot）已占 Cloudflare 全网 HTML 请求的 4.2%，而 Googlebot 自己也只有 4.5%。某些高峰时段，AI 流量甚至反超。

三种流量彻底分道扬镳：
·人类浏览器流量（UI + 设计 + 广告）  
·传统搜索引擎流量（Googlebot 等）  
·AI Agent 流量（增长最快，正在爆发）

AI Agent 正在成为和人类、Google 同等重要的“第一公民”。

四、从 SEO 到 AEO

过去的内容优化叫 SEO——Search Engine Optimization，核心是讨好 Google 的排名算法。未来 2–3 年，真正的战场将转向 AEO —— Agent Engine Optimization。核心不再是“让 Google 排前面”，而是“让 LLM 更高效、更准确地理解、总结、引用你的内容”。

这会带来一系列深刻变化：
·语义层级必须极致清晰（H1–H6、列表、表格、引用）
·JSON-LD + Schema 重要性进一步提升
·Markdown 输出能力将成为标配
·内容生产会自然分裂成“双版本”（给人类看的华丽视觉版 + 给 Agent 看的极简结构版）
·甚至会出现 AI-Sitemap、llms.txt 2.0、Agent 专属 feed

有趣的是，就在几天前，Google 的 John Mueller 还公开表示“给 AI 单独做 Markdown 是蠢主意”。但市场不会等待。Cloudflare 已把这件事做成了基础设施，其他 CDN 跟进只是时间问题。

五、对内容生态的深远影响

1.抓取端降本 70%+
以后抓任何 Cloudflare 站点时，直接带 Accept: text/markdown，成本直接腰斩。你的自动分发系统可以大幅扩大抓取规模和频率。

2.输出端反向升级
把你的平台做成天生 AI-Friendly：
·每篇内容同时输出 HTML + 极致优化的 Markdown（带 frontmatter）
·提供专用 Agent API（直接返回 Markdown + metadata）
·加上 content-signal 头，明确允许 AI 训练/引用/输入
·未来甚至可以接 Cloudflare 的 Pay-per-Crawl，做“AI 流量变现”

这会让你成为一个“Agent 优先”的平台，当 Perplexity、ChatGPT Search、各种 Agent 搜索时，谁的内容最干净、结构最友好，谁就会被优先、准确、廉价地摄入。未来，AI Agent 将成为内容最主要的流量来源和分发渠道。

六、趋势
Cloudflare Radar 很快会新增“AI 流量仪表盘”，让站长清晰看到自己的 AI 流量占比与变现机会。Fastly、Akamai、AWS 等大 CDN也将跟进类似能力。出现“AI-Sitemap”“llms.txt 2.0”“Agent 专属 feed”。内容平台默认提供人类版 + Agent 版双轨输出。

长期来说新的网站架构将默认采用 先写 Markdown，再渲染 HTML 的流程。传统 SEO 公司集体转型为“Agent Optimization Agency”。网站不再只是给人看的“门面”，而是同时服务人类与 AI 的双面体。

最后这不是 Cloudflare 的一个技术小功能。
这是互联网诞生 30 多年来，基础设施层第一次正式承认：
AI 才是未来的主要读者。人类不会消失，但 AI 的阅读比例、引用比例、决策影响比例，会以我们难以想象的速度上升。当越来越多的网页开始“为 AI 而写”时，内容的生产逻辑、传播逻辑、商业逻辑，都将悄然重构。我们正站在这个重构的起点，未来的互联网，不会只属于人类，它将同时属于人类，和那些正在以光速阅读、总结、传播的 AI Agent。