快速导读:以“网络保安”形象著称的Cloudflare,发布了一个能一键爬取整个网站的API。这个“屠龙者变恶龙”的举动,让它从网站的守护神变成了最强爬虫服务商,在开发者社区引发了大量讽刺和对商业本质的探讨。
---
一个用户在Cloudflare的新功能公告下,提出了一个足以载入史册的问题:
“我能用Cloudflare的防火墙,去拦截Cloudflare自己的爬虫吗?”
这个问题下面,充满了“等等,我没看错吧”的困惑和恍然大悟的笑声。就在几小时前,那个以阻挡机器人、保护网站免受恶意爬取而闻名的Cloudflare,高调推出了一个名为 /crawl 的API。
你没看错。过去,你以为Cloudflare是你网站门口最忠诚的保安,每天帮你识别并驱赶成千上万的爬虫。现在,这位保安转身开了一家万能钥匙店。只需要一个API调用,不需要任何复杂的脚本和浏览器管理,任何人都可以将一个网站的内容完整打包带走,格式还是处理得干干净净的Markdown或JSON。有开发者一针见血:这简直是为网络爬虫工作流提供了“跳过片头”按钮。
这背后当然不是精神分裂,而是冷静到可怕的商业计算。Cloudflare花了十几年时间,建立了全球最强的“人机识别”网络。现在,它把这套能力从“防御”端,直接复用到了“攻击”端。一位用户评论道:“先卖问题,再卖解决方案。”—— 他们完美地诠释了这句话。尤其在RAG和AI模型训练对高质量数据需求爆炸的今天,谁比Cloudflare更懂如何“礼貌”或“不礼貌”地进入一个网站呢?
这一举动直接改变了牌桌上的规则。如果你是一个依赖爬虫获取数据的开发者,过去需要用Puppeteer或Selenium写上几周、并持续维护的脚本,现在可能真的只是一个API调用的事。但如果你是一个网站运营者,问题就变得棘手了:你用来抵御爬虫的服务,现在成了最强大的爬虫供应商。那个关于“用Cloudflare之矛,攻Cloudflare之盾”的悖论,不再是一个技术笑话。
所以,当守门人亲自开始售卖万能钥匙时,我们真正应该思考的问题是:这个世界上还有绝对安全的门锁吗?
---
简评:
“你或者像个英雄一样阻止爬虫,或者活得足够久,看到自己变成爬虫本身。”—— 这已经不是《蝙蝠侠》的台词了,这是Cloudflare的商业模式。
#AI创造营##人工智能#