产业观察

Cloudflare 推出新设置:可允许搜索引擎爬取,同时拒绝 AI 训练

IT之家·2026/9/16 07:42:58🔗 原文

📋总体概括

Cloudflare于9月16日推出新设置「Disallow AI Training」,网站管理员可继续接受搜索引擎爬取,同时拒绝内容被用于AI模型训练。苹果、谷歌和微软已承诺遵守该设置。启用后,Cloudflare仍允许被标记为「Accountable」的可问责混合爬虫抓取,其余AI训练爬虫将被拦截,但拦截可能影响搜索排名。原Training设置选「Block」或「Block on pages with ads」的客户将自动迁移,大多数客户无需手动更改。这是内容方与AI公司博弈中的一次规则细化。

关键信息

  • Cloudflare 9月16日推出「Disallow AI Training」设置,可放行搜索爬虫、拦截AI训练爬虫
  • 苹果、谷歌和微软三家已承诺遵守该设置
  • 被标记为「Accountable」的混合爬虫仍可抓取,用于搜索和AI训练
  • 官方提示拦截AI爬虫可能影响网站搜索排名,存在实际利益权衡
  • 原选择Block或Block on pages with ads的网站将自动迁移至新设置,多数客户无需操作

🔥犀利点评

这本质上是给「内容该不该喂AI」装了个精细阀门:搜索流量是网站的命根,训练数据是AI公司的口粮,Cloudflare试图让两者解耦。但别高兴太早——承诺遵守的是苹果谷歌微软,而真正疯狂薅数据爬取内容的往往是不讲规矩的小公司,它们根本不理robots协议。所谓「Accountable」标记由Cloudflare单方认定,裁判员兼运动员的嫌疑不轻。更微妙的是拦截可能伤搜索排名,等于用Google的鞭子逼你妥协。规则在进化,但权力结构没变。

本文由本站自动聚合,以下为原始来源:前往 IT之家 阅读全文