AI领域巨头支持新的数据抓取退出机制

OpenAI、Google、微软和Anthropic宣布将采用一种新的标准，允许出版商拒绝其网站内容被用于训练AI模型。该方案由Anthropic的技术负责人Kevin Kelley在IETF提出，核心是一个“政策令牌”信号，嵌入在网站现有的robots.txt文件中。此举旨在解决当前出版商需向每家AI公司单独设置偏好的繁琐问题，实现跨平台的统一选择。

目前，随着AI爬虫大规模抓取网页内容引发争议，业界已出现RSL授权标准和Cloudflare默认拦截等对抗措施。新令牌一旦发布，上述巨头承诺将限制爬虫访问标有此令牌的站点。微软指出，即便拒绝AI训练或地面验证，网站仍会正常出现在Bing搜索结果中；Google此前也已实施类似控制，确保搜索可见性不受影响。Meta通讯主管Andy Stone表示支持建立通用信号，但尚未明确公司是否会正式执行。

在实施时间表上，Anthropic已率先采纳该信号。Google和微软计划于明年支持，OpenAI则称将在未来几个月内落实。这一进展标志着大型AI厂商开始通过标准化协议回应出版商对数据使用的关切，试图在技术抓取与版权保护之间建立更清晰的边界。