人工智能将不再免费浏览网站

互联网基础设施提供商 Cloudflare 现在将默认屏蔽已知的 AI 爬虫，以防止它们“未经许可或付费访问内容”。Cloudflare 还会在新域名所有者设置域名时询问他们是否允许访问 AI，甚至还为一些出版商推出了通过“按次付费”模式收取访问费用的选项。

该模式将允许出版商和创作者设定人工智能公司访问其内容所需支付的价格。之后，人工智能公司将能够查看价格表，并决定是付费获取访问权限，还是选择退出。目前，该计划仅面向少数几家大型出版商和内容创作者，但 Cloudflar 表示，它将确保人工智能公司“以正确的方式、获得许可并获得适当的补偿”使用优质内容。

Cloudflare 长期以来一直在帮助域名所有者对抗 UI 爬虫。早在 2023 年，他们就允许网站屏蔽 UI 爬虫，但仅限于那些遵守 robots.txt 规则的网站。该文件不具有法律约束力，仅指示机器人可以访问哪些内容。后来，他们将屏蔽选项扩展到所有 UI 爬虫，无论它们是否遵守 robots.txt 规则。现在，所有 Cloudflare 新用户都默认启用此设置。Cloudflare 不会根据 robots.txt 规则识别机器人，而是使用其自己的已知 UI 爬虫列表来识别它们。

今年 3 月，他们还推出了一项功能，将不需要的网络爬虫引导到所谓的“UI 迷宫”中，在那里它们会被困住，无法在未经许可的情况下有效地收集内容。

已经支持 Cloudflare 全新 UI 爬虫限制的主要网站和出版商包括美联社、《大西洋月刊》、《财富》杂志、Stack Overflow 和 Quora。网站面临的未来是，越来越多的用户将通过 UI 聊天机器人而非传统搜索引擎来搜索信息。

Cloudflare 首席执行官马修·普林斯 (Matthew Prince) 在 Axios Live 活动上表示：“在过去六个月里，人们越来越信任人工智能，这意味着他们不再阅读原创内容。”

Cloudflare 还与人工智能公司合作，验证和认证他们的爬虫程序，并使其能够清晰地说明其用途，例如收集内容是为了学习、搜索还是推理。所有这些旨在让网站所有者能够自行验证并决定允许哪些机器人访问其内容。

普林斯在一份新闻稿中表示：“原创内容使互联网成为上个世纪最伟大的发明之一，我们必须共同保护它。到目前为止，UI爬虫一直在无限制地收集内容。我们的目标是将权力交还给创作者，同时仍然允许UI公司进行创新。”