近日网络服务商Cloudflare方面针对AI爬虫推出了一系列新工具，其中包括AI Audit和Block AI Scrapers and Crawlers等，旨在使得网站所有者、创作者和发布者能够轻松决定是否允许AI爬虫访问其内容。对此Cloudflare方面表示，“当AI爬虫访问网站内容时，所有Cloudflare用户都可以对其进行审核和控制”。
据了解，AI Audit可监控AI爬虫的类型和具体活动。具体而言，AI Audit会获取从网站访问中收集的日志，并查找与已知AI爬虫相匹配的用户代理，以及汇总每个爬虫的活动。而且AI Audit还将提供过滤器，以便网站管理员查看特定来源的AI爬虫的活动。通过AI Audit，网站管理员可查看AI爬虫的各种行为，包括访问频率、具体访问内容等。此外网站管理员还可通过AI Audit查看网站“最受欢迎的内容”，从而掌握一定时间段内相关内容的被抓取次数。
对此表示Cloudflare方面表示，“我们认为您应该知道AI爬虫爬取您网站的原因、时间和频率……利用这些数据，您可以开始分析AI爬虫如何访问您的网站”。此外Cloudflare方面还指出，“许多AI公司使用多个爬虫来完成不同的任务……这些差异很重要。来自不同类型爬虫的扫描可能会影响您网站的流量或内容的归属”。
而Block AI Scrapers and Crawlers则支持网站管理者一键屏蔽所有AI爬虫。对此Cloudflare方面表示，“这个一键式选项会根据Cloudflare维护的列表阻止已知的AI爬虫访问您的网站。实施屏蔽后，您和您的团队可以更从容地决定接下来该如何处理您的内容”。
据悉，如网站管理者决定“不允许任何爬取”，则只需继续保持开启Block AI Scrapers and Crawlers。如希望有选择性地允许部分AI爬虫爬取，Cloudflare也支持网站管理者进行相关操作。而且管理员还可自行创建规则，例如“阻止所有AI爬虫，但来自特定平台的除外”。对此Cloudflare方面强调，“除了应用这些新的过滤器外，我们还建议客户考虑更新其服务条款以涵盖这一新用例”。
值得一提的是，近日Cloudflare方面还宣布将在明年推出一个交易市场，允许AI公司付费获取网站内容的抓取权限。据Cloudflare方面介绍，网站运营者可以将自己的网站放在这个市场中，如果有AI开发商愿意付费购买其内容，则可以向后者提供接口以供抓取网站的内容用于AI大模型的训练。
【本文图片来自网络】
热门跟贴