AI爬虫最贵的开销，往往花在了根本不存在的内容上。Cloudflare与OpenAI做了一次实验，把过滤逻辑从源站挪到边缘网络，让爬虫在发起请求之前就避开无效路径。

传统爬虫依赖超链接图谱一路爬下去，问题在于图谱里混着大量404假路径和长期不更新的死水页面。带宽就这么被消耗掉，真正有价值的长尾内容反而难以触达。

实验给出的解法是把过滤前置到网关层。边缘网络在请求发起前拦掉无效路径，只在页面真正发生变更时通知爬虫回访。爬虫不必反复确认"这里有没有新东西"，源站的带宽压力也随之下降。

被这套机制精准抓到的，是维修手册、营业时间这类长尾高价值内容。它们分散、更新不规律，靠盲爬很难覆盖，但一旦有了变更信号，收录效率就上来了。

隐私边界也划在了网关层。共享的只是用于索引的元数据，不用于训练；站长一侧通过 AI Crawl Control 保留控制权。抓取效率、源站成本和权限管理，被放进了同一个环节处理。

对做源站的人来说，这件事的信号很直接：无效请求的账单，不该由后端来付。