如果你的网站在2026年第二季度发现服务器账单暴涨，但访客数量纹丝不动，那问题可能出在Meta身上。网络安全公司DataDome发布的最新分析报告显示，Meta AI的爬虫机器人在Q2制造了约90亿次请求，较上一季度增长超过163%，而这些海量访问给网站主带来的推荐流量为零。
这份由机器人管理和代理控制平台DataDome出具的报告，以直白的数字揭示了一个让内容发布者坐立不安的现实：网站承担了每一次爬取所产生的带宽成本、服务器资源消耗、日志存储和CDN交易费用，但当年搜索引擎爬虫“以收录换流量”的交换逻辑，在AI爬虫这里完全不适用。
相比之下，OpenAI的ChatGPT爬虫走了另一条路。DataDome的分析指出，ChatGPT的爬取流量实际上在下降，但它送出的推荐流量却持续走高，目前占到了AI工具给网站带来全部推荐流量的88%。用DataDome威胁研究副总裁Jérôme Segura的话说：“ChatGPT用更少的抓取换来了更多的推荐价值。”
Meta-WebIndexer爬虫的暴增意味着什么
Meta AI通常被公众当作“Facebook里的那个聊天机器人”，但事情正在变得复杂。报告中特别提到了一个名为Meta-WebIndexer的爬虫程序，正是它在Q2贡献了163%的环比增长。这一爬虫的出现暗示，Meta可能正在大规模索引网站内容，建立自己的网页图书馆——与谷歌过去几十年的做法如出一辙。
这也解释了为何Meta AI对网站的影响在Q2如此沉重。OpenAI的ChatGPT似乎已经“知道”了足够多的网页信息，可以直接依赖已有知识给出答案，无需频繁回头抓取。而Meta AI正处于拼命补课阶段，它的密集索引动作恰好说明它还需要大量原始网页数据来喂养自己的模型。
MCP信号：第三种力量浮出水面
除了两种截然不同的爬虫策略，DataDome还捕捉到了一个新变量的成长——模型上下文协议（MCP）信号。MCP的作用是把AI代理与外部工具连接起来，它的交互方式与标准爬虫流量截然不同：有些行为像普通用户，有些则纯粹是在刮取内容。
“Q2告诉我们，变化的速度超出了大多数组织的认知，”Segura在评论这份数据时说，“Meta现在已经主导了我们网络上的AI流量，MCP流量已经成为一个真实可测的信号，而ChatGPT正用更少的抓取驱动更多的推荐。”他同时警告，MCP从出现到成长为可量化的规模，意味着它也必须被纳入组织的攻击面管理范畴。
网站运营者面临的新命题
DataDome的立场自然带有网络安全视角——它的核心业务就是帮客户管理机器人流量。但抛开商业利益不谈，报告中提出的问题确实是真实的：当勒索软件、恶意程序和钓鱼攻击不会消失，而自主软件代理又在以全新方式访问网站时，运营者需要拿出不同的应对策略。
Segura提到的“正在制定策略的组织”，可能会选择给谷歌完全放开爬取权限，允许ChatGPT抓取特定内容，而对Meta的爬虫设置额外限制。报告的核心判断是：并非所有AI代理都是平等的。那些围绕这些差异建立访问策略的组织，正在获得竞争优势，而这恰恰是“代理信任”概念加速落地的原因——你得先判断一个爬虫值不值得信任，再决定让它访问什么。
对内容发布者而言，这份报告的刺痛之处在于把两件事同时摆上了桌面：你的服务器正在替别人买单，而那个把你吃干抹净的客人甚至不打算回一个链接。
热门跟贴