谷歌搜索部署反爬措施之后,大量 AI 智能体或爬虫涌进 Brave Search,导致后者压力巨大。经过评估,Brave 决定在未来几天部署反爬措施,同样采取类似谷歌的跳转中间页进行解密。

打开网易新闻 查看精彩图片

先看谷歌的做法。近期谷歌在部分搜索结果中使用 google.com/goto/ 中间地址进行解密跳转:用户点击结果时,请求先通过中间页发送到谷歌服务器进行实时解密,服务器解密后返回明文链接交给中间页,中间页再完成跳转。

部分用户点击搜索结果时可能遇到中间页风控,页面提示正在验证请求,需要等待几秒才能继续跳转。这套措施主要打击 AI 智能体或爬虫批量搜索和抓取关键词搜索结果。以前谷歌搜索结果都是明文的,不加密也不需要经过中间页跳转。

Brave 的新搜索结果会采用类似 search.brave.com/go/v1# 的形式,目标地址同样经过加密,需要交给服务器实时解密,服务器解密后的地址返回给跳转页,而且每条结果都使用各自的加解密密钥。

整个流程是这样的:

  1. 用户点击某个搜索结果时,浏览器向 Brave 服务器请求解密所需的信息;
  2. 该请求会经过随机化处理,让服务器可以处理请求;
  3. 服务器处理请求并下发解密信息;
  4. 浏览器获取结果后在本地解密地址,再跳转到目标地址。

中间页解密数据是有时效性的。如果爬虫抓取的都是加密后的链接,这些链接可能会在短期内失效,若无法绕过风控实时获取解密的地址,那意义不大。

Brave 向商业客户提供搜索 API 服务,普通用户和开发者也可以开通 Brave 搜索 API 服务,并获得每月 10 美元的合并免费额度,超额部分需要按次支付费用。

对 Brave 来说,当前 AI 智能体查询和各类收集数据的爬虫造成的压力非常大。通过加密搜索结果,可以打击高频次爬取行为,这有助于确保 Brave 搜索提供稳定服务。