技术SEO的日常正在变味。以前是琢磨怎么让搜索引擎读懂页面,现在得先回答一个更前置的问题:谁可以读,读完能拿去做什么。爬虫权限配置从边角料变成了操作层面的正经事,但动手改全站规则之前,有件事得先做——把真实流量盘清楚,把搜索索引、模型训练、内容接地这三类用途分开看。
最容易踩的坑,是把搜索访问和其他用途混在一个开关里。下面这段配置的思路是:允许谷歌搜索抓取,同时按内容政策拒绝由 Google-Extended 管辖的用途。它不是一个全站访问控制机制。
- User-agent: Googlebot,Allow: /
- User-agent: Google-Extended,Disallow: /
这里有个关键细节:对 Google-Extended 写 Disallow,不会让页面从谷歌搜索结果里消失。官方文档说得很清楚,它不影响站点是否被谷歌搜索收录,也不作为搜索排名因素。反过来,在 User-agent: * 下做全站屏蔽,会连 Googlebot 一起挡住——这种"误伤式屏蔽"是技术SEO里最常见的自伤。
训练和接地,是两件事
AI训练指的是网页内容是否被用来训练模型的未来版本,影响的是模型参数。AI接地指的是模型在回答时是否实时检索网页内容作为事实依据,影响的是你的信息能不能出现在某一次具体回答里。前者关乎内容资产被无偿使用,后者关乎你能不能出现在AI答案中,商业后果完全不同。
按谷歌对 Google-Extended 的官方解释,这个令牌控制的是谷歌从网站抓取的内容能否用于训练未来版本的 Gemini 模型。这些模型支撑 Gemini 应用和 Vertex AI 上的 Gemini,该令牌也用于把谷歌搜索索引里的内容提供给 Gemini 应用中的模型,以提升事实性和相关性,以及用于 Vertex AI 上使用谷歌搜索时的接地。
也就是说,在谷歌的实现里,训练许可和接地许可由同一个令牌覆盖。想"禁止训练但保留引用"的运营者,得逐家确认目标平台是否提供这种分离能力,不能假设所有平台都已经拆开了。
屏蔽训练,AI搜索引用会受牵连吗
答案看场景,一句话说不完。在谷歌搜索内部,不会。AI功能建立在搜索索引之上,屏蔽训练不会让页面失去被收录的机会,这是 Google-Extended 和 Googlebot 分开设计的直接结果。
换成其他AI助手,就得查各家的控制项了。这些系统用自己的爬虫,平台规则在是否执行 JavaScript、是否受 robots.txt 约束、是否优先抓取结构清晰的页面上各不相同。有些服务商把训练爬虫和搜索、用户触发的抓取器分开。不能想当然认为退出训练就会挡住搜索引用;一刀切封禁则可能两边都受影响。
有个实操提醒:希望AI看到的内容,关键信息应直接出现在原始 HTML 里;反过来,JavaScript 渲染也能当保护措施用,让不想被批量提取的资产更难被读到。这是取舍,不是免费开关。
监控层面很容易变瞎。真正的风险是屏蔽之后看不到效果——如果日志里连对应记录都没有,就分不清是"没人来爬"还是"爬了但没引用"。
五步落地,别凭印象加规则
- 先盘点再动手。用日志确认实际来访的 user agent,按 UA 统计请求数,看完清单再定政策,别凭印象给某个 UA 加屏蔽。
- 定义政策分层。真正敏感的内容用身份认证保护,robots.txt 不是访问控制。公开内容至少分三类页面:需要可搜索且可被AI引用的营销页、只给人看的敏感内容、可以公开但不该用于训练的材料。这三类不该共用同一条规则。
- 写配置并标注意图。在 robots.txt 里用注释说明每条规则的业务理由,方便日后交接和审计。
- 验证。用平台的 robots.txt 测试工具检查目标 UA 的解析结果,再读一遍日志确认抓取变化。
- 建立复核节奏。共享的训练偏好信号还在推进中,按季度复核,别配一次就长期不管。
几个常见误区值得单独拎出来:把 robots.txt 当法律屏障,它表达意图但没有执行力,真保护得靠内容分层、访问控制和合同条款;以为屏蔽训练等于内容隐身,谷歌搜索收录和 Google-Extended 是分开的,其他助手也可能分开训练与搜索,得逐家查当前控制项;只处理训练忽略接地,平台若把两者绑在同一令牌上,屏蔽训练也会削弱被引用的机会;把权限管理当流量开关,它决定的是"谁能读、读完能做什么",不承诺排名、流量或转化。
还有渲染差异。内容只存在于 JavaScript 里,对某一类爬虫等于静默,这已经超出权限配置的范畴,得前端和架构一起改。
技术SEO的日常工作,正从"帮搜索引擎理解"扩展到"说清楚谁能读、读完能做什么"。如果站点的页面结构、结构化信息和内容更新本身就是乱的,权限配置只会把这个乱记录下来。把建站和内容运营放在同一套体系里推进,通常比事后加规则更划算——页面结构、可引用信息块和上线流程一起成型,后续的权限政策才更容易落到具体页面类型上。
至于要不要赶在2027年前改完配置:不必立刻动手,但建议在2027年前完成盘点和策略定义。共享训练偏好信号仍在推进,上线日期和支持语法要查最新官方文档;提前把页面分层理清的团队,等字段正式生效时只需改几行配置。
热门跟贴