谷歌、微软和OpenAI同时表态，支持在 robots.txt 里用一套共享方式表达AI训练偏好。对发布方来说，这有望缓解一个越来越麻烦的运维问题：一边要给多家AI厂商分别维护爬虫指令，一边还得保住常规搜索和AI回答里的曝光。

打开网易新闻 查看精彩图片

但这不是立刻全面切换。谷歌说计划2027年支持这套共享控制，微软公布了必应的分阶段过渡安排，OpenAI表示愿意在未来几个月内遵守共同信号。三家的公告确立了一个原则：AI训练偏好可能越来越多地通过共同标准处理，而不是一堆厂商各自的规则。

共享信号到底管什么

技术基础是一份互联网工程任务组（IETF）草案，编号 draft-kelley-aipref-training-preference-signal-00，发布于2026年10月30日。它描述了一种策略令牌（policy-token）方式，通过 robots.txt 表达AI训练偏好。

robots.txt 本来就是技术SEO的日常操作。站点所有者用它传达爬虫访问偏好，但AI系统带来了更细的问题：发布方可能想限制内容用于模型训练，同时仍出现在搜索结果里；也可能想对训练和使用页面支撑AI生成回答分别设规则。这套共享信号专门围绕训练问题设计，不意味着现有AI爬虫指令全部消失，也不自动解决抓取、索引或AI回答中引用的一切问题。

谷歌的默认解释值得注意

谷歌在搜索中心的公告里说，计划2027年支持共享控制，同时描述了一个后果不小的默认行为：如果网站使用了共享AI训练控制，但没有明确写出对 Google-Extended 的偏好，谷歌计划把这种配置视为 Google-Extended 已被禁止。谷歌把这解释为与简化发布方控制的整体意图保持一致。

对技术团队来说，这意味着未来的落地不能当成随手往 robots.txt 里加一行。共享偏好与现有谷歌专属指令之间的交互需要专门审查。目前依赖 Google-Extended 设置的发布方，在改动任何东西之前应先记录现有策略。

谷歌的公告针对的是计划中的支持和解释方式，不能读成某种配置一定会影响排名、索引、流量或每一次AI回答中的收录。

必应把训练和接地拆开了

微软必应的公告更细：为AI训练（AI Training）和AI接地（AI Grounding）分别设置独立偏好，外加页面级覆盖。这个区分对发布方很关键——训练关乎内容能否用于开发模型，接地关乎内容能否用于支撑或影响AI回答，两种用途在编辑、商业和可发现性上的含义并不相同。

微软的过渡从2027年2月1日开始。必应还提到接地过渡从2026年12月开始，临时接地选项在2027年9月30日到期。分阶段时间表给了发布方理解新模型的时间，也意味着过渡期间指令的实际效果可能不一致。

OpenAI同样表示愿意遵守 robots.txt 中用于AI训练偏好的共同信号。其声明称共享信号将在未来几个月内实施，且不会取代现有爬虫控制。

落地前该做的准备

在相关实施细节和上线日期生效之前，没有理由急着改生产环境。但准备工作有充分理由：

  • 盘点现有 robots.txt 指令，包括所有AI爬虫控制和 Google-Extended 偏好。很多组织的指令是法律、编辑和SEO各自决策累积出来的，盘点清楚才能在共享控制到来时发现冲突或意外默认。
  • 把策略决策和实施决策分开。相关方应先确定对AI训练、AI接地、搜索抓取和页面级例外的策略是否不同。必应的模型说明，简单的是非题未必覆盖发布方可做的选择。
  • 确保改动纳入版本控制并经过测试。一条格式错误或范围过宽的 robots.txt 规则，影响可能超出预期的AI用途。团队应记录理由、实施日期和受影响的用户代理或令牌，部署后监控抓取行为和自然发现。
  • 别把AI训练偏好当成AI可见性策略。控制表达的是对特定内容用途的偏好，本身不会让页面更容易被引用、提升内容质量，也不保证系统在回答中展示某个品牌。

测量口径也在变

共享控制的公告之外，还有两件事提醒人们谨慎解读SEO报表。SE Ranking对无关谷歌结果的研究报告称"中毒"搜索结果激增，表现为单词片段导致结果看起来不相关。该公司发现57.3%的跟踪关键词在一夜之间受影响，一周内升至67.2%，多数问题始于前八名之外。这是其跟踪关键词集的发现，不是对全部谷歌搜索的测量，但足以提醒：仪表盘上的排名突变可能反映异常结果集，而非真实的可见性损失。

PageSpeed Insights 也采用了2026年10月27日发布的 Lighthouse 13.6.0。此次更新改变了用于实验室评分的 Lantern 模拟，即使底层站点没变，分数也可能移动。对比性能报告时尽量使用同一 Lighthouse 版本，并给实地数据适当权重。

共享的AI训练偏好可能让发布方控制更好管理，但不会消除精确策略和技术审查的必要。谷歌、必应和OpenAI时间表各不相同，必应又把接地和训练分开，实际优先级是：记录现有指令，理解各平台提供的选项，别把仪表盘波动当成可见性变化的证据。