网站已经上线,浏览器里能打开,页面加载正常,看起来也做完了,但谷歌表现得像它不存在。搜域名搜不到,搜首页里的一句话也搜不到。这是用 AI 生成(vibe-coding)的站点最常见的“隐形故障”,通常一个下午就能修好——前提是别再猜,按正确顺序逐项检查。

打开网易新闻 查看精彩图片

先弄清楚“未被收录”到底是什么意思。收录不等于排名,也不等于网站活着。一个页面被收录,是指谷歌已经抓取它、理解它,并以能出现在结果里的方式存了下来。页面可以活着但没被收录,也可以被收录却排在第十页,或者被收录且排名不错。如果站点是新的,最可能的情况比想象中简单:谷歌还没处理完。新站点在 Search Console 里显示“正在处理数据”是常态,那不是报错,是排队。

动手改任何东西之前,先确认谷歌到底知不知道这个站。打开 Google Search Console,选中你的资源,看 Performance 报告。如果显示有曝光,哪怕只有几次,说明谷歌已经找到了页面。如果什么都没有,而 Pages 报告说还在处理数据,那就等一天再看,别急着重建。在谷歌还在处理第一版的时候改 URL、改标题、改结构,只会让计时重新开始。

第一步:谷歌能不能访问到站点?

最快的检查是 robots.txt。在浏览器里打开 yourdomain.com/robots.txt。如果它禁止了一切,或者禁止了你关心的页面,答案就在这里。这是 vibe-coding 常见的事故:模板、预发布环境的配置,或者一个 AI 生成的文件屏蔽了爬虫,然后原封不动上了生产环境。

同时查一下 noindex 标签。打开页面查看源代码,搜索“noindex”。一个 noindex meta 标签,或者一个发送 noindex 的 X-Robots-Tag 响应头,等于告诉谷歌:可以抓这个页面,然后把它扔掉。预发布站点是有意用 noindex 的,生产站点则常常在复制预发布配置时意外继承。把它从生产环境移除,且只从生产环境移除。

如果 robots.txt 和 noindex 都没问题,再确认页面真的返回 200 状态码,而不是重定向循环、404,或者一个只有 JavaScript 外壳、HTML 里没有内容的页面。谷歌会渲染 JavaScript,但一个要等客户端长时间加载后才出现内容的页面,比内容直接写在 HTML 里的页面收录更慢,也更容易被误读。

第二步:有没有 sitemap,它和现实对得上吗?

sitemap 是你希望被收录的页面清单,提交给 Search Console。它不保证收录,但缺失、过期或错误的 sitemap 会让谷歌的工作更难,对一个没有任何外链的新站尤其如此。

查三件事:

  • yourdomain.com/sitemap.xml 是否存在,加载是否报错;
  • 是否已在 Search Console 提交,状态是否显示 Success,最近读取日期是否够新;
  • 里面的 URL 是否是真实、规范的地址:同一个主机、同样的 www 或非 www 选择、同样的结尾斜杠行为,与线上页面一致。

一个塞满重定向或重复 URL 的 sitemap,只会让谷歌不再信任它。如果你同时有 www 和非 www 两份 sitemap,选一个规范主机,然后在所有地方保持一致:canonical 标签、sitemap、内链,以及提交到 Search Console 的那份 sitemap。混用的 canonical 会在新站还没有任何权重的时候,把权重拆到自己的两个版本上。

第三步:你的页面值得被收录吗?

谷歌只收录它认为有用且彼此不同的页面。vibe-coded 站点常常在几个具体、可修的地方栽跟头:由模板生成的大量近乎相同的页面,只有一段泛泛文字的薄页面,或者纯粹为了放一个链接、一个表单而存在的页面。这些不会让整个站被惩罚,但也不会被积极收录。

对每个想被收录的页面问三个问题:它说的是访客从你其他页面拿不到的东西吗?它有一个真正描述内容的标题、长度在 60 个字符以内,而不是每页都重复同一个品牌名吗?它有一个描述该页面的 meta description,而不是缺失或重复的吗?先修那些已经在 Search Console 里有曝光的页面,因为谷歌已经对它们表现出兴趣。

内链同样重要。一个站内没有任何链接指向的页面是孤儿页,孤儿页最后才被收录,甚至不被收录。每个重要页面都应该能从首页或主导航经过少数几次点击到达,而不是只能从 sitemap 找到。

第四步:请谷歌来看,然后别动它

访问、sitemap、canonical 和内容都清理干净之后,用 Search Console 对首页和几个关键页面请求收录。这是请求,不是命令,也不会立刻生效。请求之后,听起来最没用但最正确的建议是:别碰这些 URL。请求收录后再改 URL、标题或 slug,会让谷歌为那个页面从头再来。

新域名需要时间。正常收录花上一到四周是常见的,最早的曝光往往先于点击出现,形式是在非常具体的查询下排在很靠后的位置。那是进展,不是失败。一个页面在某个精确短语下排在第 40 位,说明它已经被收录了。把它排得更高是另一件事,要从内容和内链做起,而不是继续提交收录请求。

按顺序执行的清单

  1. 在 Search Console 里确认问题,改任何东西之前先看 Pages 报告是否还在处理。
  2. 检查 robots.txt 是否整体屏蔽,检查页面是否有 noindex 标签或响应头。
  3. 确认页面返回 200,且内容直接写在 HTML 里。
  4. 确认 sitemap 存在、已提交、状态为 Success,且只列出真实的规范 URL。
  5. 修薄页面、重复页面和孤儿页,从已有曝光的页面开始。
  6. 给每个页面一个 60 字符以内的独立标题和一个真实的 meta description。
  7. 对首页和关键页面请求收录,然后停止改动它们的 URL。
  8. 等待。按周检查,不要按小时,先看曝光,再看点击。

一个 vibe-coded 站点没被收录,不是因为它由 AI 构建。它没被收录,是因为访问被挡住、sitemap 有错、页面太薄,或者谷歌只是还没处理完。这是四个不同的问题,对应四种不同的修法,上面这份清单能帮你在动手修错东西之前,先判断自己遇到的是哪一种。