今年3月的一场黑客松启动会上，you.com的一位代表说了句话，让一个开发者记到现在：现在的网页有了第二类读者。第一类是真人，第二类是机器。当你向ChatGPT或Perplexity提问时，背后的检索爬虫会抓取你的页面，读取返回的标记代码——不是浏览器渲染出来的样子，而是原始的HTML标记。

这个"第二读者"的想法让开发者很受触动，他决定动手做点什么。第一次做出来，觉得能改进，又做了第二版。两次都投了黑客松，两次都没获奖。但就在这期间，谷歌和Vercel先后上线了类似的东西。

打开网易新闻 查看精彩图片

四款工具指向同一个问题

5月7日，谷歌在Lighthouse中上线了Agentic Browsing（智能体浏览）类别。8月21日，Vercel和Ora联合推出了is-agentic.com。加上这位开发者自己做的两个项目，现在一共有四款工具，都在回答同一个问题：AI智能体能不能用你这个网站？同一个问题，三个答案，而且各方对"智能体看到你的页面"这件事的定义并不一致。

这位开发者的第一个作品叫Hermes Clew，是为GitLab Duo Agent Platform Challenge做的。它是一个Python引擎，遍历代码仓库里的HTML、JSX和TSX文件，按六个维度打分（满分100），让Duo Chat能基于这些发现进行推理。工具能用，他自己也挺喜欢这个骨架。

但回头看，它在两个方向上跑偏了，当时他没意识到。

读文件不等于读页面

第一，它读的是文件，不是页面。代码仓库不是智能体真正遇到的东西，智能体遇到的是一个URL。第二，它告诉你该怎么修——给出排序的修复建议、工作量估算、代码示例。当时写这些是因为觉得更有帮助。没获奖之后，他慢慢想明白了为什么这些修复建议让他不舒服，于是开始重建。

第二个作品叫Agentis Lux，跑在Perseus Clew引擎上，输入的是一个实时URL而不是代码仓库。六项确定性检查，只读原始HTML，不执行JavaScript——因为检索爬虫拿到的就是这些。他在博客里写过这个构建过程，也写过上线版本。

两个作品最大的区别在于：Hermes Clew告诉你如何修复，Agentis Lux不告诉你。这是他最在意的一个改动，虽然看起来像缺了个功能。

发现和建议之间隔着一层判断

在他看来，发现（finding）处在金字塔的底部。一个发现是关于智能体做不到什么的事实。而一个修复建议，是对别人代码库的决策——由从未见过这个代码库的人做出，既不知道当时的约束条件，也不知道谁在负责回归测试。让模型直接输出第一个修复方案，他觉得太鲁莽了。也许是他太谨慎，但他也清楚，自己不是那个代码库的专家。

他自己也拿这个工具跑自己的网站。工具告诉他某个标题对爬虫不可读，然后就停了。他内心其实想要一段话告诉他该换成什么，但他还是选择不加上这个功能。另一个方向也给了他同样的教训：当Kiro和Claude完全按他要求的输出时，结果并不是他想要的。

自信的输出不等于正确的输出——这是他反复学到的教训。

Lighthouse 13.3在2026年5月7日上线，新增了Agentic Browsing类别，包含四项检查，其中一项是llms.txt文件——一个仍在提案阶段的文本格式标准。