TIME被曝双标：人类访问网页303KB，AI爬虫只给13KB带广告Markdown

字节漫游指南

2026-08-06 15:17 ·北京

IT之家 8 月 6 日消息，科技媒体 vincentschmalbach 于 8 月 5 日发布博文称，《时代》（TIME）针对当前网络环境，为普通人类读者和 AI 爬虫设计了不同的访问逻辑。开发者文森特·施马尔巴赫（Vincent Schmalbach）测试发现，访问同一链接的文章时，人类读者看到的是常规网页，而 AI 爬虫收到的却是单独的、带有广告的 Markdown 版本。据介绍，面向 AI 爬虫的页面使用 Markdown 格式，相比普通网页中的图片、菜单和显示代码，Markdown 更便于基于文本的 AI 系统解析文章和链接。施马尔巴赫通过修改 User-Agent 进行测试：使用常规浏览器访问时，TIME 返回约 303KB 的 HTML；将访问身份改为 ClaudeBot 和 PerplexityBot 后，网站返回约 13KB 的 Markdown。实际响应头中 content-type 被设为 text/markdown，说明服务器确实向这些爬虫发送的是 Markdown 内容。值得注意的是，这套专供 AI 的 Markdown 内容还整合了定向广告，相关服务由 AI 广告技术公司 Mobian 提供。为了让生成式 AI 更容易读取广告主信息，专题页和其他栏目中还会出现问答格式的赞助信息。这些广告明确标注为赞助内容，但在普通人类读者访问时不会出现。有评论认为，这意味着《时代》在默认允许 AI 爬虫抓取内容的同时，也在尝试把 AI 流量转化为收入。整体来看，人类读者和 AI 看到的已近乎是两套页面，这种差异化处理方式也引发了关于内容透明度和广告嵌入方式的讨论。