近日，软件开发者Vincent Schmalbach发现，美国新闻杂志《TIME》会根据访问者身份返回不同版本的网页。对于普通人类读者，TIME展示的是包含图片、菜单、页面样式等完整内容的常规HTML页面；而对于部分AI爬虫，TIME则会提供一种经过精简、更适合机器抓取、并且内嵌广告的Markdown版本。这一发现正在引发关于“AI时代网页内容与广告模式”的讨论。 Schmalbach通过修改User-Agent（标识浏览器或爬虫类型的HTTP字段）进行测试。结果显示，使用普通浏览器访问时，TIME返回约303KB的HTML页面；而使用ClaudeBot或PerplexityBot等AI爬虫访问时，服务器只返回约13KB的Markdown文本。响应头中的content-type为text/markdown，说明TIME针对AI模型专门提供了更容易解析的内容格式。普通网页中大量用于视觉呈现的代码和元素，对AI阅读器来说并不高效，Markdown版则能直接提取文章正文和链接。 更值得注意的是，AI版页面中包含指向AI广告技术公司Mobian的标记，以及每次访问都会变化的广告展示ID。在专题页面中，TIME还会以问答形式插入赞助商信息，让生成式AI更容易读取和引用广告主的内容。虽然这些内容被明确标注为“赞助内容”，但它们不会出现在人类读者所见的页面上。换句话说，普通用户无法通过浏览器直接确认AI版广告的实际展示方式。 TIME回应称，在许多日子里，AI机器人对其网站的访问量已经超过人类读者。Schmalbach认为，这是“网站主要读者变成AI模型”这一趋势的早期案例。随着ChatGPT、Claude等AI服务越来越多地依赖爬虫抓取网页信息，出版机构如何在AI流量与广告收入之间取得平衡，正成为一个愈发重要的课题。此前，Google搜索的AI模式已被官方宣布将包含广告，OpenAI也开始尝试在ChatGPT中展示广告，TIME的做法或许标志着媒体网站也开始为AI读者“定制”广告体验。
热门跟贴