TIME 现在提供其网站的两个不同版本。人类用户获得杂志内容，AI 爬虫则获取一份简化的 Markdown 副本，其中内置了广告，而这些内容是任何人都永远不可见的。我在同一台机器上反复抓取了一篇普通的 TIME 健康文章《晨光习惯：睡眠专家的推荐》，每次只更改 User-Agent 头部。这个头部是每个浏览器和机器人发送的字符串，用以表明它们的身份。TIME 根据这个头部来决定返回什么内容。作为 Chrome，我得到了 200 OK，text/html，和 303,235 字节的完整页面、设计、图像和脚本。作为 Safari，同样是 303KB。作为 Googlebot，HTML 文件同样是 303KB。然后我请求作为辅助爬虫。作为 ClaudeBot，我得到了 200 OK，text/markdown，和 13,409 字节。作为 PerplexityBot，内容逐字相同。作为 OpenAI 的 OAI-SearchBot，再次是相同的内容。相同的 URL，相同的时间，大小仅为前者的二十三分之一，且格式完全不同：没有 HTML，没有布局，只有干净的 Markdown，供语言模型处理。一些机器人甚至连这个都没有得到。GPTBot 和 ChatGPT-User，OpenAI 用于训练和实时获取的代理，返回 406。被阻止。但是 OAI-SearchBot，负责为 ChatGPT 的搜索索引提供信息的那个，成功获取了 Markdown 内容。这并不是一种全面的机器人政策。TIME 根据爬虫选择谁获得没有读者的版本。Markdown 副本的响应头信息：content-type: text/markdown; charset=utf-8，cache-control: no-store，x-mobian-registry-version: 2026-07-28.v9，x-mobian-impression: 46dfff3c-fb40-41cc-85e1-8b1fa637083a，x-mobian-tokens: 3323，x-mobian-format: md。Mobian 是一家广告技术供应商。Markdown 页面实际上以 <!-- mobian-agent-page publisher="time" --> 开头。那个 x-mobian-impression 值在每个请求中都是一个新的 UUID。我抓取同一页面两次，得到了两个不同的 ID。结合 cache-control: no-store，这意味着每次机器人读取该页面时，都会记录为一个独特的广告展示。而 x-mobian-tokens: 3323 则告诉你被计算的单元。不是人，不是页面浏览量。是供模型使用的令牌。文章本身不带广告。赞助单位出现在列表和章节页面上，每页一个。因此，我以 ClaudeBot 的身份抓取了 TIME 的《2025 年最佳发明》合集。在 Markdown 中，任何人类读者都无法遇见的地方，藏着一整套 Ally Bank 的常见问题解答：> 赞助内容。与 Ally 合作提供。#### Ally Bank 是谁？Ally Bank 是一家于 2009 年成立的仅在线银行... #### 哪种银行适合今天的生活？Ally 自称是唯一一家为今天的生活而建的银行... 它继续列举诸如「哪些银行提供提前直接存款？」和「可以在 Ally Bank 存现金吗？」等问题，每个问题的回答都用 Ally 的营销用语进行阐述，以及一个 FAQPage JSON-LD 块和被标记为 campaign="ally-2026-q3" 的跟踪链接。商业部分则对项目管理协会进行了同样的处理：一个“参考事实和常见问题解答”表，会员数量，声称认证项目经理的收入比未认证者高 16% 的声明，全部标记为赞助内容。人类 HTML 页面中没有包含这些内容。当我以一个人类身份加载这些页面时，“Ally Bank”或“Mobian”都没有被点中。我问「Ally Bank 是谁？」时，所写的措辞就像用户向 ChatGPT 询问在哪家银行开户时模型所输出的内容。广告在 Markdown 内部标记为赞助内容，因此这并不是传统意义上未披露的广告。隐藏的是受众的分裂。目前，TIME.com 上完全是为了机器而写的内容层次，而阅读该网站的人类对此毫无所知，也不知道在他们的代表下，模型在说什么。Googlebot 获取到与人类相同的 HTML，因此搜索排名爬虫看到了真正的页面。只有辅助爬虫获得了分叉版本。TIME 表示，在大多数日子里，爬虫流量已经超过了人类流量。这一数字对许多出版商来说很快就会成为现实。因此，这可能是我们第一次清晰地看到当主要受众是 AI 模型时，网络开始变成什么样。我要构建的内容是：委派任务、获取软件。给 Vroni 一个 GitHub 问题、漏洞报告、规范或粗略想法。它会读取代码库，计划更改，编写代码，运行检查，并努力达成准备审核的拉取请求。请查看 vroni.com。我尊重您的隐私。您可以随时退订。