2023年7月1日，Cloudflare 宣布了一种方式，让网站所有者在他们的机器人抓取页面以回答某人的问题的确切时刻开始向 AI 公司收费——不是为了几个月后的模型训练，而是为了立即回答。这还处于早期实验阶段，而且并不是唯一：像 x402 这样的开放支付通道也在为同样的理念构建。网络长期以来一直有阻止这种抓取的方式。现在它开始建立收费的方式。回答正在变成交易。这是一个奇怪的收费站构建，因为网络对 AI 的规则手册几乎没有承认这一时刻的存在。我们希望用数据来检查这一点，而不是依靠直觉，所以我们做了乏味的工作。我们抓取了前10,000个网站的 robots.txt 文件并阅读每个的声明——不是它的服务器实际提供的内容，也不是其边缘安静地阻止的内容，因为从外部没有人可以看到这一点。只是每个网站在自己前门发布的规则手册。5,577个网站有我们可以阅读的文件。这是一项研究，这个规则手册对回答时代的描述。简短版本：它是为另一场战争写的。这些规则是战争纪念碑。第一件您注意到的事情是日期。当您将这些文件中的 AI 规则与其首次编写的时间对齐时，它们并没有分散到 AI 时代中。它们在最初阶段堆积起来。在861个我们能够追溯其 GPTBot 规则的站点中，38% 是在一个季度内编写的——2023年的最后三个月（323个网站，为下一个最高季度的三倍）。一半是在爬虫启动后的大约六个月内编写的（861中的430）。那个季度并不是巧合。OpenAI 在2023年8月发布了 GPTBot；《纽约时报》在八周后起诉 OpenAI。如果您在那个秋天经营网站，您会受到真正的冲击，并且您会理性地通过将四行粘贴到文本文件中来应对这种情况，以阻止训练爬虫。这在2023年是合理的做法。今天仍可能是正确的选择。您可能会期望这些旧文件已经过时。但大多数并没有。在430个在恐慌期编写其 GPTBot 规则的网站中，87% 后来又回来添加了新的机器人规则；只有57个没有回归。有人一直在打开这些文件。然而，看看他们添加的内容，勤奋变得阴暗。新行几乎都是更多的训练爬虫——ClaudeBot 现在在671个这些网站上，PerplexityBot 在540个，仍在2026年继续攀升——而答复时间的机器人，获取页面以编写实时答案的那些，却只获得了少量的关注。自 GPTBot 以来没有任何东西以恐慌速度移动：每个跟随的爬虫在头两个季度中仅获得了3%到23%的规则，与2023年的洪水相比，缓慢的滴漏。恐慌是一种一次性事件。之后的一切都是肌肉记忆。因此，这个文件是一个战争纪念碑——只是并不是那种被遗弃的。它是那种人们不断回来的，每个刻在上面的名字都是来自同一场战争的另一个训练爬虫。这并不是忽视。这是视而不见，您不能通过更加努力地维护文件来修复视而不见的问题。当 AI 规则首次编写时，每个季度的训练爬虫（GPTBot）答复时间的机器人——每个站点的第一条规则（OAI-SearchBot，Claude-User，Claude-SearchBot，Perplexity-User）规则观察的第一个季度· 所有 1,197个阻止者0100200300网站323——恐慌季度81 2023202420252026每个网站在其规则首次出现的季度计算一次。在所有1,197个阻止者中，861个曾经写过一个有日期的 GPTBot 规则，只有大约一半（406）曾经写过一个答复时间的规则——低带从未上升到2023年的峰值。从互联网档案馆按首次出现时间标记。查看方法。每个 AI 公司运行两个机器人。大多数规则只知道一个。这是2023年规则手册遗漏的部分。每个大型 AI 供应商并不是只向您的网站发送一个机器人。它发送两个，它们执行不同的工作。一个是训练爬虫——它大量读取网络以构建模型。另一个是答复时间获取器——它在真实的人提出真实问题后出现，以将您的页面拉入正在为他们书写的答案中。第一个是2023年每个人都生气的那一个。第二个是现在重要的那一个，因为它是任何按答复收费的收费站将要计量的那个。每个 AI 供应商运行两个机器人；大多数规则只命名训练爬虫。训练爬虫读取网络以构建模型答复时间获取器在有人提出问题时到达GPTBotOpenAIOAI-SearchBot + ChatGPT-UserOpenAIClaudeBotAnthropicClaude-User + Claude-SearchBotAnthropicPerplexityBotPerplexityPerplexity-UserPerplexity分裂。在左侧阻止训练爬虫并不意味着右侧的答复时间获取器没有任何信息。因此，我们询问每个完全阻止某供应商的训练爬虫的网站：是否对该供应商的答复时间机器人说了任何话？大多数情况下，没有。在完全阻止每个训练爬虫的网站（可读的 robots.txt，前10,000）供应商训练爬虫他们阻止的答复时间机器人）说明没有任何信息