返回

文章详情

只有 8.9% 的网站阻止 AI 爬虫,但 94.8% 从未在 AI 答案中被引用

Hacker News2026年8月2日 11:53

我们的条款和隐私政策于 2026 年 7 月 27 日更新。请阅读条款和隐私政策。AI 可见性指数测量的内容该指数分别追踪两个方面,因为“对 AI 可见”实际上是两个具有不同原因的问题。答案存在性客户向助手询问某个地区的最佳提供者,助手用一 handful 名称进行回复。该支柱询问审计过的业务是否在这些名称中。每个审核的业务都通过 ChatGPT、Claude、Gemini 和 Perplexity 进行查询,每个答案与审核过的业务进行匹配。机器可读性该支柱是助手的爬虫到达时发现的内容:robots.txt 是否允许,网站是否发布站点地图,主页是否用机器可读的形式陈述业务的身份和位置。这些信号都是来自第一方的,由我们自己的爬虫直接从网站读取。存在性是结果;可读性是网站所有者控制下的输入。一个网站可以完美标记,依然無法被命名,这就是为何两者并排发布而非合并为单一得分的原因。这些信号来自任何人都可以在自己的网站上进行的免费扫描。关键发现94.8% 的审计网站从未出现在 AI 答案中在 5,978 个购物意图问题的助手回答中,只有 10 个网站被提名过。2.9% Gemini 在面板中覆盖范围最广Gemini 在 其回答中提到审核业务的比例为 2.9%,领先于面板中的其他助手。所有四位助手都在同一天询问了相同业务的问题,因此差距是助手之间的差异,而不是问题之间的差异。8.9% 至少阻止一个 AI 爬虫在 robots.txt中在 436 个网站中,有 39 个完全禁止 AI 用户代理,其中大多数未区分训练模型的爬虫和在回答实时问题时提取页面的代理。38 个网站阻止 GPTBot;只有 4 个阻止 OAI-SearchBot 阻止是针对训练爬虫而非检索代理。38 个网站禁止 GPTBot,36 个网站禁止 ClaudeBot,而实际上提取页面以回答实时问题的代理 OAI-SearchBot 和 Perplexity-User 仅被 4 个网站和 3 个网站禁止。阻止整个组的网站在失去引文上要为此付出代价。54.6% 发布任何 schema.org 结构化数据436 个网站中有 238 个在其主页上携带结构化数据。其余网站只留给助手阅读的内容是散文。19.3% 发布 LocalBusiness schema以机器可读形式声明业务名称、地址和类别的标记是此处测量的采用率最低的信号,出现在 84 个网站上。这个数据集的主要内容是本地企业。命名审计业务的答案占比2026-07-23 至 2026-08-02(193 个网站,5,978 个答案)Gemini 2.9% (8/193) ChatGPT 1.7% (5/193) Claude 1.6% (5/193) Perplexity 1.6% (8/193)每位助手在同一天询问了相同业务的问题,因此下面的差异是助手之间的差异。ChatGPT 回答了 1,352 个问题中的 1,544 个;不适用的 192 个问题被排除在其计算中而不是计入缺席。被 robots.txt 阻止的 AI 爬虫在每个用户代理阻止的 436 个审计网站的份额CCBot 8.7% (38 个网站 - 训练)GPTBot 8.7% (38 个网站 - 训练)Bytespider 8.5% (37 个网站 - 训练)ClaudeBot 8.3% (36 个网站 - 训练)Google-Extended 8.3% (36 个网站 - 训练)anthropic-ai 1.4% (6 个网站 - 训练)PerplexityBot 1.1% (5 个网站 - 检索)ChatGPT-User 0.9% (4 个网站 - 检索)OAI-SearchBot 0.9% (4 个网站 - 检索)Perplexity-User 0.7% (3 个网站 - 检索)训练爬虫收集页面以构建模型;检索代理则是响应实时问题提取页面。阻止第一个在今天的答案中不会给网站带来任何费用。阻止第二个使网站无法引用,这比这两列之间的差距产生的后果要大得多。审计网站上的 AI 准备就绪信号2026-05-16 至 2026-08-02(436 个网站,按域的最新审核)发布 robots.txt 79.4% (346/436)发布 sitemap.xml 73.9% (322/436)robots.txt 指向 sitemap 67.9% (296/436)有 meta 描述 77.1% (336/436)有 Open Graph 标签 69.5% (303/436)有任何 schema.org 数据 54.6% (238/436)有 LocalBusiness schema 19.3% (84/436)至少阻止一个 AI 爬虫 8.9% (39/436)方法论数据集每个数字均来自于在 2026 年 3 月 30 日至 2026 年 8 月 2 日期间通过 Website Auditor 的免费扫描仪进行的审核:在 38 个检测到的行业中有 531 次存储审核数据,涉及 458 个不同的域。聚合数据是通过 Website Auditor 的报告计算的,分析视图排除了我们自己母公司对其自身资产的审核,因此内部流量不会膨胀份额。聚合本身作为 SQL 函数提交,并在每个版本中未更改地重新运行,因此一个版本是对上一个版本的比较,而不是一组新的判断。

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

请我喝杯咖啡