概览 使用代理分析和AI聊天推荐跟踪的5000多个网站的关键生态系统指标。 机器人与人类的流量相比，下降了35%，与之前的90天相比下降了2%。 访问量中机器人与人类的比例。 代理化比率上升28%，与之前的90天相比上升了11%。与AI相关的机器人流量占比。 按代理类型划分的流量：AI代理 - AI代理 使用实际的网页浏览器自主完成复杂任务，替代人类用户。 AI助手 - AI助手 在用户提示下获取网站内容，包含在AI生成的答案中。 AI编码代理 - AI编码代理 获取文档和其他资源以帮助构建软件。 AI数据提供者 - AI数据提供者 爬取网站，向AI系统提供结构化内容作为第三方服务。 AI数据抓取器 - AI数据抓取器 下载网站内容以纳入用于训练AI模型（如LLM）的数据集。 AI搜索爬虫 - AI搜索爬虫 索引网站内容，以可能包括在AI驱动的搜索结果中的引用。 存档者 - 存档者 捕获并存储历史网站快照，用于长期数字保存。 自动化代理 - 自动化代理 无需直接人类监督以编程方式自动化浏览器交互。 开发者助手 - 开发者助手 协助测试、调试并确保网站功能正常。 获取器 - 获取器 检索网页元数据以支持链接预览或信息流等应用功能。 情报收集器 - 情报收集器 分析网络内容以确保品牌安全、竞争洞察和广告定位。 抓取器 - 抓取器 提取大量网络数据，通常未获得明确的网站许可。 搜索引擎爬虫 - 搜索引擎爬虫 系统地扫描和索引网页以包含在搜索结果中。 安全扫描器 - 安全扫描器 扫描网站以查找安全漏洞、威胁和配置弱点。 SEO爬虫 - SEO爬虫 分析网站结构和内容，以识别SEO改进机会。 未分类的 - 尚未分配类型。 文档缺失的AI代理 - 文档缺失的AI代理 爬取网站而不披露其目的，收集数据以备不明的AI使用案例。 将鼠标悬停在每种代理类型上可以获得有关其功能的更多信息。 访问量最大的代理：bingbot - 搜索引擎爬虫 系统地扫描并索引网页，以包含在搜索结果中，占8.2%。 Googlebot - 搜索引擎爬虫 系统地扫描并索引网页，以包含在搜索结果中，占7.9%。 AhrefsBot - SEO爬虫 分析网站结构和内容，识别SEO改进机会，占6.2%。 已知代理DEV - 开发者助手 协助测试、调试并确保网站功能，占5.5%。 ChatGPT-用户 - AI助手 根据用户提示获取网站内容，包含在AI生成的答案中，占3.3%。 ClaudeBot - AI数据抓取器 下载网站内容以纳入用于训练AI模型（如LLM）的数据集中，占3.2%。 PetalBot - AI搜索爬虫 索引网站内容以可能包含在AI驱动的搜索结果中的引用，占3.2%。 SemrushBot - SEO爬虫 分析网站结构和内容，以识别SEO改进机会，占3.0%。 facebookexternalhit - 获取器 检索网页元数据以支持链接预览或信息流等应用功能，占2.6%。 meta-externalagent - AI数据抓取器 下载网站内容以纳入用于训练AI模型（如LLM）的数据集中，占2.3%。 Amazonbot - AI数据抓取器 下载网站内容以纳入用于训练AI模型（如LLM）的数据集中，占2.3%。 MJ12bot - SEO爬虫 分析网站结构和内容，以识别SEO改进机会，占2.2%。 Amzn-SearchBot - AI搜索爬虫 索引网站内容以可能包含在AI驱动的搜索结果中的引用，占2.2%。 DotBot - SEO爬虫 分析网站结构和内容，以识别SEO改进机会，占2.1%。 Applebot - AI搜索爬虫 索引网站内容以可能包含在AI驱动的搜索结果中的引用，占2.1%。 活动最频繁的代理 - AI抓取活动 这些机器人抓取网站内容以培训AI模型。有些属于AI公司，而其他属于转售数据的第三方服务。 自动机器人.txt可以阻止不必要的抓取。 包含的代理类型包括AI数据提供者和AI数据抓取器。 按代理类型划分的流量：AI数据提供者 - AI数据提供者 爬取网站，向AI系统提供结构化内容作为第三方服务。 AI数据抓取器 - AI数据抓取器 下载网站内容以纳入用于训练AI模型（如LLM）的数据集。 随时间推移按代理类型的AI抓取活动。 访问量最多的网站类别：法律与政府 6.0% 在线社区 5.9% 家庭与花园 5.5% 计算机与电子产品 5.3% 购物 5.2% 职业与教育 5.2% 宠物与动物 5.1% 商业与工业 5.0% 汽车与车辆 4.8% 游戏 4.8% 爱好与休闲 4.6% 互联网与电信 4.5% 美容与健身