雅虎宕机:数据显示恶意机器人没有消失而是转移
在针对雅虎数据中心的袭击报道之后,网上出现了关于俄罗斯机器人农场和影响行动被迫下线的说法。HTTP流量图显示出急剧下降,助长了基础设施损坏阻止这些恶意行为者的猜测。然而,汇总流量指标很容易误导。与雅虎相关联的两个自治系统号(ASN)分别为:AS13238 用于雅虎的搜索引擎,AS200350 用于其云服务。使用Cloudflare雷达和机器人管理数据,我们分析了这两个ASN的影响情况——虽然两个ASN的流量都有所下降,但影响不同。雅虎搜索(AS13238):流量下降几乎完全由验证的搜索爬虫索引网页、图像和网站资源构成。雅虎云(AS200350):恶意活动如漏洞扫描和探测活动减少,但高流量自动化并没有消失——它只是迁移到了其他托管提供商。尽管恶意流量可能来自特定提供商,但并不一定告知我们谁对该流量负责。理解为什么袭击对恶意流量的持续影响很小需要分析请求行为,而不仅仅是总体流量模式。事件发生的情况:袭击的影响和事件前的基线 10月7日至11日,报道的乌克兰无人机袭击袭击了俄罗斯的三处雅虎设施,逐渐使数据中心和网络容量脱机。从Cloudflare雷达可以看到,这 culminated 在10月11日的雅虎网络几乎完全崩溃,雅虎搜索(AS13238)的流量下降至基线以下99%,雅虎云(AS200350)下降90%。尽管出现了短暂的部分恢复,但两个网络在10月13日之前一直受到干扰,保持在比正常基线低86%至90%的水平。(截至10月14日18:00 UTC,流量为正常的85%。)总体HTTP流量的下降仅确认了网络的宕机。它并没有揭示恶意或规避机器人是否受到干扰。从事件前的自动化基线来看,我们可以看到,在袭击之前,自动化请求占Cloudflare网络上观察到的全球所有HTTP流量的36.1%,而来自俄罗斯IP地址的流量则占35.8%。停机对两个受影响ASN的自动化活动产生了不同的影响,因为它们扮演不同的角色。雅虎搜索ASN(AS13238)用于搜索索引爬取。Cloudflare将其请求的99.5%归类为自动化行为,93.6%的机器人请求被归为验证。此外,我们的分析显示,该ASN的流量主要用于索引页面、渲染页面和渲染图像,这与搜索爬虫的一致行为相符。雅虎搜索ASN提供了大约7%的来自俄罗斯的机器人请求,仅占全球总量的0.05%。雅虎云ASN(AS200350)是一个云托管网络,承载了不同类型的自动化。大约95.0%的其请求被评估为机器人,但Cloudflare观察到的它的机器人请求中没有一个被验证。雅虎云中的机器人更像是软件应用:近三分之二的请求发送数据到网站,其中一些自我标识为JavaScript、Python或Go程序,向软件公司发送的请求比例超过了雅虎搜索机器人的部分。雅虎云ASN提供了约2%的来自俄罗斯的机器人请求,仅占全球总量的0.01%。 事件对整体机器人流量的影响 “机器人流量”指的是针对Cloudflare网络上网站的自动化请求,如爬虫和脚本,而不必是社交媒体平台上的活动。随着雅虎网络容量的下降,它们的机器人请求也相应减少。这是预期中的情况:几乎所有来自雅虎搜索和雅虎云的流量都是自动化的。尽管我们看到总流量显著下降,但并没有看到任何证据将恶意流量的全球中断与雅虎流量的下降联系起来。原产于俄罗斯的机器人请求大约与雅虎脱机流量成正比下降,因为来自这些网络的大多数请求都是自动化的。 日期 UTC+3 全球机器人请求(% 的全部 HTTP 请求)* 来自俄罗斯的机器人请求(% 的俄罗斯来源 HTTP 请求) 10月1-6日:事件前基线 39.4% 50.4% 10月7-8日:对萨索沃的无人机袭击 39.2%(−0.2%) 48%(−2.4%) 10月9日:对卡卢加的无人机袭击 39.4%(+0%) 42.5%(−7.9%) 10月11日:对弗拉基米尔的无人机袭击 39.5%(+0.1%) 42.2%(−8.2%) 10月12日 39.6%(+0.2%) 43.6%(−6.8%) 10月13日 39.5%(+0.1%) 42.1%(−8.3%) * 雷达报告通过总HTTP请求和HTML请求(页面浏览量的近似值)来报告全球流量。上述表格反映了总请求量。 对雅虎搜索ASN(AS13238)的影响:搜索爬取减少 雅虎搜索ASN的下降几乎完全是搜索爬取。抽样请求显示,78.1%属于验证的YandexBot,11.5%属于YandexRenderResourcesBot,而1.9%属于YandexImages。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡