[仅限LWN订阅者内容] 我们在2025年初发表的文章《与AI爬虫机器人的斗争》讨论了在寻找大型语言模型和相关项目的训练数据时，网站普遍被抓取的问题。这种活动使网站的流量过载。在该文章出版超过一年后，这一问题仍在不断扩大。阴暗角色对网站的攻击达到了新的高度，开放网络变得越来越难以维持。这种流量来自哪里？我们能做些什么？住宅代理 正如去年所描述的那样，爬虫攻击来自网络上的大量来源。在几小时内，我们看到数百万个唯一IP地址的协调请求并不少见，每个地址至多访问网站两到三次。攻击者控制的数据，比如用户代理字段，完全是虚构的；每一次访问都试图看起来像是另一个使用网页浏览器的人。虽然有办法区分这一点——爬虫通常不会获取图片或CSS等内容——但在做出这种判断时，相关的地址不会再被使用。此时阻止该地址只是浪费时间。这种流量主要来自住宅和移动网络，由中央指挥和控制节点进行指导。普通系统上安装了软件，听从控制节点的命令，根据需求获取网页，并将结果数据转发给控制者。这种活动大多数时候在设备所有者的知识或同意下进行。术语“住宅代理”用于描述以这种方式使用的系统。这些仅限LWN.net订阅者的内容是由LWN的订阅者提供给您的。要查看更多此类内容，请利用以下特别优惠。免费试用订阅 您可以免费试用LWN一个月：无需支付或提供信用卡。立即激活您的试用订阅，看看为什么成千上万的读者选择订阅LWN.net。 表面上至少有几种不同类型的运营商在运行住宅代理网络攻击网站。一种类型纯粹是犯罪性质，通过某种恶意软件来控制被攻陷的系统。在年初，谷歌采取了行动关闭一个名为IPIDEA的机器人网络，并提供了大量关于这些运营如何运作的信息。IPIDEA的关闭与LWN这里的爬虫流量显著减少相关；几个月的时间内情况相对平静。然而，这段和平时期随即结束了。最近，媒体流设备被确定为恶意抓取软件的主要载体。有时这些设备在源头被攻陷；其他时候，它们只是安全性差并很容易在事后被攻陷。第二种运营商更加公开，假装有一定的合法性，提供“道德来源”的IP地址。名为Bright Data的公司就是这些中的一个，它乐于宣传其绕过网站访问控制和流量限制的能力。Bright Data提供“免费”的VPN服务；用户只需让Bright Data能够通过用户的设备路由流量——换句话说，成为该公司住宅代理网络的一部分。每个使用此VPN的手机或其他设备都成为攻击网站的另一个端点。还有许多此类运营商的例子；他们经常提供一个库，应用开发者可以将其链接到他们的产品中，并为劫持用户的网络连接而获得报酬。其中一个甚至曾向我们询问在LWN上为其SDK投放广告的事情；可以说，那是一段简短的对话。一般情况下，这些公司从那些渴望获得一定合法性（比如宣传“GDPR合规”）的公司，到一些完全低劣的公司不等。虽然这些住宅代理网络被用于网站抓取，但值得强调的是，这些运营商能够运行代码来访问数百万设备所连接的任何网络资源。单纯假设这种访问仅用于抓取无疑是天真的。然后，当然，还有那些以开发模型为核心业务的知名公司。这些公司自行进行抓取；可以轻易归因于它们的流量在用户代理字段中清晰标识，并且通常遵循robots.txt等措施。它们也会反复抓取整个网站，似乎基于这样的理论：2003年写的文章可能在前一天发生了某种变化，但它们不会产生来自数百万系统的大量流量，并且不是最大的问题。现在不清楚的是，谁在使用住宅网络。