TheNumbers.com 的事件应该让我们所有人感到担忧
如果你在电影行业工作或与之相关,那么这个月你很可能使用过 The Numbers 的数据,无论你是否意识到。它手工研究的数据质量最高,跟踪超过 78,000 部电影和 236,000 人的票房收入、预算、家庭视频和流媒体。每年有超过 800 万访客,受到记者、学者、电影制片人、预测市场甚至吉尼斯世界纪录等的高度认可。正是这种超凡的地位导致了今年三月的灾难性事件。2026年3月5日,TheNumbers.com 网站消失了。该网站故障超过一周,毫无解释。一周后,它以其原有规模的一小部分重新上线。历史图表、单独电影页面,甚至备受喜爱的报告生成器都不复存在。只有一条通用的信息“我们正在重建,请耐心等待”,互联网如往常一样作出了反应——充满困惑、愤怒和阴谋论。Reddit 上有一个理论甚至建议这是一次故意的“割韭菜”,旨在削弱这个免费网站,以促使人们转向付费产品。三个月后,我与 The Numbers 的创始人兼首席执行官布鲁斯·纳什进行了详细交谈,了解发生了什么。他描述了一个相当不愉快和充满事件的经历:我们收到了很多愤怒的电子邮件,问:“你们曾经有的那个页面现在在哪里?” 在他的故事中,有许多事情应该让任何运行、依赖或仅仅欣赏互联网的人感到担忧。1997年10月17日,数学家和前IBM软件开发人员布鲁斯·纳什推出了一个 Geocities 网站,跟踪 300 部电影。布鲁斯在一篇 20 周年文章中描述了这个发布(由于将要说明的原因,现在仅存于互联网档案馆中):我在 Access 数据库中按下了一个按钮,将一些 HTML 页面上传到 Geocities,并在好莱坞股票交易所消息板上做了简短的公告,告诉大家我开始分析票房数据,以帮助他们选择在 HSX 上交易的 MovieStocks。从这些卑微的开始,布鲁斯和他围绕网站建立的团队将 The Numbers 发展为电影行业中最可靠的财务来源。在 2026 年初,数据库跟踪了 78,396 部电影、178,375 个影院发行记录和 236,176 人。在其存在期间,The Numbers 面临的挑战发生了巨大的变化。在最初的四分之一个世纪里,流量是可管理且大多礼貌的。正如布鲁斯所说:在 AI 之前,我们接收到的是人类流量,主要是行为良好的搜索引擎爬虫,以及一些为个人项目爬行的网站。如果有人变得太贪婪,我们可以发现并屏蔽他们。在过去的几年里,全球的网站所有者看到他们的网络流量发生了变化。最初只有人们在浏览,随着时间的推移,越来越多的机器人涌现出来。到 2024 年,自动化流量超过了人类流量,而就在上个月,Cloudflare 宣布机器人占到了网页请求的 57.5%。The Numbers 感受到这种转变有两个明显的波动。第一次发生在 2024 年左右:我们看到爬虫数量大幅增加,因为 AI 训练加入了搜索引擎爬虫。AI 爬虫通常行为不如搜索引擎良好,这增加了我们为保持网站顺利运行而进行的管理任务。而第二波更强、更具破坏性:在 2025 年 12 月左右,我们看到流量再次激增,我将其归因于自主 AI:一种根据提示爬取网站的 AI 代理的组合,以及人们能够编写爬取网站的代理。像每个数据丰富的网站一样,到 2026 年初,The Numbers 正遭受来自 AI 机器人的猛烈攻击,这些机器人不断在工业规模上爬取其页面。布鲁斯表示,只有 10% 的流量来自人类浏览网站,剩下的全部来自 AI 机器人和自动化流量。这给网站带来了巨大的压力,但布鲁斯和他的团队能够采取措施以减轻影响。其中一个聪明的举措是用它们自己的语言与机器人交谈:网站上有一些内容是为了 LLM 读取而设计的,这样它就可以告诉某人“这是你如何获取数据许可的”,而不是“这是你如何抓取网站”。这产生了巨大的影响。我们现在收到的许可询问量可能是以前的十倍。但缓解并非等同于逃避。 从 12 月到 3 月初,团队努力在负载下保持网站运行。布鲁斯估计:大约 90%的时间用于保持现有网站运行,而我们在空闲时刻致力于开发一个新的改进系统。这个问题因网站的年龄而加剧:30 岁,约160,000个源文件支持约200万页面。然后,在 3 月 5 日星期四的早晨,服务器崩溃了。团队急于了解发生了什么,最初假设是由于分布式拒绝服务攻击。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡