返回

文章详情

旧网络去哪儿了?我们跟踪了657,607个链接以找出真相

Hacker News2026年8月13日 17:49

一个旧的0.mk数据库备份保存了657,958个在2009年至2014年间创建的链接,以及它们的点击量。我们恢复了657,607条作为2015年前链接的记录,并在2026年8月追踪了每一个目标。在655,178条安全可抓取的链接记录中,76.7%不再返回加载页面。大多数0.mk的用户位于马其顿,因此这并不是对整个网络的普查。这是一个保留下来的记录,展示了一个在线社区在那段时期内分享的内容,包括地方新闻、个人博客、照片托管、论坛和当时的主要平台。当0.mk在2009年启动时,它是由三人团队构建的一个激情项目。我们在工作之余空闲时进行开发,通常每周工作几个小时。十七年后,我们中的一人发现了磁盘上的旧数据库备份,决定让它重现。以下是那六年间链接创建的情况,以及其后的漫长沉寂:2009年:3,668个链接20094k2010年:20,283个链接201020k2011年:103,053个链接2011103k2012年:23,148个链接201223k2013年:224,931个链接2013225k2014年:282,524个链接2014283k2026年:404个链接2026404原始链接记录,而非用户。2011年的峰值包含了一个83,398个链接的数据包;97.8%的2013记录和99.9%的2014记录与已恢复的账户无关。绿色的小块是2026年的重新启动。生存测试抓取覆盖了所有657,607条恢复的链接记录,该记录截至2014年12月。我们排除了2,429条目标格式错误、内部、凭证或政策被屏蔽的记录,剩下655,178条可抓取的历史链接:无法连接:51.24%HTTP错误:25.44%加载:23.32% 51.24%无法连接(DNS、超时、TLS) 25.44% HTTP错误(4xx / 5xx) 23.32%已加载(2xx / 3xx响应)即使那23.3%的加载也夸大了幸存的比例。登录墙、充满广告的停放域或“此内容不再可用”通知都算作加载。一个有效页面并不意味着原始内容依然存在。为什么有657,607个链接却只有494,781个网址?多个短链接有时指向完全相同的目标。存在162,826条这样的重复记录。统计每个目标一次后留下494,781个独特网址,其中492,620个可以抓取。只有21.3%的这些网址能够加载。当重复的目标被移除后比例几乎没有变动:仍有78.7%未能加载。在独特网址层面,55.0%在重试第二个网络的不确定结果后在网络层面失败,23.7%返回了HTTP错误。最常见的HTTP结果是404,涉及76,403个独特网址。还有29,663个返回403或429;这些页面对抓取者不可加载,但可能是在阻止自动请求而不是缺失。403或429可能意味着该网站阻止了我们的抓取者,因此“未加载”比说每个页面都消失更为真实。在域名层面出现相同的模式。在133,605个可抓取的主机名中,只有34,827个至少有一个网址加载。其他98,778个没有任何加载。2009年网址64.58%主机61.53% 2010年网址60.39%主机60.36% 2011年网址92.53%主机61.74% 2012年网址59.43%主机62.46% 2013年网址75.06%主机75.24% 2014年网址78.16%主机75.45% 在完整抓取中没有加载页面的分享。网址级结果统计每个独特路径;主机级结果每个主机名统计一次。2011年的分裂解释了奇怪的年度总数。一个账户创建了83,398个独特链接指向pelaphptutorials.com。在网址级别,2011年的目的地中92.5%没有加载。只统计一次该主机,数字为61.7%,几乎与2010年和2012年相同。这些年度总数并未显示2012年普通使用的崩溃。去掉那一批后,2011年的记录从103,053下降到19,655;2012年有23,148。几乎所有2013年和2014年的记录在恢复的数据中都是匿名的,三分之二的主机名没有加载网址。原始链接量并不是用户增长曲线。许多可识别的幸存者都是巨头:YouTube、维基百科和谷歌的属性。个人博客、论坛、本地新闻网站和照片托管在不可用的数据集中随处可见。集中式网络通常比小型网络更健壮。穿越墓地数据库读起来就像一座2010年代互联网的博物馆。一些居民,链接数指向它们:Facebook照片CDN(fbcdn.net),没有加载835个链接,Google代码,现在将许多网址重定向到其档案803个链接,PureVolume,旧服务已消失但其域名仍回应796个链接,Rapidshare,没有加载的URL139个链接,Megaupload,没有加载的URL71个链接,Picasa网络相册,没有加载的URL69个链接。人们分享了Facebook照片作为直接CDN链接;835条记录背后789个独特的fbcdn.net网址均未加载。然而,PureVolume现在对653个独特网址中的633个返回页面,Google代码能加载或重定向754个中的628个。原始服务已消失,但它们的域名仍在回应。HTTP响应并不等同于保留内容。马其顿层0.mk是第一个马其顿网址缩短服务,因此这些数据也部分记录了一个国家的网络。

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

请我喝杯咖啡