返回

文章详情

Roblox在未经请求的情况下下载了145GB模型(包括成人内容)

Hacker News2026年10月27日 10:27

在2026年10月15日和16日,一个声称属于Roblox的爬虫几乎浏览了Open3DLab、SFMLab和SmutBase上的每个项目,并下载了712个项目中的1,027个文件的完整副本,总计145.5GB的创作者作品,我们推测是用于AI训练目的。这篇文章简要描述了发生了什么,采取了什么缓解措施,以及这对整个社区意味着什么。有关我们在日志中看到的内容的更详细的报告将在稍后发布。发生了什么在10月18日星期日,我们注意到一个爬虫向我们的网站和下载基础设施发送了大量请求。该爬虫在每次请求中使用了相同的用户代理,trellis2-data-sourcing/1.0(3D基础模型研究;[已编辑]@roblox.com)。它来自单一的亚马逊网络服务(AWS)地址。在34小时内,它读取了18,926个项目的主页,这几乎是我们整个目录,在26,429个请求中。拉取项目页面后,它从712个项目下载了1,027个文件的完整副本,总计145.5GB,然后在周末暂停了操作。这些下载包括来自仅托管成人内容的SmutBase上的224个项目的364个文件(54.8GB)。标记为成人的SFMLab项目中,有345个项目(62.6GB)属于成人内容。下载文件数目的主要限制因素是爬虫对免费下载服务器的依赖,这些服务器有速度限制和并发下载数量的上限。该爬虫没有遵循我们的robots.txt(虽然它确实检索了该文件),无视我们的服务条款(该条款禁止抓取),并违反了创作者的许可证:712个项目中有423个仅限非商业使用。在其检索的样本中,它以与其他内容相同的速度抓取成人项目。一些例子包括来自《Stellar Blade》的Eve模型、《Overwatch》的Mei模型,以及一个马阴茎假阳具。我们的回应我们在10月18日发现了它,并在同一天早上阻止了进一步的尝试。此时,抓取者已暂停其活动,我们在那个周末没有注意到任何抓取者。我们在10月18日向其用户代理中列出的地址发送了电子邮件,询问Roblox的评论,但尚未收到回复。该爬虫于10月19日恢复了抓取活动,所有请求都被我们的服务器阻止。在面对我们的阻止时,抓取者并没有减少下载尝试,并且抓取似乎与办公时间完全契合,仅在午餐时间前后暂停约一小时,并在工作日结束时(中欧夏令时)结束活动。20日,他们的爬虫在上午8:00最终恢复,午餐后请求逐渐减少,可能是为了测试我们的速度限制。请求在下午3:00左右停止。我们再次向Roblox发送了关于问题的电子邮件,但他们再次没有回复。猜测本节包含基于公共信息以及我们在日志中注意到的信息的猜测和假设。自至少2025年以来,Roblox一直在构建一个“3D基础模型”。在2025年3月,Roblox推出了Cube,称其为其用于3D和4D的核心生成AI系统。随附的论文描述了这个模型作为3D智能基础模型的目标。它列出了角色绑定等模型最终应能执行的任务,以及生成角色和头像的未来工作。其第一个形状模型基于大约150万个来自授权和公共数据集(如Objaverse)以及Roblox自己的创作者商店中选择加入的创作者的免费资产进行训练。在2026年2月,Roblox开始推出基于Cube的“4D生成”。用户代理中的地址属于一位研究人员,他是该Cube论文的40多位作者之一。该研究人员的公共职业资料称,他们正在Roblox构建3D基础模型,他们之前发布的工作集中在3D重建和实时3D渲染上。我们想明确一点:我们并不建议这名研究人员自主或在其工作中做出任何非凡的决定。像这样的数据收集行为是公司的决定,其责任在于Roblox。但该资料显示用户代理所表明的:该爬虫背后的人构建3D基础模型。trellis2-data-sourcing中的“trellis2”可能指的是Microsoft在2025年底发布的开源3D生成模型TRELLIS.2。它可能意味着数据是用于训练或调整类似的模型,也可能只是一个项目代号。我们不知道。我们可以说的是,TRELLIS.2发布的数据工具包中没有网络爬虫和用户代理,因此这个爬虫及其标签是为该工作而编写的。也有可能Roblox正在重复使用Trellis.2的工具为其自己的基础模型,并为其下一个模型重复使用这些脚本;这些工具是开源的。

阅读全文 →

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

☕请我喝杯咖啡