扫描 7.6 PB 的 HuggingFace 训练数据以寻找秘密
tl;dr 我们扫描了 Hugging Face 上的所有公开数据集,而大多数开放 AI 训练数据都存储在那里。这涉及到 7.6 PB 的数据,包含 1.87 亿个文件,这是我们所知道的最大 AI 训练数据秘密扫描。我们发现了 221,303 个活跃的、独特的凭证,存在于 6,003 个数据集中。我们发现的最具影响力的秘密之一访问了 393 GB 的个人可识别信息(PII),我们估计这覆盖了大约 3.7% 的全球人口。这方面的更多信息将会在专门的后续报道中提供。扫描的其余部分显示了问题的广泛性:云存储桶、托管数据库、云管理密钥,以及可以将代码推送到很多人安装的软件的令牌。我们在发布之前与 Hugging Face 分享了发现;该公司与我们密切合作,CTO Julien Chaumond 为 TruffleHog 提供了原生存储桶扫描支持。你可能已经看到 OpenAI 和 Hugging Face 的新闻。这个扫描在那条新闻之前就已经开始,但值得注意的是,那条杀链的一部分涉及被盗的 API 密钥。我们与供应商合作以撤销他们暴露的密钥的紧迫性比以往任何时候都要强(如果我们还没有与您合作,请与我们联系)。可以将代码推送到您安装的内容的令牌 有时,当我们发布大量密钥的发现时,人们会问其中有多少实际上是重要的。在此扫描中,我们发现了一些具有供应链风险的凭证。这里最吓人的凭证可以让你更改其他人运行的软件。在训练数据中,我们发现 349 个活跃的 GitHub 个人访问令牌:223 个具有完全仓库写入权限,130 个可以重写 CI 工作流,112 个具有 admin:org 权限,和 110 个可以发布包。此外,还有 318 个可以推送镜像的 Docker Hub 令牌。我们专门检查了 npm 和 PyPI 并发现没有活跃的,所以我们不声称这些。单个仓库或 admin:org 令牌可以重写其所有者能够推送的每个仓库,而该更改将发送给安装结果的每个人。这些令牌中的一些与数百万人运行的软件相关联。其他一些则属于在软件供应链深处定位的账户。 GitHub PAT Docker Hugging Face Docker Hub: 推送镜像 318 Hugging Face: 写入 237 GitHub: 完全仓库写入 223 GitHub: 重写 CI(工作流)130 GitHub: admin:org 112 GitHub: 发布包 110 Hugging Face: org-admin 70 发现的活跃、验证过的令牌——悬停一个条形图 在公开训练数据中发现的活跃、验证的可写凭证,按它们实际授权的数量统计。一个活跃的仓库范围的令牌属于一位广泛使用的模型上下文协议注册表的创始人,其账户与官方 MCP 组织相连。该组织的库持有主要 AI 编码工具使用的服务器和 SDK,总共拥有超过 178,000 个 GitHub stars。其他示例包括一名大型科技公司的工程师持有的高权限令牌、一名银行的开发人员,以及一名 AI 实验室的研究人员。我们将涉及的人和组织的名字保密,并负责披露我们的发现。继 Julien 对存储桶的贡献后,我们已经扫描并找到了大量新的密钥,我们将做一篇后续文章。具有实际爆炸半径的密钥 扫描还发现了可以打开真实基础设施的活跃密钥:云账户、托管数据库、存储桶和消息平台。我们仅将这些凭证用于验证和仅限元数据的影响检查,这意味着数据库大小统计、Redis 内存计数器和 CloudWatch S3 存储桶大小指标。我们没有读取数据库行、列出对象密钥、下载文件或修改任何内容。以下是它们解锁的内容。 云接管 8,557 个 GCP 服务账户密钥 分布在 3,811 个项目中 私有存储 51.7 TB 在非公开 S3 存储桶中 从存储桶元数据中确认 活跃数据库 8,594 个工作数据库登录 通过元数据测量 3.5 TB 冒名顶替 5,885 个 Slack 和 Mailgun 密钥 许多与命名工作空间或域相关联 聊天机器人扩散 18× 复制一个粘贴的 AWS 密钥 捕获一次,然后镜像 云接管 · GCP —— 8,557 个活跃的 Google 服务账户密钥,分布在 3,811 个项目中 服务账户密钥是云项目的非交互式凭证。在经过验证的示例中,1,926 个是具有数据库访问权限的 Firebase 管理密钥,其中一个具有显式的所有者角色,还有一个是 Kubernetes 集群管理员。项目元数据表明,其中一些与医疗和支付应用相关。我们将项目名称和账户标识符保密。云存储 · AWS S3 — 51.7 TB 在公共访问被阻止的存储桶中 S3 标准存储的下限为 185 TB,但仅靠原始字节计数是不够的:S3 可以容纳公共资产、日志、备份或几乎任何东西。因此我们仅检查最大的账户的存储桶级元数据。存储桶策略和公共访问阻止设置确认了 51.7 TB 的存储桶配置为阻止公共访问。存储桶名称令牌指向生产、备份、cloudtrail,
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡