开放研究数据集 · Marianna Nezhurina 2,3,* · Mehdi Cherti 2,3 · Andrej Radonjic 4 · Thaddäus Wiedemer 5,1 · Christoph Schuhmann 2 · Romain Beaumont 2 · Wieland Brendel 5 · Bernhard Schölkopf 5 · A. Sophia Koepke 1,6,◇ · Jenia Jitsev 2,3,◇ · Matthias Bethge 1,◇ 阅读论文 下载数据集 GitHub * 共享第一作者 • ◇ 共享最后作者 1 图宾根人工智能中心，图宾根大学 2 LAION 3 JSC, FZJ 4 Wynd Labs 5 MPI智能系统研究所，ELLIS学院图宾根 6 慕尼黑工业大学MCML 相关机构 概述 摘要 我们介绍LAION-BVD（LAION — 大视频数据集），这是一个大型开放视频数据集，用于多模态学习，包含从CommonCrawl收集的13亿个平台特定视频网址。我们从中下载8000万个视频，总时长为1000万小时。数据集旨在用于视频、音频和图像模态的多模态预训练。通过使用内容感知的场景检测，我们提取出剪辑，并为其合成生成视频和音频标题。 在这些数据上训练的模型在标准视频-文本和音频-文本基准测试中实现了竞争力的性能，并随着培训或模型规模的增加而持续改进。此外，我们通过提取场景变化的帧，探索视频帧作为图像-文本数据的另一种来源。这些帧展示了与标准网络图像语料库不同的视觉分布，而在该数据集上训练的模型在图像-文本检索性能上表现出色。 我们将LAION-BVD发布给研究社区。这大幅扩展了多模态视频的开放获取，其规模空前。 数据量 前所未有的规模 用于多模态学习研究的最大开放视频语料库 🔗 0 视频网址 从Common Crawl收集的特定平台网址 🎬 0 下载视频 成功下载和处理的视频 ⏱️ 0 总时长 所有下载的合并视频内容 ✂️ 0 注释剪辑 具有生成视频标题的剪辑 🖼️ 0 提取帧 用于图像-文本预训练的视频帧 基准测试 实验结果 在LAION-BVD上训练的模型在视频、音频和图像-文本基准测试中取得了竞争性性能 ViCLIP视频-语言基准 使用LAION-BVD训练的ViCLIP模型在标准视频-文本基准测试中的表现与InternVid训练的模型相匹配或超出最多2.1%，随着从1000万到5000万剪辑的训练规模增加而持续改善。相比InternVid（FLT）基线高出最多+2.1% 在1000万到5000万剪辑之间持续增长 5500万个带有合成视频标题的剪辑 CLAP音频-语言基准 使用LAION-BVD训练的CLAP模型在与其他大型非策划音频数据集的比较中表现竞争力，利用直接从视频中提取的丰富的真实音景。 与非策划音频数据集具有竞争力 来自多样化视频的音频-文本对 在增加模型和数据规模时表现出良好的扩展趋势 CLIP图像-文本基准 基于帧的CLIP模型在标准基准测试中实现了强大的图像-文本检索性能。视频帧展示了与典型网络语料库不同的视觉分布，补充了现有的图像预训练来源。 在标准基准测试中表现强劲 3亿帧，具有独特的视觉分布 补充标准网络图像数据集 负责任的使用 伦理和发布声明 LAION-BVD的发布旨在支持大规模开放和可重复的多模态研究。大型视频数据集及其训练模型越来越集中在少数主要是专有的科技公司中，限制了独立科学研究和可重复性。通过为学术研究提供开放资源，我们旨在扩大对多模态训练数据的访问，并实现对大规模视频、音频和图像模型的更透明评估。LAION-BVD仅为研究目的发布，不得用于商业用途。该数据集旨在支持科学研究、可重复性、安全分析和多模态基础模型及相关系统的研究。我们鼓励用户尊重内容创作者的权利和版权，并负责任地使用数据集，遵循适用的法律和平台条款。与其他大型网络数据集一样，LAION-BVD可能包含偏见、刻板印象和在语言、地区和主题上的不均等表现。基于这些数据训练的模型可能会继承这些偏见。使用该数据集的研究人员应当意识到这些局限性，且在相关情况下应当评估和报告它们与模型能力相结合的情况。 参考文献 引用 @misc{laionbvd2026, title={LAION-BVD：一个1000万小时的开放视频数据集，用于多模态预训练}, author={Andreas Hochlehnert和Marianna Nezhurina和Mehdi Cherti和Andrej Radonjic和Thaddäus Wiedemer和Christoph Schuhmann和Romain Beaumont和Wieland Brendel和Bernhard Schölkopf和A. Sophia Koepke和Jenia Jitsev和Matthias Bethge}, year={2026}, eprint={2608.24845},