我们介绍 Pulpie，一系列用于从 HTML 页面提取主要内容的帕累托最优模型。Pulpie 以 1/20 的成本实现了当前提取质量的水平。我们最小的模型 pulpie-orange-small 在 WebMainBench 上获得了 0.862 的 ROUGE-5 F1 分数。这与领先的提取器 Dripper 的 0.864 分数相匹配。尽管 Pulpie 的大小仅为 Dripper 的三分之一（2.1 亿个参数对比 Dripper 的 6 亿个参数），但其性能仍然出色。提升的关键在于架构。Pulpie 采用编码器，能够在一次正向传递中将每个 HTML 块标记为内容或模板。这也使其速度更快。在 NVIDIA L4 GPU 上，pulpie-orange-small 的处理速度每秒可处理 13.7 页，相比之下，Dripper 只有 0.68 页每秒。以每小时 0.39 美元的 L4 实例来计算，清理 10 亿个页面的成本为 7900 美元，而 Dripper 则需要 159000 美元。Pulpie 实现了前所未有的高质量网络提取规模。我们预计这将有利于预训练和上下文管理。我们的模型是开源的，并在 Hugging Face 上可用。请参阅“开始使用”获取说明。语言模型两次使用网络。首先是在预训练中，他们了解世界。然后在推理时，他们会提取相关上下文。两次输入大多数都是噪声。在探索过程中，我们发现典型 HTML 页面上 70% 的区块包含像导航、广告、侧边栏和页脚这样的模板。主要内容仅占页面的一小部分。然而，这一小部分决定了模型在两端的质量。AICC（Ma 等，2025）测量了更清晰的提取对预训练的影响。团队从相同的 Common Crawl 快照中构建了两个语料库。一个使用启发式方法提取内容。另一个则使用基于模型的解析器提取。数据管道中的其他所有内容保持不变。然后，他们在每个语料库上训练了相同的模型。训练于模型提取语料库的模型在 13 个基准测试中平均准确率提高了 1.08 个百分点。由于只有提取逻辑发生变化，我们可以将这一增益完全归因于数据的清晰度。值得注意的是，同一模型还超越了经过大量过滤的两个预训练语料库 FineWeb 和 RefinedWeb。这些数据集通过复杂的过滤和去重赢得了它们的声誉。通过改善提取器超越这些数据集说明了清洁数据的高价值。除了设定低基准外，糟糕的提取也会对模型产生重要影响。启发式会破坏结构化内容。下表显示了 Trafilatura 和基于模型的提取器在保留代码块和公式方面的比较。低相似度分数表明了内容的损坏。如果在训练中使用，最终模型将继承这些损害。内容 Trafilatura (启发式) 基于模型的 代码块 0.13 0.91 公式 0.61 0.94 数据质量在推理时也很重要。Shi 等（ICML 2023）显示，一个无关的段落足以 derail 模型的回答。当上下文中没有噪音时，模型会更准确，更高效。以预算进行清理 清理网络在训练和推理两方面都是有效的。悬而未决的问题是，我们如何在规模上做到清理良好？首先，为了了解当前的提取器布局，我们可以根据一个问题将其分为两类：该方法是读取页面，还是检查其结构？基于结构的提取器根据表面信号来判断 HTML 块。它们应用规则来通过标签、DOM 和文本密度来分离内容和模板。Trafilatura、Readability 和 magic-html 是这种方法。Boilerpipe 更进一步，基于这些信号训练分类器。这些提取器很容易运行，但在面对相似构建元素时容易困惑。导航表和数据表对于计算单元的算法来说看起来一模一样。读取提取器将页面喂给变换器，并根据内容标记每个块。Dripper 是建立在这一理念上的解码器。解码器一步一步地输出标签。每个标签使整个模型在内存中被读取一遍，处理的每一步都要为单个工作付费。这将速度与内存带宽绑定，使运行成本高昂。Pulpie 保持了读取方法，但将瓶颈转移到计算。我们通过使用编码器架构，在一次正向传递中标记每个块来实现这一点。这使得 Pulpie 能够在规模、速度和成本上与 Dripper 的质量相匹配。ROUGE-5 F1 成本 / 1B 页 $175K $140K $105K $70K $35K $0 0.90 0.80 0.70 0.60 0.50 成本降低 20 倍，同样的质量 Pulpie 小模型 Dripper 清理原始 HTML 完整的管道分为四个阶段：简化 HTML。删除脚本、样式和其他格式化噪声。为每个块标记唯一 ID。将块分块。按块分割，标记化并将它们打包成最多 8192 个令牌的块，以便每个块都能在一次传递中适应模型。大约 80% 的页面适合一个块。分类。运行正向传递。Pulpie 将每个块标记为内容或模板。返回。将保留的块作为 HTML 返回，或将其转换为 Markdown。训练训练 Pulpie 需要有区块级标签的大量 HTML 页面。