自从理查德·萨顿在2019年发表的影响力文章以来，苦涩教训的概念一直指导着现代人工智能的许多进展。这个概念提倡利用计算和规模进行学习的一般方法，尽量不依赖于人类工程构建的先验知识。我们的解释是，从根本上讲，智能是关于从原始数据中学习：自主寻找模式，构建抽象，并从混乱的低级输入中发展意义，理想情况下是端到端的，并且尽可能高效地使用数据。随着人工智能向科学、机器人和生物等复杂领域发展——这些领域的数据稀少并且通常难以为人类理解，更不用说进行工程设计——内化这种哲学以开发更一般的学习算法比以往任何时候都重要。语言模型或许是今天人工智能最大的成功故事，并且在很大程度上接受了苦涩教训。它们的能力主要归功于扩大一些简单算法，例如Transformer架构、下一个令牌预测、强化学习和测试时计算。然而，它们仍然依赖于手工制作的编码步骤，例如分词器，这严重妨碍了它们从潜在数据进行端到端学习的能力。为了释放扩展的另一种变革，我们认为开发字节级语言模型是人工智能进步的基础——不仅是为了改善独立的LLM，还作为一般学习方法的试金石。如果我们甚至不能从字符和字节中很好地学习语言，我们又有什么权利在下一个前沿取得进展呢？在2025年，我们开发了分层网络（H-Nets）的概念，这不仅解决了语言模型中的分词问题，还向更通用的架构迈进了一步，可以从不同模态的原始数据中学习。我们此后显著改善了H-Nets的技术，并对它们的能力感到兴奋！在这一系列的两篇文章中，我们将深入探讨新的结果并讨论其影响。在这两部分系列的第一篇文章中，我们将探讨H-Nets的扩展法则及其定性行为。我们为标记化的Transformer生成了标准的扩展阶梯，并展示了经过精心控制的一阶段H-Nets通过学习的分词提供了有意义的计算效率提升（高达3-5倍）。我们展示了从扩展更灵活的二阶段H-Nets中得到的实证结果，其中其性能优于匹配的开源模型，效率改善极大（计算和数据减少10倍）。我们分析了H-Nets学习的模式，展示了其以前在语言模型中未见的丰富多样的新行为，例如上下文中的分词。我们讨论了H-Nets如何超越语言建模，当前在生物学和计算机视觉领域的研究结果显示它作为跨模态的一般架构的前景。在下一篇文章中，我们将更深入地探索更广泛的模型，以更好地理解为何H-Nets在语言建模中能够更加高效。总体而言，我们的结果提供了证据，表明H-Nets是一个基础架构，真正契合苦涩教训，直接从原始数据中学习意义，并显著提高效率和可扩展性。这一研究议程代表了推进人工智能如何从所有数据中学习的重大机遇，我们对此感到无比兴奋，准备推动前沿！分层网络（H-Nets）我们在去年首次提出分层网络（论文，博客）作为一种新的端到端架构，能够建模数据中的多个抽象层次，在语言建模及其他方面展现了希望。简而言之：这一术语的灵感来自于认知心理学中已有的分块概念，这是人类智能的一个重要部分。我们认为，这对人工智能的前沿也至关重要。在语言建模的背景下，这个想法是构建新的学习原语，使模型能够递归地将低级数据分块成更高级的含义：将字符转换为单词，将单词转换为短语，将短语转换为概念。在此文的背景下，大部分情况下，可以将分层网络视为替代分词，而不是将数据从字节预处理为令牌（固定的字节块），H-Nets在模型内部动态地执行分块。此外，H-Nets的标志性特征是它们以端到端的方式分层地执行这一分块。相比之下，标准的标记化语言模型甚至其他一些替代方案（我们将在第二篇文章中看到的一些）采用多阶段训练，而数据的分块/分词过程完全是在离线进行的。详情：分词和BPE语言模型并不直接读取文本，而是将固定词汇表中的一个令牌序列作为输入。一个自然的词汇是256个字节值，每个UTF-8字节生成一个令牌。