Elon Litman 这篇文章是关于联合嵌入预测架构（JEPAs）的逐步注释和从零开始的逐步演示。目标是为JEPA做的事情，就像《注释版Transformer》所做的那样：构建完整的对象，解释每一个可动部分，并以一个有效的训练循环结束。JEPA是Yann LeCun提出的自监督学习中的一个基本问题的答案：如何让模型在没有标签的情况下理解世界，而不陷入平庸的解决方案，也不在无关细节上浪费能力？答案在原则上优雅而在实践中微妙，涉及表征空间或潜在空间中的预测。为了使讨论更具体，主要运行示例是I-JEPA，即图像实例化。 为什么选择图像和视频而不是文本？LeCun认为，语言已经是知识的高度压缩、离散表示；预测下一个标记需要建模人类交流模式，而不是物理现实。相比之下，视觉预测要求理解持久性、遮挡和动态。JEPA旨在为像素级重建浪费能力在无关细节上的领域设计，这在离散标记中并不会以相同的方式出现。我们将在最后接回来。I-JEPA被引入作为一种自监督的方法，通过从可见上下文预测被遮挡区域的表示来学习语义图像表示。请参见《通过联合嵌入预测架构进行自监督图像学习》（2023）。I-JEPA是一种非生成的方法，完全避免手工制作的数据增强。我们将从零基础构建I-JEPA，然后讨论其扩展到视频的V-JEPA和V-JEPA 2。请参见《V-JEPA：用于视觉表征学习的潜在视频预测》（2024）和《V-JEPA 2：自监督视频模型实现理解、预测和规划》（2025）。接下来再检查LeJEPA，这是最新的尝试，用分布正则化器取代工程启发式。请参见《LeJEPA：可证明和可扩展的自监督学习，无需启发式》（2025）。接下来的内容旨在进行教学。实施省略了FlashAttention、梯度检查点、混合精度和使大规模训练可行的批处理策略。这些是占据生产代码库的工程选择，但与数学可以轻松分离。 问题 自监督表征学习问：如何在没有标签的情况下学习有用特征？你需要一个捕捉有意义结构的目标，而在没有标签的情况下，找到一个真正有效的目标是该领域的中心困难。JEPA的答案是：通过预测进行训练，但在表征空间中进行预测。那为什么这个方法会有效呢？假设你看到了一部分图像，上下文为x，并且想学习表征。图像的某个地方有一个目标区域y，你看不到。编码器将y映射到表示sy。预测器接收你对上下文的编码并输出对sy应是什么的猜测ŝy。训练旨在最小化距离D(ŝy, sy)。现在问：预测器什么时候可以成功？只有当上下文编码sx中包含足够的信息以确定sy必须是什么时，预测器才能成功。如果你看到了汽车的引擎盖，那么预测车轮的表示就要求你的对引擎盖的编码捕捉到这是机动车的特性。如果你看到了一个面孔，那么预测头发的表示需要你的编码捕捉到身份、姿势和照明。预测器不能凭空生成上下文编码所缺乏的结构。这就是强迫因素。上下文编码器必须学习从x中提取出与y的表示相关的特征。这些正是语义结构特征：物体身份、空间关系、物理约束。x中的像素级噪声并不帮助预测sy，因此编码器学会忽略它。剩下的就是泛化特征。目标编码器有一种互补的压力。它的输出sy必须能够从上下文中预测。如果sy编码了随机的高频纹理，那么无论上下文有多少都无法帮助预测。因此，目标编码器学习输出捕捉x和y之间共享结构的表示，这一结构使得预测成为可能，而不是仅仅y的特有细节。LeCun的立场论文将此框架概念化为一种基于能量的公式。请参见《通往自主机器智能的路径》（2022），OpenReview。LeCun将JEPA框架作为在潜在空间中进行规划的世界模型的基础：编码x和y为表示，从一个预测另一个，在该抽象空间中将能量定义为预测误差。该架构可分解为我们可以实现和分析的组件：两个编码器、一个预测器、一个距离函数。 JEPA模板 一个JEPA从成对的语义相关视图开始。