查看 PDF HTML（实验性）摘要：我们重新审视序列建模中的一个基本问题：显式自注意力对于强性能和推理是否真的必要？我们认为标准的多头注意力最好被视为一种张量提升形式：隐藏向量被映射到成对交互的高维空间，并通过梯度下降约束这个提升的张量。这个机制表现得非常 expressive，但在数学上是不透明的，因为经过多层之后，很难用一小部分显式不变式来描述模型。为了探索替代方案，我们提出了一种基于 Grassmann 流的无注意力架构。我们的 Causal Grassmann 层通过以下步骤实现：(i) 线性地减少标记状态，(ii) 通过 Plucker 坐标将局部标记对编码为 Grassmann 流形上的二维子空间，和 (iii) 通过门控混合将这些几何特征融合回隐藏状态。因此，信息通过低秩子空间在多尺度局部窗口的受控变形中传播，因此核心计算存在于有限维流形上，而不是在无结构的张量空间中。在 Wikitext-2 语言建模基准上，纯 Grassmann 基础的模型（参数在 1300 万到 1800 万之间）在大小相匹配的 Transformer 内达到约 10% 到 15% 的验证困惑度。在 SNLI 自然语言推理任务中，DistilBERT 上的 Grassmann-Plucker 层稍微优于一个 Transformer 层，最佳验证和测试准确率分别为 0.8550 和 0.8538，而 Transformer 为 0.8545 和 0.8511。我们分析了 Grassmann 混合的复杂性，展示了固定秩下序列长度的线性缩放，并认为这样的流形基础设计为神经推理的几何和不变性解释提供了一条更有结构的途径。主题：机器学习（cs.LG）；人工智能（cs.AI）；代数几何（math.AG）引用为：arXiv:2512.19428 [cs.LG]（或 arXiv:2512.19428v1 [cs.LG] 此版本）https://doi.org/10.48550/arXiv.2512.19428 通过 DataCite 提交历史 发自：Chong Zhang [查看电子邮件] [v1] 周一，2025 年 12 月 22 日 14:29:18 UTC（16 KB）