自2022年ChatGPT发布以来，席卷全球的一切——“人工智能经济”；数据中心；充当最佳朋友、医生和数学家的聊天机器人；关于生存风险的讨论——从某种意义上说，这一切都始于蒙特利尔大学实验室的一名实习生Dzmitry Bahdanau。那是2014年。这位23岁的白俄罗斯人从小就开始进行竞争性编程，但以前从未进行过学术研究，他被要求帮助寻找如何让计算机将句子从英语翻译成法语的方法。Bahdanau在处理人工神经网络，后者在解读手写和识别照片中的物体等模式识别任务中已显示出潜力。这些网络通过根据训练数据增强或减弱节点之间的连接来学习识别模式。Bahdanau默默怀疑它们能否实现类似人类的智能，但他的导师、计算机科学家Yoshua Bengio，以及项目上的博士后Kyunghyun Cho则是信奉者。而翻译在当时被广泛视为神经网络试图解决的一个艰巨而有趣的问题。翻译并不像简单地将每个英语单词替换成一个法语单词那么简单。语言有不同的语法结构，并且充满了成语和含义，这些都长期阻碍了自动化这个过程的尝试。你不能简单地实施翻译规则，因为根本没有这样的规则。但神经网络似乎充满希望，因为它们通过示例学习。它们可以在大量的英语和法语配对句子数据库上进行训练，从而最终吸收这些准规则、例外和细微差别。然而，结果一直很平庸；句子越长，神经网络的表现越差。因为研究人员试图在解码目标语言的句子之前将每个句子的数据压入固定的内存量中。这是一个瓶颈，限制了翻译的复杂性和精致程度。网络架构显然不正确。因此，Bahdanau尝试了一些不同的东西。“这显然是正确的做法——在科学中偶尔会发生的事情，对于一个不那么有经验的人来说，这非常清楚，”他回忆道，与我对话时，他仍在蒙特利尔工作于人工智能。“而且它确实有效。从第一次尝试开始。”Bahdanau的技巧是一种数学运算，他、Cho和Bengio将其称为“注意力”，使他们的神经网络能够对长句子的翻译表现得和短句子一样好。这意味着该方法是可扩展的。当时的其他人工智能研究人员迅速将注意力整合到他们的神经网络设计中。然后，在2017年，谷歌的一个团队设计了一种新型神经网络架构，称为变压器，这种架构极大增强了注意力方法，并剔除了其他所有内容。该团队的论文《Attention Is All You Need》报告称，变压器在实现最先进的翻译的同时，所需的计算量远低于之前的模型。该论文自发布以来已被引用超过250,000次，成为人工智能的一个转折点。大型语言模型如ChatGPT和Claude随之而来。考虑到释放出来的惊人力量，值得问一下这个注意力机制究竟是什么，它为什么“是你所需要的所有东西”，以及为什么机器翻译是解锁这一切的任务。注意力是我们理解单一人工智能模型如何与我们对话、诊断疾病、生成现实视频、解决长期数学问题等的一种方式。它是否在某种程度上是智慧的核心——无论是人工的还是其他形式的？包含“它”等代词的句子揭示了注意力克服的挑战。考虑一下：“动物没有过马路，因为它太累了。”还有：“动物没有过马路，因为它太宽了。”要正确地将这些句子翻译成法语，人工智能模型必须确定，在第一个句子中，“它”指的是动物，法语中的动物是阳性词，因此翻译应使用代词形式il。而在第二个句子中，“它”指的是马路，而马路是阴性词，必须使用另一个代词elle。机器怎么能搞明白这一点？Bahdanau记得在上学时学习英语时进行翻译练习。为了写出翻译句子的下一个单词，他必须四处查看源文本，以确定接下来该写什么。“字面上, 你的源句子在左边, 你的写作在右边, 你会像是在左右转头，”他说。“这个过程就是我所表达的神经机制。”他给他的神经网络的注意力工具是一种数学方法，让网络能够识别句子中最能为翻译的下一个单词提供信息的那个单词或词组。在我们模棱两可的代词“它”的情况下，该系统...