一种新的、可能具有争议性的观点：在这段视频中，我解释了受监督学习训练的生成式人工智能在某种意义上无法进行新颖发现的原因。 视频链接：youtu.be/K5LAFEjTlBA 演讲文本：人工智能的创造力与发现 各位女士们，先生们，大家好。 我很遗憾今天无法与大家面对面进行讨论，但我仍然很高兴，通过这段录音与大家分享一些关于人工智能当前和未来状态的高层次看法，特别是关于人工智能与科学和数学之间的关系，正如我所理解的，这是此次会议及SAIR基金会的核心焦点。 我想从一个老笑话开始；我相信你们听过。这个笑话是关于一名研究者，其工作的评估回馈说：“这项工作既新颖又精彩。不幸的是，好的部分并不新颖，而新颖的部分并不好。” 我对人工智能的第一个观点是，这个评估正好适用我们今天所知的大部分人工智能。并不是今天的所有人工智能，但有很大一部分。几乎所有我们所指的“生成式人工智能”的内容——包括大型语言模型、图像和视频模型，甚至是用于学习世界模型的新方法。所有这些人工智能都会提取大量示例，生成一个“模型”，这个模型的行为与示例相似，也就是说，能够生成像人一样的文本，或像艺术家或自然界一样的图像，以及像我们在互联网上看到的视频。 不要误解我的意思，生成式人工智能可以非常有用，毫无疑问。但笑话中的评估依然适用。这些系统可以产生既新颖又好的输出，但不可同时做到。这在许多方面其实并不是一个问题。当我们向人工智能请求互联网的答案，或让其总结一份文件时，我们并不想要新颖。我们很高兴答案的质量、好坏来自于源材料——来自撰写文件的人或互联网上的文章。如果人工智能的答案是新颖的，这意味着它超越了源材料，添加了额外的内容。这就是我们所称的“幻觉”。在大多数情况下，我们不喜欢人工智能做出一些虚构的东西，当它添加一些新颖的内容时。当然，一个例外是当我们不是在寻找事实或现实，而是在寻找虚构和娱乐。我们可能会为孩子请求一个床边故事，或请求某个图像，它基于互联网上现有的图像，但又与这些图像有所不同。 在这些情况下，我们很难知道人工智能实际上有多创造性，因为我们不知道人工智能的故事、诗歌或图像与源材料的接近程度。实际上，我们无法知道这一点，因为互联网规模太大，人工智能可能借鉴的源太多。当我们寻求虚构或新颖时，人工智能能够满足我们，因为它的处理部分是随机的。每个决策可以有多种取向，并且每次都会采取不同的方式，产生不同的轨迹。轨迹可以是随机的——因此是新颖的——或者它可以基于训练数据——因此是“好的”，因为训练数据是好的，来源于人或现实。因此，轨迹要么是新颖的，要么是好的——是基于随机性或基于数据——但不可能同时具备。 实际上，我认为如果生成式人工智能的输出从未能够同时是优秀且新颖的，那也是可以的。对笑话中的研究者来说，这是一个毁灭性的批评，但对于大多数事物而言，情况并非如此，对于生成式人工智能也并非如此。生成式人工智能是为了模仿。这就是监督学习的目的。即便生成式人工智能只是模仿，它也可以极为有用，只要它比被模仿的东西更快、更便宜、更小、更可定制或更易复制。生成式人工智能不能同时具备新颖和优秀是没关系的。它依然是一项变革性技术，但这也是一种限制。 请记住，我们在这里是为了将人工智能用于科学和数学，而在这些领域，笑话中评审者的评估是毁灭性的。对于这些领域，我们需要真正的创造力和发现。生成式人工智能——或模仿人工智能——永远不会带我们去那里。为了这些，我们需要一些更高级的东西，事实上，在人工智能的其他部分我们确实有一些更高级的东西。我们有许多可以给我们更多的人工智能系统。我们有改变世界的AlphaGo的第37步，或者其原始的聪明的下棋风格的AlphaZero。我们有超越任何人类的GT-Sophy模拟赛车系统。我们有AlphaFold、AlphaProof和Claude-Code，它们为科学、数学和编程带来了真正的进步。我们有RL-Lyft，它优化了叫车业务中车辆与乘客的分配。 所有这些系统都发现了一些既新颖又优秀的东西。而且，实话实说，一些语言模型已经以某种方式增强到可以...