这是关于行业对杰夫反应的快速笔记，揭示了人工智能的绝望状态。我将分析：什么是杰夫，它是如何被炒作的，以及为什么杰夫像集体歇斯底里一样传播？自ChatGPT将“人工智能”带入主流以来，有哪些值得注意的创新？行业为何缺乏真正的创新？经过四年的革命性渐进改进后我们还缺失了什么？到最后，你应该能判断我们是否处于泡沫中，以及如何准备。你可能不需要介绍杰夫，因为自它诞生33天以来，它已经成为热门话题！但如果你足够聪明忽视了它，这里是实际重要的：杰夫基本上是一个通用分类器（例如，快速判断）。使它有趣的是，你不需要用大量数据来训练它（尽管这种缺乏特定用途训练对其实用性产生了负面影响）。称其为“决策模型”有点牵强，尤其是因为它甚至无法看见（竞争对手的开放权重模型具有多模态特性）或推理（这就是它如此便宜的原因）。杰夫背后的想法并不新鲜！非自回归决策模型与强化学习的想法早在一年前就已经出现。原作者很生气，但正如我们所见，戏剧性是人工智能炒作中不可分割的一部分。我想带你走过我在Hackernews上阅读他们公告时经历的情绪过山车：在OpenAI，我帮助构建了使语言模型在遵循指令和与人交谈时变得有用的方法。这项工作最终成为ChatGPT背后的研究。😎 所以创始人是ChatGPT的幕后推手，这是历史上增长最快的产品之一。我在听……那时，我认为聊天模型可能会导致AGI，但尽管有炒作，我逐渐意识到缺少一些非常重要的东西。😃 哦，我的天！就是这个！ChatGPT缺少了某些重要的东西，而他即将揭示！如果我们还没有实现AGI，我们就更近一步了！我兴奋地想阅读更多……经过两年的潜行、无数的技术挑战和研究突破……我非常兴奋地宣布😱 说出来吧！我非常兴奋地想阅读这个……TypeSafe AI正在发布我们的第一个系统一模型😯 等等？！！“系统一”？你明白你在说什么吗？这是我对丹尼尔·卡尼曼定义这两个系统的记忆：系统一：快速、便宜（在计算能力方面）、情感、无意识和判断性。系统二：慢、昂贵（需要更多的大脑力量）、逻辑、意识和更多的复杂性。如果杰夫是系统一，那么语言模型是系统二？它甚至无法处理逻辑推理！最重要的是，杰夫带来了另一个有趣的框架：无法幻觉。幻觉是当前一代语言模型最大的问题之一，但没有幻觉并不意味着响应在逻辑上是正确的。在杰夫的上下文中，这只意味着输出与模式匹配。从技术上讲，传统语言模型可以通过在其上加装控制环路（例如，类型检查器、JSON Schema解析器）来获得这种能力。杰夫以更快的速度完成这一点，而无需推理。名字里就带着：我们以威廉·斯坦利·杰夫逊的名字命名杰夫。我们期待机器智能遵循与煤炭类似的路径，正如蒸汽机效率导致了需求增加。我不知道杰夫的架构，因为在真正的“开放”AI员工传统中，没有多少内容被发布（可能是以“安全”或“护城河”的名义）。但这并不妨碍他们抛出行话：我们构建了一种新的[…]训练方法，我们称之为校准决策的强化学习（RLCD）。注意：RLCD与“传统”方法押韵：RLHF：带有人类反馈的强化学习，RLVR：带有可验证奖励的强化学习。他们甚至声称：杰夫既不是小型模型，也不是大语言模型，因此在智力帕累托曲线之外。幸运的是，类似模型并不缺乏，其中一些表现甚至更好（Laya、Kev、Nimble、NanoJev等）。所以让我总结一下营销策略：提及知名人士：前ChatGPT创造者、杰夫逊悖论、帕累托曲线、系统一 大胆的声明：无法幻觉，指数级更快且更便宜，完全新堆栈，惊人的基准和演示 模棱两可和行话：“新训练算法”或RLCD数据集没有有用的实现细节 戏剧性：Laya在杰夫发布前一年半就展示了这个想法 好吧，我认为此时我们已经足够多地看到了这种模式以识别它。我实际上认为杰夫的团队将这一点提升到了可笑的程度。无论他们的营销是由语言模型编写还是不是，他们都做到了。幸运的是，杰夫的初始噪音几乎以它爆炸的速度消失。我只能推测，随着越来越多的人进行实验，我们意识到：它无法幻觉，但仍然可能错误。它甚至比传统语言模型更错误，从这个意义上说，“系统一”是个正确的名称。