18分钟阅读 2日前 -- 按回车键或点击查看图片的完整大小 平坦曲线社会 嗨，我们达到了这一刻，在这部我们都在X上共同观看的电影中，模型智能已经变得危险。达里奥早在几年前就预测这将会在今年发生。随着Fable被美国政府（短暂）关闭，这是我们已经进入危险水域的第一个显著迹象。真令人遗憾。我原本希望在我们进入一个安全问题之前能再获得几代模型升级，强大到足以说服所有剩余的怀疑者。但神话级（Fable是他们上周发布的未加严密保护的版本）让每个人都感到惊恐。既然我们知道模型变得危险，那么我们就可以进行一些推测。人工智能的竞争不会减缓，人工智能的能力将继续呈指数级增长。不幸的是，你们中的大多数人将无法再看到它的进展。我现在属于这样一种观点：我们离人工智能最终被控制得像核武器一样，最多只剩下两到三代模型。只有少数人能够接触到超智能，超出我们今年所见模型的类别。就我所知，大多数财富500强公司要么根本无法接触，要么只能为公司中的小部分人严格控制。并且这将受到监督。我认为能够接触到强大边缘模型的人将像自动售货机一样销售智能：你向他们发送软件规格或问题，他们的模型会在他们的服务器上为你实现，而你的花费也将交给他们。由于大多数公司不会愿意将他们的代码和问题发送给模型供应商，我认为世界将学会与我们可以接触到的模型共存。 按回车键或点击查看图片的完整大小 超智能锁住在关键之中 每个政府将会限制接触，独立行动。核武器稀缺是因为获得浓缩铀很难。人工智能的发展正走上同样的道路，关键在于供应链——这是各国政府能够真正控制的东西。中国将会像美国政府一样，紧紧锁住超智能在自己的边界内。如果中国最终在边缘科技上领先，只是改变了权力的集中地，但不会改变我们将要在其中运作的世界的整体形状。 一种平庸模型的世界 我们中的许多人希望开源软件模型能让我们保持在指数曲线之上。它们大约落后于前沿技术七个月。但通过训练计算，它们保持在曲线上，而这需要越来越多的国际关系层面的交易来确保。也许提炼或一些巧妙的点对点训练方案能让它们继续参赛。但要突破Fable级别，它们必须在整个硬件和软件供应链被像核链一样锁定的情况下进行。而前沿实验室本身将拒绝帮助训练下一个危险的开放模型。如果开源软件在明年达到了Fable级别，这对世界来说是好事。但开放模型无法超越Fable级别，不会因为有巨大的计算障碍和政府封锁在前。因此，今天的模型大致是我们能得到的最好水平。尽管在某些方面我对此感到失望，但我发现它仍然有很多积极的方面值得高兴。因为今天的模型，尤其是Fable级，已经足够优秀。它们仍将彻底改变编码和知识工作。只是这不会是一条平坦的道路。这将需要大规模的多年努力来转变。我将在本帖余下内容中假设我们都能重新获得Fable，甚至可能在进一步的进展变得只有少数人才能接触之前再获得一个更高级别的模型。你们中的许多人一直期待曲棍球棒式人工智能发展曲线很快会平稳下来，拒绝相信它确实处于一个指数曲线之上，这可能导致它变得比人类聪明得多。你们预测人工智能将无法取代人类工程师。在某种程度上，你们的确是对的。以一种非常切实的方式。实际上，在幕后，这条曲线根本没有平坦化；指数增长将持续下去，你将能看到可外部观察到的迹象，例如数据中心的增长。但对于你而言，曲线将似乎在经历两种不同现象的影响下平稳化。第一个原因就是我们已经提到的：他们会将最聪明（因此也最危险）模型排除在我们的接触范围之外。因此我们大多数人永远没有机会去尝试它们。而那些模型当然不会取代工程师，如果我们无法使用它们。另一个原因相当有趣，我花了一段时间才发现这实际上是穿着不同帽子的同一个原因。平庸用户的世界 有些人已经报告说，他们无法区分Opus 4.8和Fable 5。我称之为“辨别地平线”：每个人都有一个模型智能的上限。