寓言不是一个有用的模型
罗布·帕特罗 2026年7月7日,人类的寓言(“以安全为重”的神话版本)的发布因多种原因而经历了过山车般的波动。最初于6月9日发布,美国政府在6月12日对寓言和神话施加了出口控制。这意味着人类无法向任何非美国公民(包括他们自己的员工)提供该模型。出于严重法律后果的风险,验证所有用户的可能性使得继续提供该模型在功能上变得不可能,因此人类将其撤回。在经过几周的谈判后,出口控制被解除,人类恢复了对模型的访问(只有寓言是普遍可用的,而神话仍然仅限于特定的预先批准的合作伙伴)。当然,这一切在网上引发了很多戏剧性事件,导致了大量的猜测和很多新闻故事。然而,这并不是我想在这里关注的重点。相反,我想解释为什么我认为,至少对于计算机科学中的研究级任务,寓言并不是一个有用的模型。 第一个失败(可以理解,但不是真的)我编写并维护一个广泛使用的转录本定量工具,名为salmon,用于RNA-seq数据。原始的salmon代码是用C++11/14编写的,今年早些时候,我对其进行了更新和模块化(在ChatGPT的帮助下),并将其提升到C++20标准。然而,我更雄心勃勃的目标,已经有一段时间了,就是用rust重写salmon。注意:最终确实发生了,结果是salmon 2(已经超越了C++版本的功能,并迅速添加新功能,但那是另一个帖子)。当6月9日原版寓言发布时,我的第一个想法是使用它来帮助协调salmon重写。现在,我已经成功地将实验室中开发的其他几个库或程序从C++移植或重写为rust,主要是借助于Opus(4.6-4.8),那些过程相比比较顺利。因此,我认为这是一个很好的机会来看看寓言的比较。遗憾的是,在花了一些时间精心制作详细描述和移植叙述,并附上实施说明和测试细节后,我将查询提交给寓言(在“计划”模式下),它立即因安全问题标记了我的查询,拒绝了它,并建议将其发送给Opus 4.8。自然而然,我想知道为什么这个提示被拒绝。人类声称寓言使用“分类器”来确定哪些提示被拒绝,哪些被允许,尽管据广泛报道,这个分类器的校准极为糟糕。表面上看,我的提示被拒绝是因为它涉及处理RNA-seq数据的软件,而文档和源代码中的生物术语触发了提示拒绝所需的红旗。我尝试了一次又一次,试图向寓言解释我只是要求用rust重写一个现有的、开源的、广泛使用的、公开可用的C++软件工具。重写本身并不涉及新颖的“生物”研究。最初的请求纯粹是一个软件任务,这应该是寓言的强项。然而,寓言不仅拒绝了这个提示,而且还拒绝详细披露或解释拒绝的原因,或帮助我理解如何以避免这一问题的方式提示它。在尝试了大约15到30分钟的不同措辞后,我放弃了,简单地 proceeded with Opus 4.8(它愉快地配合并最终做了很好的端口)。然而,这是我第一次感到寓言使用的“分类器”并不完全是分类器,而更像是一个简单的术语和用户的拒绝列表,拒绝与任何与生物研究(可能还包括网络安全研究)相关的主题(或用户)开始接触。这次尝试让我感到极度失望。尽管明显没有任何安全风险或隐患,寓言却完全拒绝在其应该很适合的工作中与我互动。看看社交媒体,我发现我的经历与许多其他人分享,包括一些生物学家,他们的提示如“我为什么存在?”,“线粒体是什么?”和“我晚餐该吃什么?”都被寓言拒绝。这真是奇怪。 第二个失败(不可原谅)虽然我考虑了其他可以对寓言提出的挑战,但它在6月12日消失了,屈服于行政机构对出口的控制。因此,虽然我提出了另一项有趣的工作想要它尝试,但模型根本不可用。在7月1日,在与行政机构达成协议后(没有提供太多关于所发生事项的具体细节),人类重新发布了寓言。在这次重新发布中,他们提到了更严格的安全措施。尽管如此,寓言又回来了,所以我决定再试一次。设置:在研究生院快结束的时候,我工作...
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡