返回

文章详情

The AI safety bottleneck: Save the world or get the bag

人工智能安全瓶颈:拯救世界还是赚钱

Business Insider2026年10月22日 08:37

Getty Images; Tyler Le/BI 呼吁所有想拯救人类的工作者,人工智能安全行业正在吸引大量资金以拯救世界,但从事这项工作的人员却不够。Getty Images; Tyler Le/BI 作者艾曼达·霍弗(Amanda Hoover)您正在关注此作者!点击取消订阅电子邮件提醒。2026-10-22T08:37:01.259Z 在瑞舒布·贾因在谷歌DeepMind工作时,他掌握了科技领域最令人垂涎的工作之一。他是一个小组中的研究人员,致力于缓解人工智能最重大的风险。但他离开了并共同创办了一家非营利组织Sampura Research。贾因放弃了与谷歌职位相关的荣耀和机会,因为他觉得在外部对人工智能安全展开研究能产生更深远的影响。贾因表示,他想要在人工智能对齐的特定问题上拥有自主权,而他认为这是一个被降级的领域。“所有顶尖的人工智能公司确实非常关注安全,并且他们对其进行了投资,但他们本可以投资更多,而这正是限制我的原因,”贾因说。“如果他们在安全方面投资更多,我现在仍然会在实验室与一个大型团队一起做我感兴趣的事情。”谷歌没有回应有关其是否仍专注于这一特定研究领域的评论请求,但DeepMind的原则声明其保持“对责任、安全和保障的整体性方法”。贾因的创办故事反映了安全研究人员退出OpenAI和Anthropic时提出的担忧,包括对这些公司“在跟我们的生命赌博”的严重警告,并有可能开发出终结人类的技术。曾被视为边缘和末日狂热的人工智能安全专业,随着来自恶意代理的黑客攻击和一系列人员离开的事件,该问题已进入主流关注。过去一年中,LinkedIn上的人工智能安全职位开放增加了91%。该行业预计将在即将到来的Anthropic和潜在的OpenAI IPO中涌现大量资金,因为那些因股权回报而变得不可思议富有的人们可能会把资金投入人工智能技术迅速发展所造成的混乱清理工作中。人工智能安全问题的存在是巨大的,但花时间磨练人工智能专业知识的人却很少。这些人负责测试和训练人工智能系统,以确保其道德运行。有些人专注于技术研究,有些人则关注政策和治理。与此同时,他们越来越多地发出警报。“对人工智能最担忧的人通常是与技术最亲近的人,”80,000 Hours的顾问经理劳拉·冈萨雷斯·萨尔梅隆(Laura González Salmerón)表示,该组织专注于帮助人们转型为高社会影响力的职业。稀缺问题更多与人才有关,而非资金。“人才是主要瓶颈。”人工智能安全领域的初创公司和非营利组织必须在一个浅薄的池中争夺人才。贾因的Sampura为一名经验丰富的团队领袖列出了273,000至395,000美元的薪资范围,这将使该员工在美国的收入中位于前3%;但与大型公司的报价相比可能显得微不足道。据报道,Meta去年为挖走世界顶尖专家提供了1亿美元的签约奖金。OpenAI为员工提供平均150万美元的股票薪酬,而在Anthropic的技术员工年薪超过100万美元。抛开金钱不谈,研究人员对在技术公司内部工作以减轻风险,还是向后退一步从外部尝试将船舶引向更安全的结果这一问题存在分歧,就像贾因所做的那样。“我对人工智能的进展速度有点担忧,以及我们能否在脚下的地板被抽走之前提出一些有用的东西,”贾因说。他担心人工智能的进步将超过使其与人类价值观保持一致的努力。“这正是目前发生的事。”大卫·罗宾逊(David Robinson)曾为OpenAI的安全团队领导透明度工作,他为《大西洋月刊》写了一篇文章解释他的离开。他表示,人工智能公司应有更多层次的检查和安全措施,类似于机场和核能领域,而不是大科技文化的压制。“也许我应该留下来为我们的人事和文化的根本变化而奋斗,但实际上,我和同事们忙于冲刺,几乎没机会考虑大变革,更别提真正地实施这些变革了,”他写道。罗宾逊表示,他计划在公司外部解决这些问题。随着这一问题越来越突出,帮助培训和招聘工人的机构也在逐渐涌现,而机会并不仅限于人工智能专家。Kairos的联合主任内夫·托帕兹(Neav Topaz)表示,该非营利组织为人们提供提升技能以从事人工智能安全工作,最近从Coefficient Giving筹集了5000万美元。他表示,每个月大约与10到20人交谈,他们希望转向人工智能安全,而兴趣也在增加。他告诉我,人们越来越频繁地询问...

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

☕请我喝杯咖啡