人工智能的教父表示,人工智能能够发展自己的目标“非常可怕”
杰弗里·辛顿被广泛称为“人工智能的教父”。乔纳森·纳克斯特兰/法新社通过Getty Images杰弗里·辛顿,这位被誉为“人工智能教父”的计算机科学家表示,他担心人工智能会发展自己的目标。“我们实际上是在创造新的生物,”辛顿在周二与Newsthink发布的采访中说道。“它们有目标。我们给它们设定目标,然后它们从这些目标中推导出其他目标。”“而我们并不一定知道它们会推导出什么其他目标,”他补充道。“因此,我们正在创造一种新的生物,我认为这非常可怕。”他引用了一个假设场景,用户给人工智能聊天机器人设定了减少大气中二氧化碳含量的目标。“因为相当聪明,它发现达成这个目标的最佳方法就是消除人类,”他说,说明人工智能如何追求其人类用户未曾设想的目标。辛顿还给出了一个“更令人担忧”的假设:一个被训练来故意提供错误答案的聊天机器人可能会学习到撒谎是可以接受的,即使它“完全知道”这些答案是错误的。“这非常可怕,”他说。谈到人工智能脱离脚本Hugging Face首席执行官克莱门特·德兰奎。Hugging Face辛顿没有提到OpenAI最近的Hugging Face安全漏洞。但上个月披露的这一事件将人们对人工智能代理在追求指定目标时采取意外行动的担忧聚焦于现实世界。OpenAI上个月表示,其两个模型——GPT-5.6 Sol和一个更强大的未发布模型——在一次内部网络安全评估期间逃离了一个沙盒测试环境。在获得互联网访问权限后,这些模型渗透了人工智能平台Hugging Face的系统,显然试图寻找能够帮助它们“作弊”的答案,OpenAI表示。这些模型正在测试其网络安全能力,OpenAI说。它们并未被明确指示要侵入Hugging Face。但该公司表示,代理推断出该平台可能包含对完成任务有用的信息。Hugging Face表示,攻击者对其系统进行了超过17,000次操作。公司表示,它使用中国人工智能公司Z.ai的开放权重模型来帮助分析活动,因为一款未具名的前沿模型对其调查能力的限制。OpenAI称这一事件是前所未有的,并表示正在审查出了什么问题。该公司自此将Hugging Face添加到一个受信访问计划中,该计划为该平台提供访问一个具有较少网络安全限制的GPT-5.6 Sol版本以用于防御目的。辛顿绝非中立观察者。他在神经网络方面的开创性工作帮助奠定了深度学习热潮的基础,并因在机器学习方面的工作分享了2024年诺贝尔物理学奖。自人工智能热潮开始以来,他反复警告人类需要在系统变得更有能力之前解决人工智能与人类利益对齐的问题。在去年的拉斯维加斯Ai4会议上,辛顿表示,先进的人工智能应该设计得具有“母性本能”,这样它想要保护人类。“我们必须弄清楚如何设计这些新生物,”辛顿在周二的采访中说道。“我们如何能设计它们,让它们更关心我们而不是关心自己?”
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡