Anthropic因以安全为先的Fable发布而惹恼用户
Anthropic最新的AI模型可能是该公司最强大的公开发布,但系统的严格安全措施迅速引发了AI巨头面临的一些最强烈的反对意见。许多用户,其中一些人曾对Anthropic之前的公告感到惊讶,对公司在周二以他们所说的过于严格的安全防范发布Fable 5模型表示愤怒。在某些情况下,当模型将查询分类为潜在敏感时,它会提供质量较低的答案,而不告知用户降级。在公众的强烈反响后,Anthropic迅速撤回并逆转了在Fable 5发布不到两天内的一些最保守的决定,凸显出人们对AI公司单方面限制用户获取有用AI生成信息能力的日益担忧。“您应该了解我们所采取的安全措施以及原因。我们很抱歉没有把握好平衡,”Anthropic在星期四早些时候在X上写道。Nathan Lambert,一位倡导协作构建AI系统的顶尖AI研究人员,写道,在这种谨慎的发布中,“Anthropic已清楚表明,他们只相信自己作为尖端AI研究的中介。”Anthropic的Fable 5系统是Anthropic的Mythos模型家族的第一个面向消费者的系统。Mythos的早期非公开版本因其发现关键软件系统中超过10,000个严重漏洞和弱点而在四月时令政策制定者和企业高管感到不安。Anthropic担心强大的AI模型如Mythos可能允许不法分子利用AI系统实施犯罪,从对关键基础设施发起摧毁性网络攻击到设计可能导致大量人员伤亡的生物武器。因此,Anthropic以严格的安全防范措施发布了Fable 5,防止模型回答与网络安全或生物学相关的一系列问题。Anthropic承认其决定倾向于谨慎,表示Fable 5的以安全为主的策略可能会错误地将无害请求标记为可疑,影响不到5%的查询。“随着未来几个月更强大的模型的到来,我们正在努力改善我们的安全措施,并尽快减少错误警报,”Anthropic写道。NBC新闻进行的模型初步测试,以及社交媒体上分享的许多例子,发现Anthropic的保护措施对潜在的可疑活动采取了广泛的看法,使该系统在许多普通查询中变得无用。例如,该模型拒绝了NBC新闻对埃隆·马斯克和Anthropic首席执行官达里奥·阿莫代伊提出的意见请求,声称这些问题可能是危险的。Fable 5还拒绝回答许多无辜的生物学相关问题,包括有关癌症研究中的开放性问题以及哪些医学检查可能最佳识别胰腺损伤的查询。对于那些被标记为危险的Fable 5查询,Anthropic改为将问题路由到一个较不强大的系统Claude Opus 4.8,该系统在Fable于周二发布之前一直是顶级系统。由于已被部署数月,Opus 4.8更能处理和重定向可能被视为有害的问题。Opus 4.8为NBC新闻的问题提供了基本但清晰的答案,这些答案是Fable 5拒绝的。Anthropic还担心竞争对手可能会利用Anthropic的AI系统来加速他们自己的研究——Anthropic使用其自己的AI系统来帮助创建下一代模型。为了防止其他AI公司利用Fable 5改善自己的AI产品或研究,Anthropic在周二表示,将包含安全措施,使Fable 5对与AI开发相关的用户问题的回答降低智能性或实用性。然而,Anthropic表示,这些特定的安全措施——与网络安全和生物学安全措施不同——将是隐形的,因为向用户明确说明可能使竞争对手更容易规避这些障碍。这一举动引发了立即的愤怒,一些人指责这种隐形的安全措施是不公平和不道德的。“你们不想成为首个允许并为大规模人类设计的AI操控打开大门的公司,”领先的AI研究人员克莱蒙·德朗科在X上写道,并指出Anthropic决定隐形降级与AI开发相关的答案将是“操控的最高形式”。Anthropic迅速作出反应,星期四早晨早期更新其规则,使这种安全措施变得可见。《连线》首次报道了Anthropic的逆转。位于星座研究所的AI安全研究中心高级研究经理彼得·瓦利希表示,尽管这一令人瞩目的推出并不理想,但考虑到强大的技术,这也是明智的。“对于安全研究人员和生物学家来说被送回Opus处理无害任务显然令人沮丧,这是一种真实的成本,”瓦利希告诉NBC新闻,强调他以个人身份发言。“但这仍然是...
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡