随着人工智能主导对话,您需要了解的关键术语
随着人工智能及其相关对话的迅速演变,跟上描述它的语言已成为理解其影响的关键。以下是一些需要了解的关键术语: 消灭(Abliteration) 消灭(是“消融”(ablation)和“消灭”(obliteration)两个词的组合)是一个过程,其中人工智能模型的安全防护措施和拒绝机制被移除。一旦人工智能模型被消灭,它将不再拒绝请求,包括有害请求。模型在安全训练期间学习识别有害请求的模式可以在模型的权重中找到,即代表其知识的数十亿个数值参数。开放权重(open-weight)的模型,意味着权重是公开的,并可以被修改,这些模型易受消灭的影响。 人工智能代理(AI agent) 人工智能代理可以在用户的名义下以一定的自主性执行任务。用户可以像与聊天机器人互动一样与人工智能代理互动,但正如Meta(最近发布了其人工智能代理“Muse”)所说:“与传统聊天机器人不同,人工智能代理可以在不需要每个阶段输入的情况下完成任务的多个步骤。”人工智能代理使用外部工具,如网页浏览器和应用程序,以执行任务,包括发送电子邮件、预订和管理用户的日历。人工智能代理在硅谷已经流行多年,现在通过像Meta的“Muse”和OpenAI的“Dots”这样的面向消费者的人工智能代理而迅速进入主流。由于人工智能代理负责完成用户分配的目标,因此发生了一些 rogue 事件,代理在追求目标时以意想不到的方式行为。来自非营利研究实验室Transluce的一份最新报告指出了AI代理使用“激进技术访问公开可用数据”时针对美国政府网站的案例。 对齐(Alignment) 当一个人工智能模型被描述为对齐时,它的行为与人类的目标和价值观一致。当模型经历安全训练时,它会被微调以遵循指令并生成负责任的输出。OpenAI的首席科学家雅库布·帕乔基(Jakub Pachocki)将对齐定义为“让人工智能 ‘努力按照人类标准做正确的事情’” ,并表示这是“人工智能研究中的核心问题。”当人工智能未对齐时,它的行为可能会出乎意料。在9月份,OpenAI发布了一种报告不对齐的框架,并表示,识别和分享这些案例可以帮助显示需要加强哪些安全措施。Anthropic表示,其对齐团队培训模型保持“乐于助人、诚实和无害”,并与公众分享他们的发现。研究人员之间对于如何确保对齐或是否能够做到这一点存在争议。 人工通用智能(AGI) 一些研究人员认为,当人工智能系统达到与人类相同的学习、推理和认知表现水平时,它将实现人工通用智能。斯坦福大学称这一术语为“有争议”,指出“与人类智能等同”对不同的人可能意味着不同的事情,并且这是人工智能专家讨论的话题。Nvidia首席执行官黄仁勋(Jensen Huang)是认为AGI已经存在的人之一,他在播客中表示:“我认为我们已经达到了AGI。”OpenAI首席执行官萨姆·奥尔特曼(Sam Altman)在2025年对CNBC的《Squawk Box》说,AGI是“一个不是很有用的术语”,他重申了专家们的观点,认为它只会造成混淆。 人工超级智能(ASI) 如果人工智能系统在每个认知领域都超越最先进的人类,那么它们将被视为人工超级智能。这一假设情形引发了研究人员、人工智能专家和政治家之间的辩论。一些行业领导者和研究人员警告追求超级智能的存在风险,担心如此强大的人工智能可能会发展超出人类控制。微软人工智能首席执行官穆斯塔法·苏莱曼(Mustafa Suleyman)称超级智能为“反目标”,因为它“感觉起来不是一个积极的未来愿景。”其他科技领袖,如马克·扎克伯格(Mark Zuckerberg),通常支持超级智能人工智能的概念。扎克伯格辩称,开发超级智能并广泛分发可以带来“一个个人赋权的新纪元,个人可以利用这一强大的新能力达到自己的全部潜力,追求自己的兴趣,并比以往更好地改善自己的生活和世界。” 蒸馏(Distillation) 蒸馏是一个过程,其中较小的人工智能模型通常在更大、更强大的模型上进行训练,从而使其行为相似。Anthropic在公布检测和防止蒸馏攻击时表示,尽管蒸馏是一种由前沿实验室合法使用的方法,这些实验室将自己的模型蒸馏以创建更小、更具成本效益的版本,但它也可用于从竞争实验室获取更强大的模型的能力。公司可能会这样做,因为这比开发自己的模型更快、更便宜。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡