2017年，一位33岁的政治哲学家Iason Gabriel被朋友告知他应该申请DeepMind的职位，这是一家位于伦敦的谷歌子公司，专注于人工智能研究。这个建议并不明显。Gabriel是一名乐观但专注的初级学者，对内观冥想和他兄弟所称的“热情”攀岩充满热情。他是希腊管理教授和英国纪录片制作人的长子，分配时间在教学和国际发展工作之间。在牛津大学，他是圣约翰学院的研究员，教授政治理论课程，撰写关于“雅皮士伦理”的道德扭曲和有效利他主义的伦理盲点的论文。当他不在那里时，他为联合国开发计划署在苏丹和黎巴嫩进行危机工作。与此同时，DeepMind是世界领先的人工智能研究实验室。部分原因在于它得到了谷歌的财政和计算支持，谷歌在2014年以6.5亿美元收购了该公司。部分原因在于DeepMind最近证明它能以惊人的方式利用这些资源。在2016年的首尔，一个名为AlphaGo的DeepMind系统在五场比赛中击败了韩国围棋冠军李世石。这一胜利的意义重大，尤其是考虑到围棋的传奇复杂性：这款游戏的可能配置数超过宇宙中的原子数。由于AlphaGo引发的关注，Gabriel对DeepMind有所了解。尽管如此，他发现朋友的建议很令人困惑：制作游戏机器人怎么会需要伦理学家呢？答案是，他很快了解到，该公司的目标远远超过围棋。DeepMind成立于2010年，由三位相信有可能开发通用人工智能（AGI）的男子构成——德米斯·哈萨比斯、肖恩·勒格和穆斯塔法·苏莱曼。所谓的AGI是指能够匹配，甚至超越人类认知能力的计算机系统。当他们开始这个公司的时候，这并不是一个流行的看法：谈论人工智能，更不用说AGI，往往被认为是致命的不严肃。哈萨比斯、勒格和苏莱曼没有受到阻挠。他们的野心，正如他们所说，是“解决智能，然后解决其他一切”。对于DeepMind的创始人来说，这种成就是明显会带来广泛的后果的。1999年，当勒格刚刚大学毕业时，他估计AGI将在2025年至2028年之间到来，这一预测在三十年间面临许多嘲笑，但他始终坚持。在他2008年完成的论文中，他坚称社会不能等到AGI在技术上可行时再考虑其影响：“我们现在需要认真研究这些问题。”更近期，他告诉我，该公司为什么需要像Gabriel这样的员工是“显而易见的”： “如果你正在制造一些小玩意，可能不会改变世界，那也许你不需要道德哲学家。但如果你认真对待AGI，那么我真的无法想象你会怎么不把这类事情当作重要。”李世石（右下）在2016年3月与其他职业围棋选手回顾他与AlphaGo的对弈。照片：李珍满/AP Gabriel在2017年开始在DeepMind工作，一度成为前沿人工智能实验室中唯一的在职哲学家。他迅速发现自己在道德哲学和政治理论方面的背景，使他在这一工程师主导的行业中拥有独特的视角。在过去十年中，他建立了一系列作品，跟踪并在许多情况下预测了大型语言模型（LLM）所带来的伦理挑战。正如在MIT领导算法对齐小组的迪伦·哈德菲尔德-梅内尔所说，Gabriel是“合适的人，恰逢其时。随着该领域准备成熟并进入主流，他找到了扩大视野的方法，而没有攻击或贬低之前的工作。”更普遍地说，Gabriel一直是一个主要倡导者，认为当前的人工智能发展浪潮不仅需要新的技术词汇，还需要新的思维方式来考虑我们与技术，甚至与自我的关系。正如他最近告诉我的，在过去几个月中我们进行的几次长时间谈话中，“我可以拿任何技术制品问：它明智吗？它公正吗？它关心吗？答案是否定的。但当涉及人工智能时，尤其是关于什么样的伦理适合它的问题，这个问题的深度不可低估。我有时感觉很难直接看待人工智能。有一个深刻的谜团：但这究竟是什么东西？我们有一个非常字面的答案，但字面的答案似乎并没有提供道德上的答案。”在Gabriel加入DeepMind时，大致上存在两种截然不同且常常对立的方法。