主要的医疗人工智能（AI）具有极大的潜力来改善健康结果，特别是在专业医疗知识稀缺的地区1。同时，AI也带来了新的挑战和风险，包括在模型部署时出现的安全漏洞。未经信任的用户可以通过简单地观察模型的预测结果来窃取其参数8, 9，或者执行隐私攻击2, 3, 4, 5, 6, 7，这些攻击可以提取有关用于模型训练的数据的敏感细节。针对AI模型的隐私攻击可以对贡献其训练数据的个人进行详细的推断。例如，成员推断攻击（MIA）2试图确定特定患者的数据是否被包含在模型的训练数据集中。这种隐私侵犯的程度是微妙的，并且依赖于如基础训练人口和模型的部署上下文等因素。虽然对在普通人群上训练的模型进行成员推断可能是良性的，但对在狭窄、疾病或中心特定的群体上训练的模型进行这样的推断，则直接作为敏感医疗信息的代理。例如，成功的MIA攻击参考文献10中，该模型从常规血液测试数据中预测抗癌免疫疗法的有效性，表明某个个体患有癌症。在对基于敏感患者数据训练的医疗AI模型进行加速部署的11背景下，迫切需要进行严格的隐私风险评估。然而，之前的研究主要量化了MIA在训练数据集中所有记录上的成功率。这隐式地对于记录平均了风险，从而模糊了有关记录和患者级攻击成功的重要信息。因此，贡献其个人数据（通常是多个记录）到AI训练数据集的个体所面临的风险仍然不够清楚。鉴于医疗数据是网络犯罪分子的关键目标12, 13，而且仅仅进行假名化已经越来越被认为不足以防止在大规模高维数据集中重新识别个体14, 15, 16，因此我们需要提高对AI隐私攻击对个体患者构成威胁的理解。我们在此展示，未采取保护措施的医疗AI模型的部署可能对贡献数据的个体患者构成重大隐私风险。当训练人口本身透露敏感医疗信息时，这种风险尤为严重。我们对训练以执行标准诊断（监督分类）任务的AI模型的隐私审计量化了最新的MIA成功率3, 4，能够达到个体数据贡献者的分辨率。通过使用七个包含真实世界临床数据的大型数据集，包括各种类型的医学图像、心电图和电子健康记录，我们证明MIA的成功在数据贡献患者之间是不均衡分布的。我们表明，这种差异存在于两个层面：（1）个体患者层面，在该层面上一些患者经历了近乎完美的攻击成功，而其他患者则基本未受影响；（2）群体层面，在该层面上在训练数据集中代表性不足的患者群体通常在最易受MIA攻击的记录中被过度代表。我们结果表明，针对AI模型的隐私攻击在侵害个体数据贡献者隐私方面可能远比之前认为的更为有效。这表明当前AI隐私风险报告实践可能低估了个体层面的风险，因此激励将数学上可验证的风险缓解策略如差分隐私（DP）集成到医疗AI模型开发工作流中。通过简单假设检验攻击AI。AI模型的一个流行部署策略是通过预测接口为用户提供对模型的访问，针对给定输入（例如，患者的胸部放射图像）返回相应的预测（例如，78%的肺炎可能性）。这种对模型的黑箱访问可以被不信任的用户利用来进行MIA，显示目标记录的成员状态，即目标记录是否是模型训练数据集的一部分（图1a）。为了推断成员状态，MIA通常利用AI模型在训练数据上的预测相对较非训练数据更为自信这一事实。图1：MIA及评估策略。a，MIA的示意图，其中不信任的用户仅通过观察模型的预测，旨在推断特定目标记录是否是训练数据集的一部分。如果不信任的用户可以可靠地区分模型A和模型B（这两个模型除了在各自训练数据集中是否包含目标记录外是相同的），则攻击被认为是成功的。