我是一名皮肤科医生。我测试了GPT-6 Astra和Claude Fable 5.1对皮肤癌的诊断能力，发现它们的准确性低于我预期。我将它们与一款10年的卷积神经网络进行比较，令我惊讶的是，这款网络更出色。这是一例黑色素瘤。图1：耳部侵袭性黑色素瘤，厚度不超过0.8毫米。两款大型语言模型称它为脂溢性角化病，表示可以出院。卷积神经网络称它为黑色素瘤。左侧是临床照片，右侧是皮肤镜图像。图片来源：MILK10k，MILK研究团队，CC BY-NC。我将这两张图像——一张临床照片和一张皮肤镜（皮肤显微镜）图像——展示给了GPT-6 Astra和Claude Fable 5.1，这两款在2026年10月可用的最强大AI模型。两者均表示这是脂溢性角化病，一种无害的疣状生长，患者可以出院。随后我将它们展示给了Inception v3的微调版本，这是一款由谷歌在2015年首次发布的卷积神经网络，并在这里对公共皮肤病图像进行了微调。该卷积神经网络根据皮肤镜视图得到了正确答案。这是我提供给所有三款模型的200个活检证实的病变之一。该卷积神经网络为125个病变（62%）命名正确的诊断（6种可能性中）。两款前沿大型语言模型分别为84个和85个（42%）命名。经过约20分钟的微调，十年的网络在识别皮肤癌方面击败了它们。测试# 病变来自MILK10k，这是通过国际皮肤影像合作在2025年发布的公共数据集，每个病变拍摄了两次：一次是临床特写，另一次是通过皮肤科医生使用的照明放大镜所拍摄的皮肤镜图像。我随机抽取了200个病变，所有病变均经过组织病理学确认：100个不应出院的病变：30个黑色素瘤、25个基底细胞癌、25个鳞状细胞癌（包括Bowen病）和20个日光性角化病。100个可以安全出院的病变：50个良性痣和50个脂溢性角化病。每个病变都进行了活检，包括良性病变，因此这些病变更难以诊断：被切除的痣是让临床医生担忧的情况。75岁男性躯干部的基底细胞癌。所有三款模型都答对了。侵袭性黑色素瘤厚度在0.8毫米以下，色素极少。GPT-6 Astra以95%的信心称它为基底细胞癌。Claude Fable 5.1和卷积神经网络称它为黑色素瘤。腿部的脂溢性角化病。两款大型语言模型称其为日光性角化病，而卷积神经网络称其为鳞状细胞癌：尽管三者均出错，但都选择保留该病变而不是出院。图2：200个测试病变中的另三个。左侧是临床照片，右侧是皮肤镜图像。图片来源：MILK10k，MILK研究团队，CC BY-NC。大型语言模型仅被提供两张图像，别无其他，并根据临床医生可能使用的方式，被要求对六种诊断（或“不确定”）中最可能的诊断、信心度、第二选择，以及病变是否可以安全出院而不需治疗、活检或随访进行判断。两款模型都在默认设置下收到相同的提示，且都没有拒绝病例。该卷积神经网络故意不是最先进的。我使用了在日常照片上预训练的Inception v3，并对来自ISIC档案的68,011张皮肤镜和临床图像对所有层进行了微调，使用单个H100 GPU。此次测试的200个病变，以及相同病变或患者的每一张其他照片，均在训练之前从其数据中移除（包括验证集），因此它从未见过它们，也未用于选择模型或设置阈值。它对每个病变的两张图像进行了评分，将大部分权重放在皮肤镜图像上，并从相同的六种诊断中进行选择。你可以自己尝试这个卷积神经网络。值得注意的是，该模型足够小，可以完全在手机浏览器中使用WebGPU运行。没有任何数据被上传，随机抽样按钮从这200个病变中抽取。