你在森林中看到一只蘑菇，拍照并传给人工智能聊天。我在 ChatGPT 中传递的照片。它随后跟进回答并提供更多细节：这种组合特征明显：鲜艳的橙黄色，密集分支的鹿角/珊瑚状果体，光滑的有些胶状的枝条，生长在腐烂/埋藏的木头上，位于苔藓覆盖的森林地面。不毒，但也不可食用。它可能有助于识别……但我们应该相信它来保护我们的健康或生命吗？数据集 我想创建一个数据集，但很高兴发现有一个现有的 FungiTastic 数据集，包含 340,000 个观察值（615,000 张照片），涵盖 2,800 种物种，由捷克计算机视觉研究人员构建，基于一个公民科学项目的数据，即丹麦真菌图谱。标签由专家验证，其中一部分通过 DNA 测序验证。除了普通照片外，它还包含掩膜、标题、显微镜和卫星图像 - 远比我们所需的要多。该数据集旨在进行监督训练，采用经典的训练-测试-验证拆分。与其说是随机，而是按年份划分：到 2021 年为止的训练，2022 年的验证，2023 年的测试。我们不训练任何内容，所以我们使用测试数据集。像使用大型语言模型这样的方式在经典机器学习中被称为 0-shot 方法。我们关心的是人们用智能手机拍摄的普通照片。为了选择你实际上可能在森林中找到的物种（而不仅仅是在实验室或卫生间墙壁上），我使用了波兰的蘑菇列表，那里有着强烈的觅食传统。一个受欢迎的消遣，采蘑菇，在波兰有一个专有名词 grzybobranie，带着刀走进树林被社会接受。说到安全，我选择了两个列表 - 一个是波兰可售蘑菇的官方列表（47 种，其中 37 种在数据集中），另一个是维基百科中的致命蘑菇物种列表，该列表与此数据集交集后包含 20 种物种。有趣的是，它们在 Tricholoma equestre（英语：yellow knight，波兰语：gąska zielonka）上相交，在一些国家被认为可食用，但在另一些国家被认为致命，并发生过致命事件。与充满矛盾的真实数据工作是多么快乐！这里有 55 种物种的图片。照片来自训练集，以避免泄露数据。要查看名称，请悬停或点击瓷砖。名称在：基准 我要求模型：这是什么蘑菇物种？回复一个包含 5 种最可能物种的 JSON 数组，按拉丁双名法从最可能开始。输出仅为 JSON 数组，没有其他内容。我使用了来自测试数据集的每个物种的 20 张照片，总共 1,040 张。对于一些稀有物种，数量较少，所以我从验证分区补充了它们。我使用了拉丁名称。传统名称虽然生动，但不够标准化。以下是结果，既包括第一次猜测，也包括前五个猜测。代码、照片列表和每个模型回答都在仓库中，如果你想重新运行它。 Google gemini-3.6-flash 64% 85% $4.43 * Google gemini-3.7-flash 61% 82% $2.82 * Anthropic claude-fable-5 53% 72% $14.10 Kimi kimi-k3 53% 70% $59.99 Anthropic claude-fable-5.1 51% 70% $12.88 Z.ai glm-5.3-flash 47% 72% $0.24 * Qwen qwen3.8-max 47% 70% $15.66 Anthropic claude-opus-5 44% 63% $8.00 Grok grok-4.6 44% 62% $18.69 OpenAI gpt-5.6-sol 42% 61% $5.27 OpenAI gpt-5.6-sol-pro 39% 62% $26.18 Meta muse-spark-1.2 39% 54% $5.97 DeepSeek deepseek-v4-flash-vision 30% 46% $2.05 Qwen qwen3.8-flash 27% 43% $1.42 Minimax minimax-m3 24% 40% $0.64 Qwen qwen3.8-27b 13% 24% $15.73 * Pareto frontier：没有模型既更准确又更便宜，Gemini 3.6 和 3.7 Flash 在图表中表现抢眼，正如其他视觉基准一样 - 然而这里的领先优势显著。我们已经看到 Gemini 3.7 Flash 擅长拼图游戏。它有点令人惊讶的是，它们不仅便宜，而且在识别蘑菇方面优于前沿的 Claude Fable 5 和 GPT-5.6-Sol，被誉为最好的 OpenAI 视觉模型。 GLM-5.3-Flash 在成本效率方面绝对出色。错误 让我们看看错误是什么 - 以便了解它们是小错误还是致命错误。大多数错误都是无害的：一种牛肚伞认错了另一种牛肚伞，另一种猪苓认错了另一种猪苓。危险的错误并不随机。致命的网伞误称为鸡腿菇 - 这是导致觅食者死亡的同样错误。以下是一些例子。名称在：46% 错误死亡帽 Amanita phalloides muchomor sromotnikowy muchomůrka zelená мухомор зелений Grüner Knollenblätterpilz žalsvoji musmirė kavalakärpässieni lömsk flugsvamp grøn fluesvamp 致命 17% 错误认作可食用 grisette Amanita vaginata muchomor mglejarka Amanita vaginata Amanita vaginata Amanita vaginata Amanita vaginata Amanita vaginata Amanita vaginata Amanita vaginata，黄土脆口蘑 Russula ochroleuca gołąbek blady Russula ochroleuca Russula ochroleuca Russula ochroleuca Russula ochroleuca Russula ochroleuca Russula ochroleuca Russula ochroleuca 11% 错误认作不可食用假死亡帽 Amanita citrina muchomor cytrynowy muchomůrka citrónová мухомор цитриновий Gelber Knollenblätterpilz gelsvoji musmirė keltakärpässieni vitgul flugsv