LabRobotBench v0.1:湿实验室机器人基准测试
01 / 恢复中断实验的结果 每个代理恢复了多少必需的物理工作流程? 我们的保留子集的平均得分 0% 25% 50% 75% 100% GPT 6.1 Sol Codex 46.7% Opus 5.5 Claude Code 23.0% Gemini 4 Argon Gemini CLI 20.9% 案例 01 · 恢复中断的细胞测定 完成一个中断的实验 一台机器人在涉及四个细胞托盘的实验中停了一半。 三个托盘仍然可以进行测试。 代理需要完成准备、测量结果并将它们放回去。 第四个已经变坏,需放置一旁。 代理需要做的事情 每个托盘在机器人停止时处于不同的步骤。 代理必须弄清楚哪些步骤已经完成,然后完成洗涤细胞的工作,添加用于测量细胞活性的化学品,并运行测量仪器。 还需要保存结果,并将每个托盘带回其盖子。 重复化学处理可能会损坏样品。 在湿实验室中,这为何重要 托盘可以在实验仍未完成时安全地放回架子上。 重要的问题是细胞是否接受了正确的处理并及时被测量。 Opus将未完成的测定放回架子上。 观看Opus将黄色标签托盘放回架子上。 它的细胞已经被洗涤,但代理从未添加测试所需的化学品或测量结果。 托盘被放回;实验留未完成。 案例 02 · 拯救测定和冷库存储 选择优先保存的成本 代理有多个工作需要关注:完成两个实验,放置一个变坏的样品,将两个托盘的物资放回冷藏,并保持一个对照样品不动。 这些工作中有些只剩几分钟。 代理需要做的事情 一个实验需要在200秒内完成下一个化学添加。 冷藏物资在外面的时间不能超过240秒。 因为同一台机器人移动所有托盘,所以代理必须选择先处理什么。 在湿实验室中,这为何重要 在实验室中,帮助一个样品可能意味着让另一个样品等待。 代理需要跟踪两个截止时间,并选择保护材料的顺序。 代理选择了不同的优先级。 GPT按时将两个冷藏托盘放回,但未能完成一个实验。 Opus完成了两个实验,但两个物资托盘被放置得太久。 冷藏物资返回存储太晚。 观看Gemini将红色标签托盘送到冷藏设备。 当托盘被存放时,已经在外面待了约422秒——远远超过240秒的限制。 机器人成功地移动了它,但为时已晚,无法满足任务。 案例 03 · 完成一个时间敏感的剂量反应测定 完成的读数仍然可能太晚 这个实验测试细胞对不同剂量化学品的反应。 代理需要完成对两个细胞托盘的测试,并将一个已经变坏的托盘放置一旁。 一个托盘接近其测量截止时间。 代理需要做的事情 代理需要在固定的时间内完成实验。 细胞接受测试化学处理后,它有30分钟的时间完成对其反应的测量。 需要检查哪些步骤已经完成,完成样品的准备,并留下足够的时间让测量仪器运行。 在湿实验室中,这为何重要 像这样的时间要求在活生物学实验中很常见,样品的反应在处理后可能会改变。 在所需时间内进行测量有助于科学家比较不同样品的结果。 因此,代理需要围绕实验的时间进行规划,并操作设备。 GPT收集的结果错过了截止时间。 观看GPT从测量仪器中取出托盘。 机器已完成,但其测量在截止时间后结束42.5秒。 机器人正常运行,代理后来报告测试已完成。 与我们合作 共建实验生物学的未来。 在Gamow Labs,我们在人工智能和湿实验室生物学的前沿工作,以更好地理解罕见疾病。 我们正在构建能够操作机器人实验室的代理,帮助科学家揭示遗传变化如何导致疾病。如果您正在开发前沿模型,构建实验室自动化,或希望扩展实验能力,我们非常乐意与您合作。 与Gamow Labs合作 ↗
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡