返回

文章详情

洗碗机桌 – 边境模型能堆叠洗碗机吗?

Hacker News2026年10月13日 08:24

洗碗机桌是一个关于真实机器的物理模拟的洗碗机装载游戏,旨在基准测试语言模型,并可由浏览器中的人玩。游戏内部名为Spotless,软件包命名为@spotless/*。玩家加载一个博世SMV4HAX40G的3D模型,使用刚体物理进行模拟。然后模拟其Eco 50程序的洗涤过程(喷射、液滴、流失、污垢和洗涤剂化学),玩家为每个清洁的物品获取积分。在第一个关卡之后,并非所有物品都能适应,因此玩家需要选择装载哪些物品以及如何装载。这是一个早期版本,版本号0.1.0。模拟是在真实机器的一个测试洗涤上进行校准的。一个评分显示玩家的装载是否合理,并且在装载杯、眼镜和锅时是否口朝下。它尚未显示盘子和餐具是否以可洗净的方式堆叠。关于评分可被信任的部分在文中有详细说明。当前的固定事实是:装载是确定性的刚体物理,每个情节都是任何人可以通过重放它和重新洗涤其负载来验证的记录,同样的游戏既由人通过浏览器玩,也由模型通过MCP进行。现阶段不够完善的是对盘子和餐具的洗涤评分。由Composo创建和维护。docs/下的许多文档是工作记录,保持其原有格式;docs/README.md解释了如何阅读它们。在浏览器中加载第一个关卡时,一个晚餐盘在下层篮子上方,且“建议位置”按空位数编号,从最佳开始。右侧面板持有程序将要发送的确切姿势。内容包括:今天的有效内容,评分可信的依据,要求,快速启动,浏览器中的游戏,运行脚本玩家,运行模型,迄今结果,工作原理、局限性和路线图,现状,贡献,许可证、通知和免责声明,引用方式。今天的有效内容:机器。一台博世SMV4HAX40G作为数据和几何形状,来自其所有者的照片和编码读取(packages/machine):两个篮子及其针行、架子和支架、喷臂和Eco 50程序。装载。一个物品和污垢的目录,确定性的刚体装载(Jolt),以及具有游戏动作和查询的会话层(放置、移除、设置架子、列出槽位、检查负载等)。洗涤。两个层次的模拟。官方层给出评分结果;快速层是粗略预览。参考机器(MacBook Pro,Apple M3 Pro,18GB)上,最大的层次的冷官方洗涤需时4.9分钟,取三次最佳结果,另一个作业并行运行时为5到8.5分钟,总预算为30分钟。七个层次的课程(按难度顺序编号,docs/benchmark/levels.md),每个课程都保存了三个脚本玩家的参考负载(谨慎、粗心、随机)。六个通过参考负载的基准门;教程不行(粗心负载损失太少)。三种游戏玩法。页面(apps/web)、用于代理的MCP服务器(packages/mcp),以及运行脚本玩家和模型的支架,并写入已验证的情节记录(packages/bench)。检查。48种来自文献的装载现象作为可执行的洗涤对(docs/research/standards.md第9节),以及一个评分工具,将模拟评分与真实洗涤的记录进行比对,拟合参数并排名候选测试洗涤(存储的排名是早期参数集的结果,尚未重新运行)。两个模型已经通过OpenAI兼容端点进行过游戏:在官方层的三个层上六个情节(迄今的结果)。没有人作为基准参与游戏,Anthropic的API路径尚未针对实时API运行。评分可信的依据:完整的账目,包含每个数字及其来源,见docs/validation/README.md。简而言之,模拟已针对四件事进行了检查:真实机器上的一次测试洗涤;Eco 50上的四个蛋黄盘;在洗涤结果之前写的预测正确地获取了盘子的顺序和残留物的形式,但对两个烘干盘上剩余物的量乐观了十到三十倍。随后的校准移动了一个数字:泵运行的长时间浸泡的比例,从0.5调整到0.8(范围从0.59到1)。预测先出现的记录在私人开发历史中,未予公开,因此该顺序无法从此存储库检查。发布的类意味着是姐妹机器(博世SMV6ECX51E,生态程序,参考洗涤剂):餐具评分点相差0.1,器皿低0.2,玻璃低0.1到0.5。这个匹配不是预测:污垢和化学默认值被设置以产生这些数字。48种装载现象在文献中有证据:17种通过,21种在大小或符号上不合格,1种是故障场景,9种需要未构建的机制。自身的记账。水的量被准确保留,相同的输入在一台机器上给出相同的结果。

赞助内容

NordVPN Next-gen Antivirus

本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。

☕请我喝杯咖啡