正如联合创始人 Grace Li 所说，她的公司在2025年毕业前几周开始，与一群大学朋友一起尝试使他们的 AI 游戏引擎正常运行。这些模型能够制作功能性游戏，但没有一个游戏有趣——这提出了一个有趣的问题：如何判断一个游戏是否有趣？他们决定没有什么能替代人类的判断，很快就开始头脑风暴，想办法大规模获得真实的人类反馈。最终形成了 DesignArena，一个现在有530万用户的 AI 工具。结果发现，有很多 AI 公司正在寻找可扩展的用户反馈——而很多公司愿意为此付费。“对许多模型而言，这是提高设计空间的关键瓶颈，”Li 说。“大约一周后，我们与一个前沿实验室签订了第一笔重大交易，其余的就是历史了。”周一，DesignArena 背后的公司 Intelligence 宣布完成了 790 万美元的种子轮融资，由 Index Ventures 领投，Conviction（Sarah Guo 和 Mike Vernal）、A*、Valkyrie 等参与。对于非企业用户来说，使用 DesignArena 很像使用一个复杂的模型路由器。它有一个类似 Chat-GPT 的窗口用于提示，还有单独的下拉菜单用于网站、图像和其他十几种视觉格式。一旦你输入请求、格式和风格，你将看到一系列“A vs. B”的选择，直到你将少量的输出从最好到最差排序。这是一个有用的服务，但平台的真正价值来自于企业端，参与的模型可以将其视为媒体生成模型的无尽即时反馈来源。用户往往对他们排名的模型不在意——正如 Li 所说，他们只想获得最好的输出——因此，他们的排名能够为用户真正想要的东西提供重要的输入。Li 说，对于前沿实验室来说，这是一项值得付费的服务，并补充说，该网站目前每年产生6000万美元的经常性收入，巩固了其作为 AI 行业人类主导评估数据的关键来源的地位。重要的是，用户必须登录才能获取输出，因此 Intelligence 也可以跟踪这些口味在不同大陆和时间上的变化。（Li 指出，亚洲的网站仪表盘往往有更极简的设计风格。）这些措施是自动基准的重要补充，虽然可以在更大规模上运行，但往往容易被游戏或其他操控，正如上周 Hugging Face 的数据泄露所戏剧性地展示的那样。并不是说众包的人类反馈一定会在市场上获胜。在推出不到一年的情况下，Yupp 在今年早些时候关闭了大门，此前它从 a16z crypto 的 Chris Dixon 那里筹集了3300万美元。它也获得了一些前沿模型作为客户，并声称有超过130万用户，但仍然无法建立可持续的长期业务。尽管如此，基于人类评估的其他初创公司似乎正在蓬勃发展。LM Arena 采取类似的文本响应方法，在正式推出付费产品仅四个月后，在一月份融资1.5亿美元的 A 轮融资中。通过我们文章中的链接购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。Russell Brandom 自2012年以来一直在报道科技行业，专注于平台政策和新兴技术。他曾在 The Verge 和 Rest of World 工作，并为 Wired、The Awl 和 MIT 的 Technology Review 撰写过文章。您可以通过 russell.brandom@techcrunch.com 或在 Signal 上拨打 412-401-5489 与他联系。查看简介